MemGPT — なぜAIは忘れるのか?LLMに「記憶OS」を与えようとした重要論文
AIは驚くほど賢い。しかし同時に、驚くほど忘れっぽい。2023年に発表されたMemGPTは、LLMに記憶階層を与え、「覚える・思い出す・管理する」を可能にしようとした重要な試みだった。
ChatGPTを使っていると、こんな経験はないだろうか。
数時間にわたって議論していたのに、突然、「さっき話していたことを忘れていないか?」と思うような返答が返ってくる。
AIは驚くほど賢い。文章を書き、コードを書き、論文を要約し、人間の相談にも乗る。
しかし同時に、驚くほど忘れっぽい。
なぜだろうか。
その答えの一つが、2023年に発表された論文 MemGPT: Towards LLMs as Operating Systems for Memory である。
MemGPTは、単にAIにデータベースをつける研究ではない。もっと本質的には、LLMに「自分の記憶を管理する仕組み」を与えようとした研究だった。
AIは本当に「記憶」しているのか?
多くの人は、ChatGPTが人間のような記憶を持っていると思っている。
しかし、現在のLLMは基本的に Context Window と呼ばれる限られた作業領域を見ている。そこに入っている情報をもとに、次の言葉を予測する。
つまり、LLMにとって重要なのは「過去に話したかどうか」ではない。今、Context Windowの中に見えているかどうかである。
会話が長くなると、古い情報はContext Windowから押し出される。するとAIは、その情報を参照できなくなる。
これは人間の忘却とは少し違う。人間は思い出せないことがある。しかしLLMの場合、多くは「そもそも見えていない」。
AIが忘れる理由は、記憶力が悪いからではない。見えていないからである。
コンピュータで例えると
MemGPTを理解する時、よく使われるのがコンピュータの比喩である。
- LLM = 計算する部分
- Context Window = 作業領域、つまりRAM
- External Memory = 外部保存領域、つまりSSDやHDD
もしコンピュータがRAMだけで動いていて、SSDやHDDを使えなかったらどうなるだろうか。一時的な作業はできる。しかし長期的な保存はできない。
現在のLLMは、これに近い問題を抱えていた。非常に高性能な計算能力を持ちながら、作業領域に入る情報しか扱えない。
MemGPTはこの問題に対して、OSの仮想メモリのような考え方を持ち込んだ。限られたContext Windowを、外部メモリと組み合わせて管理する。必要な情報を外に保存し、必要になった時だけ呼び戻す。それがMemGPTの基本発想である。
AIはどのように「記憶」へ向かったのか
MemGPTは突然現れたわけではない。その前には、AIを「ただ答えるモデル」から「外部世界と接続されたシステム」へ変えていく流れがあった。
RAG → ReAct → MemGPT → Generative Agents → 現在
これは単なる技術名の並びではない。それぞれの技術は、前の技術の限界から生まれている。
RAG — AIに「調べる力」を与えた
最初の大きな転換点が RAG(Retrieval-Augmented Generation) である。
仕組みはシンプルだ。LLMが答える前に、外部の文書を検索する。そして検索結果をContext Windowに入れ、その情報を読ませてから回答させる。
これによってAIは、学習時点では知らなかった情報にも答えられるようになった。
しかし、RAGは記憶ではない。どちらかと言えば、毎回その場で検索している。
- AI自身が何を覚えるべきか判断していない
- 検索クエリが悪いと必要な情報を取り出せない
- 会話の流れや長期的な意図を継続的に管理しない
RAGは「外部知識」を与えた。しかし、AI自身が「自分の記憶」を管理する段階にはまだ至っていなかった。
ReAct — AIに「考えて行動する力」を与えた
次に重要なのが ReAct(Reasoning and Acting) である。
ReActは、LLMに次のようなループを与えた。
考える → 行動する → 結果を観察する → また考える → 次の行動を決める
これによってLLMは、単なる文章生成器から、エージェントに近づいた。RAGが「外部知識を読むAI」だとすれば、ReActは「外部世界に働きかけるAI」である。
ただし、ReActは行動できる。しかし、長期的に覚えているわけではない。まだ「記憶」は不十分だった。
MemGPT — AIに「記憶階層」を与えた
ここで登場するのがMemGPTである。
MemGPTは、LLMのContext WindowをコンピュータのRAMのように捉えた。そして、その外側により大きなExternal Contextを置いた。つまり、LLMに記憶階層を与えたのである。
- Main Context = 今、LLMが直接見ている作業領域
- External Context = Context Windowの外側にある長期保存領域
この設計によって、すべてをContext Windowに詰め込む必要がなくなる。短期的に必要な情報はMain Contextに置く。長期的に必要な情報はExternal Contextに保存する。そして必要になった時だけ、External Contextから情報を呼び戻す。
MemGPTはどう動くのか
ユーザーが話す → LLMが内容を読む → 重要なら外部メモリに保存する → 必要なら外部メモリを検索する → 検索結果をMain Contextへ戻す → 回答する
普通のRAGでは、検索は主にユーザーの質問をきっかけに行われる。しかしMemGPTでは、LLM自身が判断する。
- これは覚えるべき情報か
- これは後で必要になるか
- 今、何か思い出すべきか
- Context Windowがいっぱいになってきた時、何を外へ移すべきか
RAGは検索システムだった。MemGPTは記憶管理システムに近い。
MemGPTはRAGと何が違うのか
RAGでは、外部データベースは主に知識検索のために使われる。一方、MemGPTでは、外部メモリは単なる知識倉庫ではない。会話や経験を保存し、後から再利用するための記憶領域である。
さらに重要なのは、LLM自身がメモリ操作を判断する点である。
- RAGは「調べる」
- MemGPTは「覚える」「思い出す」「管理する」
それでも、なぜAIは忘れるのか
MemGPTのような仕組みがあるなら、なぜAIはいまだに忘れるのだろうか。
第一に、MemGPTはすべてのAIに標準搭載されているわけではない。第二に、外部メモリがあっても、何を保存するかは難しい。すべて保存すれば、すぐにノイズだらけになる。第三に、保存した情報をいつ思い出すかも難しい。外部メモリに情報があっても、検索されなければ存在しないのと同じである。第四に、古い記憶と新しい記憶が矛盾することがある。
だからMemGPTは、「AIが完全に忘れなくなる技術」ではない。むしろ、「AIにも記憶を管理する仕組みが必要だ」と示した論文である。
Generative Agents — 記憶から「内省」と「計画」へ
MemGPTと近い時期に注目されたのが、Stanfordの Generative Agents である。
Generative Agentsは、AIキャラクターに記憶を持たせ、仮想の街で生活させる研究だった。エージェントは観察する → 記憶する → 内省する → 計画する → 行動する、というループで動く。
MemGPTが「記憶をどう管理するか」に注目したのに対して、Generative Agentsは「記憶からどう行動が生まれるか」を示した。
MemGPTの本当の意味
MemGPTの価値は、AIが完全に忘れなくなる仕組みを完成させたことではない。
その本当の意味は、次の問いをはっきり示したことにある。
知能はモデル単体で生まれるのか。それとも、モデル+記憶+管理システムとして生まれるのか。
2017年、TransformerはAttentionによってAIを大きく進化させた。そして現在、多くの研究者が次の課題として見ているのはMemoryである。
AIは考えられるようになった。しかし、まだ人生を覚えてはいない。
MemGPTは、その問題に正面から挑んだ重要な論文だった。AIが「考える」だけでなく、「覚える」ための第一歩だったのである。
出典
Packer, C., Fang, V., Patil, S. G., Lin, K., Wooders, S., & Gonzalez, J. E. (2023). MemGPT: Towards LLMs as Operating Systems for Memory. arXiv:2310.08560. https://arxiv.org/abs/2310.08560
Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. https://arxiv.org/abs/2005.11401
Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629. https://arxiv.org/abs/2210.03629
Park, J. S. et al. (2023). Generative Agents: Interactive Simulacra of Human Behavior. UIST. https://arxiv.org/abs/2304.03442
次回:Stanfordの Generative Agents — 記憶から「内省」「計画」「社会行動」はどのように生まれるのか