Lost in the Middle — AIはなぜ長い会話で迷子になるのか？
100万トークンのコンテキストウィンドウを持つAIが、なぜ長い会話の途中で迷子になるのか。Lost in the Middleという現象が示す、AIの記憶の本質的な限界とは。
100万トークンの夢
AIはどれだけの情報を扱えるのか
2022年末にChatGPTが登場して以降、AI業界では様々な競争が繰り広げられてきた。
より大きなモデル。
より高いベンチマークスコア。
より高度な推論能力。
より正確な回答。
しかし、その中でも特に激しい競争の一つが、コンテキストウィンドウ（Context Window）の拡大だった。
コンテキストウィンドウとは、AIが一度に参照できる情報量のことである。
私たちがChatGPTやClaudeに質問をするとき、AIはその瞬間に与えられた情報を読み取り、それをもとに回答を生成する。
このとき参照できる情報量には上限がある。
その上限がコンテキストウィンドウである。
当初、この数字は数千トークン程度だった。
しかし数年のうちに数万トークンになり、数十万トークンになり、ついには100万トークンという数字まで登場することになる。
なぜ業界はこれほどまでにコンテキスト長へ熱狂したのだろうか。
それは単なるスペック競争ではなかった。
多くの研究者や開発者が、
コンテキスト長こそがAIの次のブレークスルーになる
と考えていたからである。
当時の空気感を振り返ると、その期待は決して誇張ではなかった。
AIの能力を制限している最大の要因が「見える範囲の狭さ」だと考えられていたからだ。
もし何か月分もの会話履歴を保持できるようになれば、あるいは会社の全マニュアルや研究室の全論文を一度に参照できるようになれば、現在とはまったく異なるAIが生まれるはずだ。
多くの人は、その先にそのような未来を見ていた。
⸻
ChatGPT以前の制約
現在のAIに慣れていると忘れてしまいがちだが、GPT-3時代のAIには大きな制約が存在していた。
GPT-3が発表されたのは2020年。
1750億パラメータという巨大モデルは当時の世界を驚かせた。
Few-Shot Learningを実現し、学習していないタスクにも対応できる。
その能力は革命的だった。
しかし一方で、現在から見ると大きな弱点も抱えていた。
それがコンテキスト長だった。
GPT-3が扱えるコンテキストは約4,000トークン。
英語なら数ページ程度。
日本語なら数千文字程度である。
これは決して小さな数字ではない。
だが、本格的な知的作業を行うには不十分だった。
例えば研究論文。
AI研究の論文は10ページから20ページ程度になることが多い。
参考文献を含めるとさらに長くなる。
GPT-3は論文全体を一度に読むことができなかった。
ソースコードも同様である。
現代のソフトウェア開発では数万行、数十万行のコードを扱う。
しかしGPT-3が一度に見られる範囲はごく一部だった。
会話も同じだった。
少し長く話を続けると過去の内容が切り捨てられる。
数十分前に決めた内容を忘れる。
ユーザーが説明した背景を忘れる。
重要な制約条件を忘れる。
当時のAIは賢く見えた。
しかし長期的な共同作業を行う能力はほとんど持っていなかったのである。
今では当たり前になっている「論文を読ませる」「コードベースを解析させる」「長い会議ログを要約させる」といった使い方も、当時は簡単ではなかった。
多くの場合、ユーザー側が文書を分割し、何度も貼り付け、AIに文脈を思い出させる必要があった。
AIの能力よりも、人間側の工夫で何とか使っている状態だったと言ってもよい。
⸻
なぜ長いコンテキストが欲しかったのか
この問題は単なる不便さではなかった。
AIの実用化そのものを妨げる要因だった。
企業がAIを導入しようと考えたとき、扱う文書は非常に長い。
契約書。
技術仕様書。
設計書。
議事録。
マニュアル。
法務文書。
社内規程。
顧客対応履歴。
こうした情報は数十ページ、数百ページになることも珍しくない。
しかしAIが数ページしか読めないなら、本格的な業務への利用は難しい。
研究でも同じだった。
研究者は複数の論文を比較する。
過去研究を調査する。
参考文献を追跡する。
だがコンテキストが小さいと、毎回情報を分割して与えなければならない。
そのたびに文脈が失われる。
ユーザー側の負担も大きかった。
同じ説明を何度も繰り返す必要がある。
以前話した内容を再度入力しなければならない。
長期プロジェクトでは、その負担がさらに大きくなる。
つまり当時の課題は、モデルの知識量ではなかった。
知識へアクセスするための作業コストだった。
AIは知っているかもしれない。
しかし、その知識を利用するために人間が大量の文脈を整理して与えなければならない。
これは実用上の大きな壁だった。
だからこそ、多くの人はコンテキスト長の拡大に希望を見ていたのである。
⸻
GPT-4がもたらした革命
状況が大きく変わり始めたのはGPT-4だった。
OpenAIはGPT-4でコンテキスト長を大幅に拡大した。
8K。
32K。
そして後にはさらに大きなコンテキストが提供されるようになる。
これは単なる数字の改善ではなかった。
体験そのものが変わった。
それまで分割しなければ扱えなかった文書を、一度に読み込めるようになった。
長い契約書をレビューできる。
長いコードを解析できる。
長い会議記録を要約できる。
長い技術文書を理解できる。
初めて多くの人が、
AIが仕事で使える
と感じ始めたのである。
コンテキスト長の拡大は、推論能力の向上以上に実用性へ影響を与えた。
AIが研究室のデモから実務ツールへ変化する重要な要因だった。
実際、この頃から生成AIの利用者層は大きく広がる。
研究者やエンジニアだけでなく、法務担当者、コンサルタント、経営企画、マーケティング担当者、ライター、教師、学生など、長文書を扱う職種が次々とAIを使い始めた。
コンテキスト長はベンチマークではなく、体験として理解できる性能だったのである。
⸻
Claudeの衝撃
しかし本当の衝撃はAnthropicからやって来た。
Claudeである。
Anthropicは長コンテキストを強く打ち出した。
100,000トークン。
そして200,000トークン。
当時の感覚では異次元だった。
研究論文なら数十本。
長編書籍なら丸ごと数冊。
巨大なコードベースですら投入できる。
人々は驚いた。
「本を丸ごと読ませることができる」
「会社のマニュアル全部を渡せる」
「ソースコード全体を理解できる」
SNSにはそんな投稿が溢れた。
それまで不可能だと思われていたことが現実になり始めていた。
長コンテキストはもはや研究者だけの話ではない。
一般ユーザーが体感できる性能になっていたのである。
特に企業利用では大きな意味があった。
企業には既に膨大な情報資産が存在している。
問題は情報不足ではない。
情報が多すぎることだった。
社内に蓄積された契約書、議事録、技術文書、顧客対応履歴——これらをAIへ渡すための「整理・分割・要約」という前処理コストこそが、企業AI導入の大きな壁だった。
Claudeの長コンテキストは、「既存の情報をそのままAIへ渡せるかもしれない」という期待を生み出した。
それは単なる性能向上ではなく、AI導入コストそのものを下げる可能性を意味していたのである。
⸻
RAG不要論
Claudeの登場によって、ある議論が活発になった。
それが
RAG不要論
である。
RAG（Retrieval-Augmented Generation）は必要な情報を検索して取り出す仕組みである。
大量の文書を直接コンテキストへ入れるのではなく、必要な部分だけ検索して利用する。
当時はAIの知識不足を補うための重要技術だった。
しかしClaudeが登場すると、
「そもそも検索する必要があるのか？」
という意見が現れ始めた。
20万トークンも入るなら、全部入れてしまえば良い。
文書を検索する必要はない。
最初からコンテキストへ投入すれば済む。
そう考える人も少なくなかった。
後から見ると単純な発想に見えるかもしれない。
しかし当時としては十分合理的だった。
なぜなら、それまでの最大の問題は「入らないこと」だったからである。
情報が全て収まるなら、検索という仕組み自体が不要になるように見えたのである。
⸻
Memory不要論
同じことは記憶システムについても起きた。
当時から長期記憶の研究は存在していた。
会話履歴を保存する。
重要な内容を要約する。
長期的なユーザー情報を保持する。
そうした研究が進んでいた。
しかし巨大なコンテキストが登場すると、
「記憶システムは不要になるのではないか」
という声が出始める。
なぜなら全部入るからである。
過去の会話も。
議事録も。
設定情報も。
ユーザー情報も。
コンテキストへ投入できる。
ならば複雑な記憶システムを作る必要はない。
巨大コンテキストが全てを解決する。
そう期待する人もいた。
この発想の背景には、人間のコンピュータ観がある。
ストレージ不足は容量を増やせば解決する。
メモリ不足も増設すれば解決する。
ならばAIも同じではないか。
そう考えるのは自然なことだった。
⸻
Agent問題も解決するのか
さらに期待されたのがAgentだった。
Agentは単なるチャットボットではない。
計画を立てる。
行動する。
結果を観察する。
再び計画を立てる。
これを何度も繰り返す。
しかしAgentには大きな問題があった。
会話履歴がどんどん増えるのである。
行動ログ。
観察結果。
タスク一覧。
思考過程。
エラーメッセージ。
成功記録。
これらが蓄積される。
やがてコンテキストが溢れる。
すると過去の情報が失われる。
Agentは同じ失敗を繰り返し始める。
以前決めた方針を忘れる。
既に解決した問題を再び解決しようとする。
だから多くの研究者は考えた。
コンテキストが100万トークンになれば、この問題も解決するのではないか。
Agentは長期間活動できるようになるのではないか。
そんな期待が広がっていた。
実際、2023年から2024年頃のAgent界隈では、「より長いコンテキストがあればAgentは劇的に進化する」という見方は決して珍しくなかった。
⸻
Geminiと100万トークンの夢
そしてGoogleはさらに大きな数字を提示した。
100万トークン。
それは一つの象徴だった。
もはや「長い文書を読める」というレベルではない。
巨大な知識ベースを丸ごと与えられる規模である。
研究論文を何十本も同時に扱える。
長い会議記録も入る。
複数の書籍も入る。
企業の内部文書群も投入できる。
ここまで来ると、人々は次第に
AIは長期記憶を獲得した
と考えるようになった。
巨大なコンテキストがあれば、人間のように長期間の情報を保持できる。
そんな期待が生まれたのである。
ここまで来ると、多くの人はコンテキスト長の問題そのものが終わりに近づいていると感じ始めていた。
Claudeの100kや200kですら衝撃だった。
そこへ100万トークンが現れた。
研究論文。
書籍。
コードベース。
会議履歴。
企業文書。
それらを一度に扱える可能性が見えてきたのである。
当時議論されていたRAG不要論やMemory不要論、あるいはAgentの長期運用への期待も、この流れの延長線上にあった。
「必要な情報を検索する」のではなく、最初から全てを渡せばよいのではないか。
「記憶を管理する」のではなく、履歴を保持し続ければよいのではないか。
「Agentが文脈を失う問題」も、十分なコンテキストがあれば解決するのではないか。
もちろん、こうした考え方に懐疑的な研究者もいた。
しかし少なくとも、コンテキスト長の拡大がAIの多くの問題を解決するという期待は業界全体に広がっていた。
100万トークンという数字は単なる性能指標ではなかった。
それは、AIが人間に近い長期的な知能へ近づいていることを示す象徴のように見えていたのである。
だが、その熱狂の中で、まだ十分に問われていない問題が残されていた。
AIは本当に、その膨大な情報を利用できているのだろうか。
⸻
業界の幻想
その問いに、当時の業界はまだ向き合っていなかった。
なぜなら、コンテキスト長の拡大が実際に大きな価値を生み続けていたからである。
GPT-3からGPT-4への進化を見れば、その事実は明らかだった。
だからこそ多くの人は、その延長線上に未来を見ていた。
業界全体に広がっていた前提は、非常にシンプルだった。
長く読める。
↓
理解できる。
↓
賢くなる。
しかし、その前提には一つの重要な問いが抜け落ちていた。
AIは100万トークンを入力できる。
しかし100万トークンを本当に利用できるのだろうか。
入力できることと活用できることは同じなのだろうか。
本を読めることと理解することは同じなのだろうか。
当時、この問いはほとんど議論されていなかった。
業界はコンテキスト長そのものに注目していた。
しかし研究者たちは別の疑問を抱いていたのである。
そして、その疑問はやがて長コンテキスト競争そのものを見直すきっかけになる。
Lost in the Middle
長く読めても活用できるとは限らない
コンテキストウィンドウ競争が激化していた頃、AI業界には一つの楽観論が存在していた。
コンテキストを増やせば問題は解決する。
長い文書を扱えるようになる。
長い会話を維持できるようになる。
Agentは過去を忘れなくなる。
大量の知識を一度に利用できるようになる。
その期待は決して不自然なものではなかった。
実際、GPT-3からGPT-4への進化、Claudeの100k・200kコンテキスト、Geminiの100万トークンは、ユーザー体験を大きく変えた。
以前は分割しなければ読めなかった文書を、一度に処理できるようになった。
長い会議記録も扱えるようになった。
企業のマニュアルや技術文書も利用できるようになった。
コンテキスト長の拡大は確かに進歩だった。
だからこそ、多くの人は次の未来を想像した。
もっと長いコンテキスト。
もっと長い会話。
もっと長い記憶。
そして、より賢いAI。
長コンテキストは単なるスペック向上ではなかった。
AIが抱えている様々な問題を一気に解決する鍵のように見えていたのである。
しかし、その熱狂の中で一部の研究者たちは別の疑問を抱いていた。
本当にそうなのだろうか。
AIは確かに大量の情報を受け取れるようになった。
だが、その情報を本当に利用できているのだろうか。
長く読めることと、長く理解できることは同じなのだろうか。
この問いは当時ほとんど議論されていなかった。
なぜなら業界全体の関心は、
「どれだけ長くできるか」
に向いていたからである。
しかし後に振り返ると、本当に重要だったのは、
「どれだけ長く使えるか」
という問いだった。
⸻
長コンテキスト研究の転換点
2023年、Stanford University、UC Berkeley、Samaya AIなどの研究者たちは、この疑問を検証することにした。
その成果が、
Lost in the Middle: How Language Models Use Long Contexts
である。
この論文は非常に珍しい。
新しいモデルを提案していない。
パラメータ数を増やしていない。
学習手法も変えていない。
推論速度を改善したわけでもない。
それにもかかわらず、後の長コンテキスト研究へ大きな影響を与えた。
理由は単純である。
研究者たちは、
AIが長コンテキストを持てるか
ではなく、
AIが長コンテキストを使えているか
を調べたからだ。
この違いは小さく見える。
しかし実際には決定的だった。
当時の業界は、コンテキスト長という数字そのものを見ていた。
研究者たちは、その数字の中身を見ようとしていたのである。
⸻
情報は存在している
研究者たちが行った実験は驚くほどシンプルだった。
長い文書を用意する。
その中に質問の答えとなる情報を埋め込む。
そしてAIへ質問する。
例えば、
ある企業のCEOの名前。
ある論文の著者名。
ある事件の日付。
ある法律の条文。
答えは文書の中に存在している。
モデルはその情報を受け取っている。
コンテキスト長にも余裕がある。
問題はただ一つ。
AIはそれを利用できるのか。
研究者たちが調べたかったのはそこだった。
なお、現在では「Needle in a Haystack（干し草の山の中の針）」という評価手法が広く知られている。
これはGreg Kamradtが2023年末に広め、後に体系化した手法であり、Lost in the Middleとは独立した別の研究から生まれたものである。
ただし両者の発想は非常に近い。
長い情報の中に埋め込まれた重要情報を、モデルがどれだけ利用できるかを検証するという点で共通している。
⸻
位置だけを変える
ここで研究者たちは巧妙な実験を行う。
情報量は変えない。
質問内容も変えない。
文書長も変えない。
変えるのは、
重要情報の位置だけ
である。
文書の先頭。
文書の中央。
文書の末尾。
もしAIが長コンテキスト全体を均等に利用できるなら、性能は変わらないはずだった。
どこに答えが存在していても同じ結果になる。
少なくとも理論上はそうである。
しかし実際の結果は違った。
しかも、その差は予想以上に大きかった。
⸻
Primacy Effect
まず観察されたのは、
Primacy Effect（初頭効果）
だった。
重要情報が文書の冒頭にある場合、モデルは高い正答率を示した。
これは人間にも見られる現象である。
会議でも授業でも、最初に聞いた内容は比較的記憶に残りやすい。
長い本を読んだ後でも、冒頭部分は印象に残っていることが多い。
認知心理学では古くから知られている現象だ。
興味深いことに、LLMも似た傾向を示した。
文書の先頭にある情報は比較的利用されやすかったのである。
この時点ではまだ大きな驚きはなかった。
人間にも似た傾向がある。
長コンテキストでも十分機能しているように見えた。
問題はその先にあった。
⸻
Recency Effect
次に研究者たちは重要情報を文書の末尾へ移動する。
すると性能は再び向上した。
これが
Recency Effect（新近効果）
である。
これもまた人間によく知られた現象だ。
私たちは最後に聞いた話を覚えていることが多い。
長い会議でも、最後に決まった事項は印象に残りやすい。
授業でも最後のまとめは記憶に残る。
LLMも同様だった。
末尾付近の情報は強く利用される傾向があった。
ここまでを見る限り、AIは長コンテキストを問題なく扱えているように見える。
冒頭も使える。
末尾も使える。
ならば中央も同じだろう。
多くの人はそう予想した。
⸻
中央で起きたこと
しかし結果は違った。
研究者たちは重要情報を文書の中央へ移動した。
すると正答率が大きく低下したのである。
ここで重要なのは、
情報が消えたわけではない
という点である。
文書には存在している。
モデルは受け取っている。
コンテキスト長にも余裕がある。
答えは確かに入力されている。
それにもかかわらず性能が落ちる。
これは非常に奇妙な結果だった。
もしコンテキスト不足なら説明は簡単だった。
しかしそうではない。
AIは情報を保持しているはずなのに、それを十分活用できていないのである。
研究者たちはここで初めて、長コンテキストの本質的な問題に直面することになった。
⸻
Lost in the Middle
研究者たちはこの現象を
Lost in the Middle
と呼んだ。
「真ん中で迷子になる」。
非常に優れた名前だと思う。
なぜなら、この問題は単なる性能低下ではないからだ。
AIは読めている。
しかし利用できない。
情報は存在する。
しかし取り出せない。
長い文書の途中で重要な情報を見失ってしまう。
まるで長い会話の途中で本来の話題を忘れてしまう人間のようだった。
実際、論文のグラフを見るとその傾向は非常に分かりやすい。
性能は一直線ではない。
U字型になる。
冒頭で高い。
中央で下がる。
末尾で再び上がる。
理想的には平坦であるべきだった。
どこに情報があっても同じ性能を出すべきだった。
しかし現実はそうではなかった。
AIはコンテキスト全体を均等には扱っていなかったのである。
⸻
なぜ起きるのか
では、なぜこの現象が起きるのだろうか。
論文は現象を示したが、原因を完全に特定したわけではない。
しかし研究者たちはいくつかの可能性を議論している。
その中心にあるのが位置バイアスである。
Transformerは理論上すべてのトークンを参照できる。
そのため一見すると、「どこに情報があっても同じように扱える」ように思える。
しかし実際のモデルは学習によって構築されている。
現在の研究では、学習データの偏りよりも、位置エンコーディングの特性やAttentionの偏りが主な原因候補として議論されている。
具体的には、RoPE（Rotary Position Embedding）のような位置エンコーディングの挙動が、長コンテキスト環境における情報利用の偏りを生み出している可能性がある。
つまり「Attentionが機能していない」という単純な話ではない。
長コンテキスト環境においてモデルが形成した位置的バイアスが顕在化しているのである。
現在でも完全な説明は存在していない。
しかし少なくとも、長いコンテキストを与えれば自動的に均等利用されるという前提は崩れた。
⸻
人間との奇妙な類似
さらに興味深いのは、人間との類似である。
認知科学では古くから、
- Primacy Effect
- Recency Effect
が知られている。
人間も長い情報列の中央を忘れやすい。
会議の内容を思い出しても、最初と最後は覚えている。
しかし途中の議論は曖昧になりやすい。
もちろん人間の脳とTransformerはまったく異なる。
内部構造も学習方法も違う。
それでも結果だけを見ると、不思議な共通点が存在する。
大量の情報を扱う知能は、中央を見失いやすいのだろうか。
それともこれは単なる偶然なのだろうか。
この問いは現在でも完全には答えが出ていない。
だが少なくとも、AIだけの特殊な問題とは言い切れなくなった。
⸻
長コンテキスト神話の崩壊
Lost in the Middleが重要だった理由は、単に一つの弱点を発見したからではない。
業界の前提そのものを揺るがしたからである。
それまでの常識は、
長いコンテキスト
↓
多くの情報
↓
高い性能
だった。
しかし論文は別の現実を示した。
100万トークン読めることと、100万トークン活用できることは違う。
巨大な図書館を持つことと、必要な本を探せることは違う。
大量の会話履歴を保持することと、重要な会話を思い出せることは違う。
コンテキスト長そのものは解決策ではなかった。
むしろ新しい問題を可視化したのである。
業界が熱狂していた「100万トークンの夢」は、この論文によって初めて現実と向き合うことになった。
⸻
残された問い
Lost in the Middleは、一つの問いを残した。
AIは確かに情報を処理している。
AIは確かに答えを返している。
だが、その過程で何が起きているのだろうか。
もし重要情報の位置だけで性能が大きく変わるなら、私たちが見ているものは本当に「理解」なのだろうか。
あるいは、理解しているように見える振る舞いなのだろうか。
この問いは単なる長コンテキストの問題を超えて、AIそのものの理解へと繋がっていく。
そしてその問いに向き合おうとした結果、業界は次第に別の方向へ進み始める。
コンテキストを増やすのではなく、重要な情報を探し出す。
重要な情報を保持する。
重要な情報を管理する。
その発想の転換が、RAGやMemory Systems、そして後のContext Engineeringへと繋がっていくことになる。
業界はどう対応したのか
コンテキストを増やすから、管理するへ
Lost in the Middleが発表されたとき、その結果を見て驚いた研究者は少なくなかった。
もちろん、AIが完璧ではないことは誰もが知っていた。
Hallucinationもあった。
計算ミスもあった。
推論エラーもあった。
しかし長コンテキストについては、多くの人が比較的楽観的だった。
コンテキスト長は急速に拡大していた。
GPT-4はGPT-3を大きく超えた。
Claudeは100k、200kへ到達した。
Geminiは100万トークンを掲げた。
業界全体が、「あと少しコンテキストが増えれば問題は解決する」と考えていた時期だった。
だからこそLost in the Middleは衝撃だった。
問題は容量不足ではなかった。
情報は存在している。
コンテキストにも収まっている。
それでも利用できない。
これは多くの研究者にとって予想外だった。
そして、この論文を境に業界の問いは少しずつ変化していく。
それまでの問いは、どうやってより多くの情報を入れるかだった。
しかしLost in the Middle以降の問いは違う。
どうやって重要な情報を取り出すか
になったのである。
この変化は単なる研究テーマの変更ではなかった。
その後数年間のAI研究の方向性そのものを変える転換点だった。
⸻
全部覚えるという発想の限界
Lost in the Middle以前の発想は非常にシンプルだった。
コンテキストが足りないなら増やす。
長文が読めないなら長くする。
会話を忘れるなら履歴を保持する。
ある意味で自然な考え方である。
コンピュータの歴史を振り返っても、ストレージ不足は容量を増やすことで解決してきた。
メモリ不足も増設で解決してきた。
だからAIも同じように考えられていた。
しかしLost in the Middleは、その発想だけでは不十分であることを示した。
100万トークン読めることと、100万トークンを活用できることは違う。
ここで初めて、「情報量」と「情報利用能力」は別問題であることが認識され始める。
そして業界は次の問いへ向かった。
もし全てを覚えることが解決策ではないなら、何をすべきなのか。
⸻
RAGブームの始まり
この問いへの最初の大きな回答が、
RAG（Retrieval-Augmented Generation）
だった。
現在では生成AIの標準技術の一つとして知られているが、当時はまだ新しい発想だった。
RAGの考え方は驚くほど単純である。
全部を覚えようとしない。
必要な時に探す。
それだけだ。
しかし、この発想は従来の考え方とは大きく異なっていた。
それまでは、知識を持つことが重要だと考えられていた。
RAGは違う。
知識を探せることを重視したのである。
⸻
人間は全てを覚えていない
この発想は、人間の知識利用に近い。
法律家は全ての法律を暗記しているわけではない。
医師も全ての医学論文を覚えているわけではない。
研究者も全ての論文を記憶しているわけではない。
必要な時に探す。
必要な時に読む。
必要な時に参照する。
知識とは保存ではなくアクセスの問題でもある。
RAGはその事実をAIへ持ち込んだ。
AIは必要な情報を検索する。
検索結果だけを利用する。
巨大な文書群全体をコンテキストへ入れる必要はない。
その結果、長コンテキスト問題の多くが現実的な形で解決できるようになった。
⸻
Embeddingが変えたもの
RAGを支えていたのがEmbeddingだった。
Embeddingとは文章を意味空間へ変換する技術である。
一見すると専門的に聞こえるが、本質は単純だ。
意味が近い文章は近くに配置する。
意味が遠い文章は離して配置する。
例えば、「犬を飼っている」と「ペットとして犬が好き」は近い位置に配置される。
一方で、「量子コンピュータの誤り訂正」は遠くに配置される。
これによってAIは単語ではなく意味で検索できるようになった。
従来の検索はキーワード中心だった。
Embeddingは意味中心だった。
この違いは非常に大きかった。
RAGが実用化された背景には、Embedding技術の成熟が存在していたのである。
⸻
エンタープライズAIの爆発
RAGは急速に企業へ広がった。
理由は明確だった。
企業には既に膨大な知識が存在していたからである。
契約書。
マニュアル。
議事録。
技術文書。
設計資料。
顧客対応履歴。
問題は知識不足ではなかった。
知識が多すぎることだった。
RAGはこの状況に非常によく適合した。
企業はモデルを再学習する必要がない。
既存文書を検索対象にするだけでよい。
最新情報も利用できる。
内部情報も扱える。
その結果、2024年以降の企業向け生成AIの多くはRAGを中心に構築されるようになった。
当時のAI業界を振り返ると、「生成AIブーム」と同時に「RAGブーム」が存在していたと言っても過言ではない。
⸻
しかしRAGでも足りなかった
ところが、しばらくすると新たな問題が見えてくる。
RAGは文書検索には強い。
知識検索にも強い。
しかし人間の記憶はそれだけではない。
過去の会話。
共同作業の履歴。
継続中の目標。
失敗した経験。
ユーザーの価値観。
こうした情報は単純な文書検索では扱いにくかった。
例えば、「このプロジェクトでなぜこの設計を選んだのか」という問いを考えてみよう。
答えは一つの文書に存在するとは限らない。
数十回の議論の中に散らばっているかもしれない。
複数の会議で徐々に形成された合意かもしれない。
RAGは文書単位の検索が得意だが、複数の会話や議論にまたがった意味の統合は苦手だった。
RAGは優秀だった。
しかしそれだけでは、人間が行う長期的な知的活動を再現するには不十分だったのである。
⸻
Memory研究の復活
ここで再び注目され始めたのがMemory研究だった。
冒頭で触れたように、一時期は不要論まで出ていた分野である。
巨大コンテキストがあれば不要。
RAGがあれば不要。
そう考える人もいた。
しかし現実は違った。
検索できることと、覚えていることは違う。
必要な情報を探せることと、継続的な文脈を維持できることも違う。
研究者たちは改めて考え始める。
AIには記憶が必要なのではないか。
ただし、人間のような記憶が。
⸻
Long-Term Memoryという発想
ここからLong-Term Memory研究が活発になる。
人間には短期記憶と長期記憶が存在する。
今読んでいる文章。
今見ている画面。
今聞いている会話。
これらは短期記憶で処理される。
一方で、職業知識、人生経験、価値観、人間関係——これらは長期記憶に保存される。
研究者たちは、AIにも同様の構造が必要ではないかと考え始めた。
重要なのは、ここでの記憶は単なる保存ではないことである。
要約する。
抽象化する。
統合する。
重要度を判断する。
つまり人間の記憶に近い処理が求められていた。
⸻
Agent Memoryの登場
この問題はAgent研究でさらに深刻になる。
Agentは単発の質問応答システムではない。
観察する。
判断する。
行動する。
結果を記録する。
再び判断する。
そのサイクルを何百回も繰り返す。
すると膨大な履歴が発生する。
ソフトウェア開発Agentなら、設計判断、コード変更、エラー修正、テスト結果、タスク履歴——これらが蓄積され続ける。
もし全てを保持しようとすればコンテキストは膨れ上がる。
しかし重要な情報を失えばAgentは迷子になる。
この問題への回答として登場したのがAgent Memoryだった。
Agentが過去の経験を蓄積し、必要な時に参照し、同じ失敗を避けるための研究である。
⸻
Context Engineeringという転換
こうした流れの中で、業界はさらに重要な気付きへ到達する。
問題はプロンプトではない。
問題はコンテキストなのではないか。
かつてはPrompt Engineeringが注目されていた。
どう指示を書くか。
どのような例を与えるか。
しかしAgentや長期記憶研究が進むにつれ、本当に重要なのは別だと分かってきた。
何を入れるのか。
何を捨てるのか。
何を優先するのか。
どの順番で与えるのか。
何をどの順番でどの分量でコンテキストに入れるかが、モデルの性能を大きく左右することが分かってきたからである。
つまり、コンテキストそのものを設計することが重要だったのである。
これが後にContext Engineeringと呼ばれる流れへ繋がっていく。
⸻
発想の転換
ここまでの流れを振り返ると、業界の発想は大きく変化している。
最初は、全部覚えるだった。
巨大コンテキスト。
巨大知識。
巨大履歴。
全てを保持する。
しかしLost in the Middleは、その発想の限界を示した。
その後の研究は別方向へ進んでいく。
必要な情報だけを探す。
重要な情報だけを残す。
過去の経験を整理する。
適切なタイミングで取り出す。
つまり、コンテキストを増やす時代から、コンテキストを管理する時代へ移行したのである。
⸻
Lost in the Middleが残したもの
Lost in the Middleは派手な論文ではなかった。
新しいモデルを発表したわけでもない。
ベンチマーク記録を更新したわけでもない。
しかし、その影響は非常に大きかった。
この論文は業界へ問いを投げかけた。
重要なのは、どれだけ多くの情報を持てるかではない。
どれだけ重要な情報を活用できるかである。
その問いが、RAG、Long-Term Memory、Agent Memory、Context Engineeringといった研究へ繋がっていった。
そしてその問いはさらに先へ続く。
なぜ人間同士は何か月、何年にもわたる共同作業ができるのか。
なぜAIは長い会話の途中で迷子になるのか。
その問題は単なる検索や記憶の話を超え、知能そのものの問題へと繋がっていく。
AIが迷子になる本質
なぜPersonal AIは難しいのか
Lost in the Middleは、長コンテキストに関する論文として語られることが多い。
どの位置に情報を置くと性能が下がるのか。
モデルは長い文書をどのように利用しているのか。
コンテキスト長は本当に有効なのか。
そうした技術的な話題として紹介されることが多い。
もちろん、それは間違いではない。
実際、この論文は長コンテキスト研究の重要な転換点になった。
しかし、この論文の本当の重要性は別の場所にある。
Lost in the Middleが示したのは、AIが長期的な知的活動を行うことの難しさだった。
単発の質問応答では見えない問題。
数時間、数日、数週間、あるいは数か月にわたって継続する共同作業の中で初めて現れる問題。
それが「迷子になる」という現象だったのである。
そして、その問題を理解するためには、まず人間の共同作業がどのように成立しているのかを見る必要がある。
⸻
人間の共同作業はなぜ成立するのか
人間同士の共同作業は不思議なものである。
研究チームでもよい。
会社経営でもよい。
ソフトウェア開発でもよい。
最初は誰もが同じ情報を持っているわけではない。
目的を共有する。
背景を説明する。
役割を決める。
議論を重ねる。
失敗を経験する。
修正する。
成功体験を積み重ねる。
こうした過程を何度も繰り返す。
すると少しずつ共通認識が形成される。
最初は説明が必要だったことが、やがて説明不要になる。
一言で通じるようになる。
細かな背景を毎回説明しなくても意思疎通できるようになる。
共同作業の効率は、この共通認識によって飛躍的に向上する。
しかし興味深いことに、その共通認識の大部分は文書化されていない。
⸻
暗黙知という巨大なコンテキスト
哲学者マイケル・ポランニーは、
We know more than we can tell.
「私たちは語れる以上のことを知っている」
と述べた。
これは暗黙知（Tacit Knowledge）として知られている概念であり、ポランニー自身が提唱したものである。
人間は膨大な知識を持っている。
しかし、その全てを言語化しているわけではない。
例えば長年一緒に働いているチームを考えてみよう。
「あの件と同じだ」と言えば伝わる。
「前に失敗したパターンだ」と言えば理解される。
「今回はあの方向で行こう」と言えば共通認識が形成される。
そこには大量の背景情報が存在する。
過去の会議。
失敗したプロジェクト。
成功体験。
人間関係。
組織文化。
様々な情報が圧縮されている。
しかし、その大半は議事録には書かれていない。
共同作業は、この巨大な暗黙のコンテキストの上に成立しているのである。
⸻
人間は全てを覚えているわけではない
ここで重要なのは、人間が全てを覚えているわけではないということである。
むしろ逆だ。
人間は大量の情報を忘れる。
昨日見た景色。
一週間前の会話。
数年前のメール。
そのほとんどを思い出せない。
しかし共同作業は成立している。
なぜだろうか。
それは人間が情報を圧縮しているからである。
経験を要約する。
抽象化する。
関連付ける。
重要な部分だけを残す。
不要な詳細は捨てる。
つまり人間は巨大なコンテキストを保持しているのではない。
巨大な経験を整理して保持しているのである。
この違いは非常に重要だ。
⸻
コンテキストは蓄積する
長期的な共同作業では、情報量は想像以上の速度で増加する。
例えば研究プロジェクトを考えてみよう。
最初は目的だけだった。
次に仮説が追加される。
実験結果が追加される。
失敗事例が追加される。
議論が追加される。
参考文献が追加される。
新しいアイデアが追加される。
数か月後には膨大な履歴が存在する。
ソフトウェア開発も同じである。
設計判断、仕様変更、バグ修正、顧客要望、技術的制約、例外処理——これらが積み重なる。
重要なのは、それらが単なる情報の集合ではないことだ。
互いに関連している。
過去の決定が未来の判断を制約する。
過去の失敗が新しい選択肢を排除する。
つまりコンテキストは単純な履歴ではない。
複雑な意味ネットワークなのである。
⸻
AIはどこで迷子になるのか
ここでAIへ話を戻してみよう。
AIとの会話は最初は順調に見える。
数ターンなら問題はない。
十数ターンでも大丈夫だろう。
しかし会話が長くなると変化が起きる。
重要な制約を忘れる。
以前の決定と矛盾する提案をする。
既に却下したアイデアを再び持ち出す。
何度も説明した背景を見失う。
人間から見ると不思議に感じる。
なぜなら情報は存在しているからだ。
会話履歴にも残っている。
コンテキストにも含まれている。
それなのに利用できない。
まさにLost in the Middleが示した現象である。
情報は消えていない。
しかし重要な意味を持つ情報へ到達できなくなっている。
AIは文書の中央で迷子になる。
そして長期会話では、会話全体の中で迷子になるのである。
⸻
Lost in the Middleの本当の意味
だからLost in the Middleは単なるベンチマーク論文ではない。
長コンテキストの性能評価でもない。
その本質は、長期知能の限界を可視化したことにある。
AIは知識を持てる。
AIは推論できる。
AIはコードも書ける。
論文も要約できる。
しかし長期的な文脈を維持することは別問題だった。
ここで初めて、知識量と知能は同じではないという事実が見えてくる。
大量の情報を持っていることと、重要な情報を使えることは違う。
大量の会話履歴を保持することと、過去の議論を理解していることも違う。
Lost in the Middleは、その違いを明確に示したのである。
⸻
Agent研究が直面した壁
この問題はAgent研究でさらに深刻になる。
Agentは単なる会話を行わない。
観察する。
計画する。
行動する。
結果を記録する。
修正する。
再挑戦する。
その履歴は膨大になる。
例えばソフトウェア開発Agentを考えてみよう。
数百回の設計判断が発生する。
数千回のコード変更が発生する。
無数のエラーや修正が発生する。
その全てを保持することは難しい。
しかし重要な決定を失えば問題が起きる。
結果としてAgentは目的を見失う。
同じ失敗を繰り返す。
過去の判断と矛盾する。
既に解決した問題へ戻ってしまう。
Agentが迷子になるとは、まさにこういうことである。
そしてその問題は、実はLost in the Middleが示していた問題の延長線上に存在している。
⸻
Personal AIが求めているもの
ここでPersonal AIという考え方が登場する。
多くの人がPersonal AIに期待しているものは何だろうか。
単発の質問応答ではない。
検索エンジンでもない。
文章生成ツールでもない。
本当に期待されているのは、継続的なパートナーである。
自分のことを理解している。
過去の会話を覚えている。
現在の目標を知っている。
以前の失敗を覚えている。
長期的な関係を築ける。
人々が期待しているのは、そのような存在である。
しかし、それは驚くほど難しい課題だった。
なぜなら人間同士の関係ですら、巨大な暗黙知の上に成立しているからである。
⸻
Personal AIの本当の課題
Personal AIを実現するためには、コンテキストを増やすだけでは足りない。
長期記憶を追加するだけでも足りない。
検索システムだけでも足りない。
必要なのは、
何が重要かを判断すること。
何を保持するかを判断すること。
何を忘れるかを判断すること。
そして適切なタイミングで思い出すこと。
これは人間が日常的に行っている知的活動そのものである。
だからPersonal AIは難しい。
問題はメモリ容量ではない。
問題は知識量でもない。
問題は文脈の維持なのである。
⸻
AIは本当に理解しているのか
ここでLost in the Middleは、さらに大きな問いへ繋がる。
AIは情報を読める。
AIは要約できる。
AIは説明できる。
AIは推論できる。
しかし、本当に理解しているのだろうか。
もし重要な情報の位置だけで性能が大きく変化するなら、私たちが見ているものは何なのだろう。
理解なのか。
それとも理解しているように見える振る舞いなのか。
⸻
ポチョムキン理解という視点
ロシア帝国時代の政治家グリゴリー・ポチョムキンには有名な逸話がある。
女帝エカチェリーナ2世の視察に合わせ、繁栄しているように見える偽の村を作ったという話である。
この逸話の史実性には議論がある。
しかし「ポチョムキン村」という言葉は現在まで残った。
外見は立派に見える。
しかし内部は存在しない。
見かけだけが整っている。
そのような状態を指す言葉として使われている。
AIの「理解」にも、似た問いが成立する。
流暢に説明できる。
論理的に見える。
理解しているように見える。
しかし、その内部では本当に理解が起きているのだろうか。
それとも理解しているように見える構造だけが存在しているのだろうか。
Lost in the Middleは、まさにその問いを突きつけた論文だった。
「情報を読めること」と「情報を活用できること」の間に大きな隔たりが存在することを示したからである。
そして、その隔たりは単なる長コンテキストの問題ではない。
LLMそのものの理解を考える上で避けて通れない問題でもある。
⸻
AIが迷子になる問題は、コンテキスト長の問題ではなかった。
RAGやMemoryで解決できる問題でもなかった。
それは、「情報を持つこと」と「情報を理解すること」の間にある、まだ埋められていない隔たりの問題だった。
Lost in the Middleが示したのは、その隔たりの存在そのものである。
どれだけ多くの情報を与えても、AIは長い文書の中央で迷子になる。
どれだけ長い会話を続けても、重要な文脈はやがて見えなくなる。
そしてその問題は今も解決されていない。
「理解とは何か」という問いの先に、現在のAI研究の最前線がある。
次回予告
Lost in the Middleは、長コンテキスト研究の重要な転換点だった。
この論文は、
「どれだけ多くの情報を保持できるか」
ではなく、
「その情報を本当に活用できるのか」
という問いを突き付けた。
そして、その問いはさらに大きな疑問へと繋がっていく。
AIは情報を処理できる。要約できる。推論できる。説明もできる。
しかし、それは本当に「理解」なのだろうか。
それとも、理解しているように見えるだけなのだろうか。
次回は、この問いを考えるために「ポチョムキン理解（Potemkin Understanding）」という視点からLLMを見ていきたい。