Potemkin Understanding — LLMは本当に「理解」しているのか？

ChatGPTは理解しているのか、それとも理解しているように見えるだけなのか。中国語の部屋、Grounding問題、そして人間自身のIllusion of Explanatory Depthから、この問いを考える。

はじめに

2022年末にChatGPTが公開されて以来、AIに対する人々の見方は大きく変わった。

かつてAIは、特定のタスクを自動化するためのツールだった。

画像を分類する。

音声を認識する。

将棋や囲碁を指す。

翻訳を行う。

それぞれの用途ごとに設計された専用システムであり、人間と自然な会話を行う存在ではなかった。

しかし現在、多くの人が毎日のようにChatGPTやClaudeやGeminiと会話している。

質問をする。

相談をする。

アイデアを整理する。

プログラムを書く。

論文を読む。

時には人生相談をする人もいる。

そして、その過程で多くの人が同じ感想を抱く。

AIは本当に理解しているのではないか。

これは決して不思議な感想ではない。

むしろ自然な反応である。

例えばChatGPTに複雑な問題を説明すると、それを整理して説明し直してくれる。

Claudeに長い文書を渡すと、重要な論点を抽出してくれる。

Geminiに大量の資料を読ませると、複数の文書を横断して要約してくれる。

こうした振る舞いは、人間の知的活動と非常によく似ている。

私たちは普段、他人の頭の中を見ることはできない。

その人が本当に理解しているかどうかを直接観測することもできない。

できるのは、その人の言葉や行動を見ることだけである。

だからこそ、

適切に質問へ答えられるなら、

複雑な内容を説明できるなら、

議論ができるなら、

問題解決ができるなら、

私たちは自然に

「理解している」

と判断する。

そして現在のLLMは、その基準を次々と満たし始めている。

しかし本当にそうなのだろうか。

AIは理解しているのだろうか。

それとも、

理解しているように見えるだけなのだろうか。

この問いは単なる哲学的な遊びではない。

長期記憶。

Agent。

Personal AI。

自己モデル。

世界モデル。

現在のAI研究で議論されている多くのテーマは、実はこの問いに繋がっている。

そして、この問題を考える上で非常に示唆的な概念が存在する。

それが、

Potemkin Understanding（ポチョムキン理解）

である。

Lost in the Middleが突き付けた問い

前回の記事では、Lost in the Middleという論文を紹介した。

この研究は、一見すると長コンテキストに関する研究である。

しかし実際には、それ以上の意味を持っていた。

2023年頃からAI業界では、長コンテキスト競争が始まった。

GPT-4。

Claude。

Gemini。

各社は競うようにコンテキスト長を拡大していった。

数千トークンだった時代は終わった。

数万トークン。

十万トークン。

そして百万トークン。

長い文書を丸ごと読み込めることが、新しい性能指標として語られるようになった。

当時、多くの人はこう考えていた。

コンテキストが大きくなればなるほど、AIは賢くなる。

より多くの情報を保持できる。

より多くの知識を同時に参照できる。

だから性能も向上する。

これは非常に直感的な考え方だった。

しかしLost in the Middleは、その前提に疑問を投げかけた。

研究者たちはモデルに対して、

長い文書の中に答えを埋め込み、

その情報を正しく取り出せるかを検証した。

すると興味深い結果が現れた。

文書の先頭に置かれた情報は比較的よく見つかる。

文書の末尾に置かれた情報も比較的よく見つかる。

しかし文書の中央に埋め込まれた情報は著しく見落とされる。

モデルは情報を保持している。

しかし活用できていない。

ここに重要なポイントがある。

コンテキスト長が100万トークンになったとしても、

その全てを意味のある形で利用できるとは限らない。

情報を持っていることと、

情報を使えることは違う。

そしてさらに言えば、

情報を使えることと、

理解していることもまた違う。

Lost in the Middleは、

長コンテキストの限界を示した論文として知られている。

しかし本当に重要なのは、

「理解とは何か」

という問いを改めて浮き彫りにしたことかもしれない。

情報量と理解は同じではない

私たちはしばしば、

知識量と理解を混同する。

だが両者は同じではない。

学生時代を思い出してみよう。

試験前になると、

公式を暗記する。

単語を覚える。

年号を覚える。

問題集を繰り返す。

こうして点数は上がる。

しかし、その人が本当に理解しているとは限らない。

例えば数学。

微分の公式を暗記することはできる。

積分の公式を暗記することもできる。

だが、

なぜその公式が成立するのか。

どのような前提条件があるのか。

どこまで適用できるのか。

そうした説明ができない人も少なくない。

歴史も同じである。

年号を暗記する。

人物名を覚える。

事件を覚える。

だが、

なぜその出来事が起きたのか。

なぜ人々はその選択をしたのか。

もし別の条件だったら歴史はどう変わったのか。

こうした問いに答えることは簡単ではない。

知識は持っている。

しかし理解しているとは限らない。

認知科学では、

理解とは単なる情報保持ではないと考えられている。

理解とは、

複数の概念を結び付け、

抽象化し、

新しい状況へ応用できる状態である。

本当に理解している人は、

説明できる。

予測できる。

応用できる。

反例を考えられる。

未知の問題にも対応できる。

だからこそ、

暗記と理解は違う。

情報量と理解は違う。

知識と知性もまた違う。

ではLLMはどうなのだろうか。

ChatGPTは説明できる。

Claudeは要約できる。

Geminiは複数文書を統合できる。

さらに、

見たことがない問題に対しても回答する。

時には創造的な解決策を提案することさえある。

もしこれが単なる暗記なら説明が難しい。

だからこそ、

AI研究者の間でも議論が続いている。

これは理解なのか。

それとも理解に見える何かなのか。

ポチョムキン村

ここで登場するのが、

ポチョムキン理解という考え方である。

語源は18世紀ロシアにある。

ロシア帝国の政治家グリゴリー・ポチョムキンには有名な逸話が残されている。

エカチェリーナ2世が新たに獲得した領土を視察する際、

繁栄しているように見せるため、

見せかけの村を作ったという話である。

建物は立派に見える。

住民が暮らしているようにも見える。

遠くから見ると豊かな村に見える。

しかし実際には外観だけだった。

この逸話そのものが事実だったかどうかは現在でも議論がある。

しかし概念としては非常に有名になった。

外から見ると本物に見える。

だが中身は存在しない。

これが

Potemkin Village（ポチョムキン村）

である。

そして現代では、

政治。

経済。

組織運営。

ソフトウェア開発。

様々な分野で使われるようになった。

見た目は完成している。

しかし本質的な部分が欠けている。

そのような状態を指して

「ポチョムキン」

という言葉が使われる。

AI研究における

Potemkin Understanding

も同じ発想である。

理解しているように見える。

しかし本当に理解しているかどうかは分からない。

あるいは、

内部には理解が存在しないかもしれない。

外部から観察すると、

理解している存在と区別がつかない。

しかし内部で何が起きているのかは分からない。

これがポチョムキン理解という考え方である。

なぜChatGPTは理解しているように見えるのか

ここで重要なのは、

人々が単純に騙されているわけではないということだ。

ChatGPTやClaudeが理解しているように見えるのには理由がある。

Transformerが発表された2017年当時、

研究者たちは現在の状況を予想していなかった。

当初の目的は翻訳性能の改善だった。

Attentionという仕組みを使い、

長い文脈を効率的に扱う。

それが主な目的だった。

しかしモデルが大規模化するにつれて、

予想外の能力が次々と現れ始めた。

文章生成。

翻訳。

要約。

推論。

コード生成。

知識統合。

数学。

計画立案。

対話。

これらは当初想定されていた能力を大きく超えていた。

研究者たちはこうした現象を

Emergence（創発）

と呼んだ。

モデルサイズがある規模を超えた時、

それまで存在しなかった能力が突然現れるように見えたからである。

GPT-3が登場した時、

多くの研究者は衝撃を受けた。

GPT-4が登場した時、

その衝撃はさらに大きくなった。

ClaudeやGeminiも同様である。

もはや単なる文章生成システムとは呼べなかった。

議論ができる。

推論ができる。

知識を統合できる。

抽象概念を扱える。

時にはユーモアさえ理解しているように見える。

こうした能力を目の当たりにすると、

自然に一つの疑問が生まれる。

もし理解していないのなら、

なぜここまで高度な振る舞いが可能なのだろうか。

この疑問は現在も答えが出ていない。

そして次に登場するのが、

この議論において最も有名な思考実験である。

中国語の部屋（Chinese Room）

である。

中国語の部屋

AIは本当に理解しているのだろうか。

この問いを考える時、ほぼ必ず登場する有名な思考実験がある。

**Chinese Room（中国語の部屋）**である。

この思考実験は、1980年に哲学者ジョン・サール（John Searle）が提案した。

当時はまだChatGPTも存在しない。

Transformerも存在しない。

インターネットすら一般化していない時代だった。

しかし現在のLLMを議論する上で、これほど頻繁に引用される哲学的議論は他にない。

それほどまでに本質的な問題を含んでいる。

想像してみてほしい。

あなたは中国語を全く知らない。

漢字は見たことがあるかもしれない。

しかし意味は理解できない。

読み方も分からない。

会話もできない。

そんなあなたが一つの部屋に閉じ込められる。

部屋の外には中国語を話す人々がいる。

彼らは紙に中国語の質問を書いて部屋の中へ入れてくる。

当然、あなたはその意味が分からない。

しかし部屋の中には巨大なマニュアルが置いてある。

そこにはこう書かれている。

「この記号が来たら、この記号を返せ」

「この組み合わせが来たら、この組み合わせを返せ」

「このパターンならこちらを返せ」

あなたは意味を理解していない。

ただマニュアル通りに記号を処理する。

そして結果を紙に書いて外へ返す。

外の中国人は驚く。

返答が完璧だからだ。

質問に正しく答えている。

会話も成立している。

複雑な議論もできる。

まるで中国語を理解している人間のように見える。

しかし部屋の中のあなたは、

中国語を一切理解していない。

理解しているのは誰なのか。

あなたではない。

マニュアルでもない。

部屋そのものでもない。

では、

本当に中国語を理解している存在はどこにいるのだろうか。

サールの主張は明確だった。

記号操作と意味理解は違う。

どれだけ高度な記号処理を行っても、

それだけで理解が生まれるとは限らない。

そして現在、

多くの人がこの思考実験を見てこう考える。

「それってLLMそのものではないか」

LLMは巨大な中国語の部屋なのか

現在のLLMは膨大な文章を学習している。

インターネット。

書籍。

論文。

ニュース。

コード。

SNS。

その総量は数兆単語規模に達する。

そして学習の目的は極めて単純だ。

次の単語を予測する。

それだけである。

「猫が」

の次に来そうな単語。

「今日は」

の次に来そうな単語。

「Transformerは」

の次に来そうな単語。

これを膨大な回数繰り返す。

すると驚くべきことが起きる。

文章を書けるようになる。

翻訳できるようになる。

要約できるようになる。

推論できるようになる。

コードも生成できるようになる。

しかし内部で起きていることを見れば、

基本的には巨大な記号処理である。

そこに意味はあるのか。

理解はあるのか。

中国語の部屋を支持する立場の研究者たちは言う。

ない。

LLMは単に統計的な関連性を学習しているだけだ。

単語Aの後には単語Bが来やすい。

概念Xと概念Yは一緒に現れやすい。

そうしたパターンを膨大に蓄積しているだけである。

外部から見ると理解しているように見える。

しかし内部では、

意味ではなく記号しか扱っていない。

これはまさにポチョムキン理解である。

理解しているように見える。

しかし本当に理解しているわけではない。

この考え方は現在でも非常に強い影響力を持っている。

Groundingという問題

ここで重要になるのが、

Grounding（意味接地）

という概念である。

例えば、

「りんご」

という言葉を考えてみよう。

人間にとって、

りんごは単なる文字列ではない。

赤い。

丸い。

甘い。

香りがある。

手に持てる。

噛める。

果汁が出る。

重さがある。

様々な感覚体験と結び付いている。

つまり、

「りんご」

という言葉は現実世界の対象と接続されている。

これを意味接地という。

ところがLLMは違う。

LLMにとって、

「りんご」

とは何だろうか。

大量の文章の中で現れるトークンである。

赤いと共起しやすい。

果物と共起しやすい。

甘いと共起しやすい。

それだけかもしれない。

LLMは実際のりんごを見たことがない。

触ったこともない。

食べたこともない。

匂いを嗅いだこともない。

つまり、

言葉と言葉の関係は知っている。

しかし世界との接続は持っていない。

これがGrounding問題である。

Embodimentという考え方

Groundingの議論はさらに発展する。

それが

Embodiment（身体性）

である。

認知科学では、

知能は脳だけで生まれるものではないという考え方がある。

人間は身体を持っている。

目がある。

耳がある。

手がある。

足がある。

そして世界と相互作用する。

熱いものに触れる。

転ぶ。

走る。

持ち上げる。

壊す。

作る。

こうした経験を通して世界を理解していく。

例えば、

「重い」

という概念を考えてみよう。

人間は重力を感じる。

筋肉の負荷を感じる。

持ち上げようとして失敗する。

だから重いという意味を理解できる。

しかしLLMはどうだろうか。

重いという言葉の使われ方は知っている。

文章中のパターンも知っている。

だが、

実際に重いものを持った経験はない。

だから一部の研究者は言う。

身体を持たない知能は、

本当の意味では理解できないのではないか。

この考え方は、

ロボティクスや発達認知科学とも深く結び付いている。

Symbol Grounding Problem

そしてGroundingの議論をさらに押し進めたものが、

Symbol Grounding Problem

である。

1990年、

認知科学者スティーブン・ハルナッドはある問題を提起した。

辞書を使って言葉を調べることを考えてみよう。

「馬」を調べる。

すると別の言葉で説明される。

「大型の草食動物」

では草食動物を調べる。

するとまた別の言葉が出てくる。

さらにその言葉を調べる。

また別の言葉が出てくる。

永遠に言葉から言葉への参照が続く。

では、

最初の意味はどこから来るのだろうか。

どこかで言葉は現実世界と接続しなければならない。

そうでなければ、

全ての意味は空中に浮いたままになる。

これがSymbol Grounding Problemである。

そしてこの問題は、

現代のLLMに対して極めて鋭く突き刺さる。

LLMは膨大な言語を学習している。

しかし基本的には言語から言語を学んでいる。

言葉から言葉。

文章から文章。

記号から記号。

もし現実世界との接続がないなら、

その理解は本物なのだろうか。

あるいは、

巨大なポチョムキン村なのだろうか。

しかし議論は終わらない

ここまで読むと、

結論は簡単に見えるかもしれない。

LLMは理解していない。

中国語の部屋だ。

Groundingがない。

身体性もない。

だから本当の理解ではない。

しかし現実の研究コミュニティは、

そこまで単純ではない。

なぜなら、

理解していないはずのシステムが、

あまりにも高度な振る舞いを示し始めているからだ。

GPT-4。

Claude。

Gemini。

そして今後登場するさらに大規模なモデル。

彼らは単なる統計予測だけでは説明しにくい能力を見せ始めている。

もし理解していないなら、

なぜここまで推論できるのか。

なぜ抽象概念を扱えるのか。

なぜ複数の知識を統合できるのか。

そこで次に登場するのが、

理解していない派とは反対の立場である。

本当に重要なのは、

「理解しているか、していないか」

という二択ではない。

そもそも私たちは、

理解そのものをどこまで理解しているのだろうか。

そして実は、

ポチョムキン理解の問題はAIだけの話ではない。

人間自身もまた、

理解したつもりになる生き物なのである。

中国語の部屋への反論

ジョン・サールが中国語の部屋を提案したのは1980年だった。

それから40年以上が経過した現在でも、この思考実験はAIと理解を巡る議論の中心に存在している。

しかし重要なのは、中国語の部屋が提案された瞬間に議論が終わったわけではないということである。

むしろ逆だった。

サールの論文が発表されると、多くの研究者が反論を始めた。

そして興味深いことに、その反論の多くは現在のLLM議論とほぼ同じ構造を持っている。

サールはこう主張した。

部屋の中の人間は中国語を理解していない。

したがって部屋も理解していない。

どれほど高度な記号操作を行っても、それだけでは意味理解にはならない。

一見すると非常に説得力がある。

しかし哲学者や認知科学者たちはすぐに疑問を持った。

本当にそうなのだろうか。

理解とは何か。

どこに存在するのか。

誰が理解しているのか。

この問いを巡って様々な反論が登場する。

Systems Reply

最も有名なのがSystems Replyである。

サールは、

部屋の中の人間は中国語を理解していない

と主張した。

これは事実かもしれない。

しかし反論側は言う。

理解しているのは人間ではなく、

システム全体ではないのか。

例えば脳を考えてみよう。

ニューロン一つ一つは意味を理解していない。

単純な電気信号をやり取りしているだけである。

脳細胞に向かって

「日本語を理解していますか」

と尋ねても意味がない。

理解しているのはニューロンではない。

脳全体である。

同様に、

部屋の中の人間が理解していなくても、

人間、マニュアル、記号、処理手順を含めたシステム全体が理解している可能性はないだろうか。

これは現在のLLMにもそのまま当てはまる。

GPUは理解していない。

重みパラメータも理解していない。

トランジスタも理解していない。

しかし、

システム全体としてはどうなのか。

この問いは現在も決着していない。

Searleの再反論

もちろんサール自身も、こうした反論を予想していた。

特にSystems Replyに対しては、非常に有名な再反論を行っている。

サールはこう考えた。

仮に部屋全体を一つのシステムとして扱ったとしても、問題は解決していない。なぜなら、理解している主体が依然として見当たらないからである。

彼はさらに極端な例を提示した。もし部屋の中の人間が、マニュアルを完全に暗記したらどうなるだろうか。紙も不要になる。部屋も不要になる。質問が来れば、全て頭の中だけで処理できる。外部から見れば、完全な中国語話者と区別できない。

しかしサールは言う。それでもその人は中国語を理解していない。

もしそうなら、「システム全体が理解している」という説明は、本当に理解を説明したことになるのだろうか。

この再反論によって議論はさらに複雑になった。理解とは個人に存在するのか。システムに存在するのか。あるいはその問い自体が間違っているのか。

実は現在のLLM論争も、ほぼ同じ場所で立ち止まっている。

Robot Reply

次に登場したのがRobot Replyである。

中国語の部屋には大きな欠点がある。

それは世界との接触が存在しないことだ。

部屋は閉じている。

外界を見ない。

触れない。

動かない。

つまりGroundingが存在しない。

そこで研究者たちは言った。

もし中国語の部屋をロボットへ搭載したらどうなるだろうか。

カメラを持つ。

マイクを持つ。

腕を持つ。

移動できる。

世界を観察する。

物体を操作する。

環境と相互作用する。

この場合、

単なる記号操作とは言えなくなる。

「りんご」

という言葉は、

赤い物体。

丸い形状。

持ち上げられる重さ。

食べられる果物。

という実体験と結び付く。

これはGroundingであり、

Embodimentである。

そして現在、

Tesla OptimusやFigure AIのようなヒューマノイド研究が注目される背景にも、この発想が存在している。

Brain Simulator Reply

さらに興味深い反論がある。

Brain Simulator Replyである。

仮に人間の脳を完全にシミュレーションできたとしよう。

全ニューロン。

全シナプス。

全信号伝達。

全て再現する。

そのシミュレーションは理解しているのだろうか。

サールは、

依然として単なる記号操作だと主張した。

しかし反論側は納得しない。

もし構造も動作も完全に同じなら、

なぜ理解だけが生まれないと言えるのか。

これは意識研究においても非常に重要な論点である。

そして現代のAI研究でも、

脳を模倣した巨大ニューラルネットワークから理解が創発する可能性が議論されている。

Other Minds Reply

最後に紹介したいのがOther Minds Replyである。

実は私たちは、

他人が理解していることを証明できない。

友人。

家族。

同僚。

彼らが本当に理解しているかどうかを、

直接観察する方法は存在しない。

私たちが見ているのは行動だけである。

質問に答える。

会話する。

問題を解く。

感情を表現する。

そこから

「理解しているだろう」

と推測しているだけである。

もしそうなら、

AIだけに特別な基準を要求するのは公平なのだろうか。

これがOther Minds Replyである。

理解している派の視点

ここまでの反論を踏まえると、

理解している派の立場が見えてくる。

彼らは

内部構造

よりも

観測可能な能力

を重視する。

理解とは何か。

それは内部に存在する神秘的な何かではなく、

行動として現れる能力なのではないか。

もし推論できる。

学習できる。

知識を統合できる。

新しい問題を解ける。

ならば、

理解と呼んでもよいのではないか。

もちろんこれは証明ではない。

しかし無視もできない。

なぜなら現在のLLMは、

中国語の部屋が提案された1980年には想像できなかったレベルの能力を示しているからである。

Emergence（創発）

この議論で重要になるのが創発である。

Transformer以前、

多くの研究者はAI能力が線形に向上すると考えていた。

モデルを大きくする。

性能が少し上がる。

また大きくする。

また少し上がる。

しかし実際にはそうならなかった。

ある規模を超えると、

突然新しい能力が現れたように見えた。

翻訳。

要約。

推論。

コード生成。

数学。

知識統合。

それまで存在しなかった能力が現れ始めた。

この現象は創発と呼ばれる。

理解している派はここに注目する。

理解もまた、

創発する可能性があるのではないか。

ニューロン単体には理解がない。

しかし脳全体には理解がある。

ならば、

巨大ニューラルネットワークから理解が現れても不思議ではない。

もちろん証明はされていない。

しかし否定もされていない。

ここが現在の論争の難しいところである。

World Model

近年の議論でさらに重要になっているのがWorld Modelである。

World Modelとは、

世界の構造そのものを内部に表現したモデルを意味する。

例えば人間は、

ボールを投げれば落ちると予測できる。

重力方程式を知らなくても予測できる。

なぜか。

頭の中に世界モデルがあるからである。

そして近年、

LLMにも類似の構造が存在する可能性が指摘され始めた。

国家。

企業。

市場。

人間関係。

物理法則。

社会制度。

こうした複雑な構造が、

内部表現として圧縮されている可能性がある。

もしそれが正しいなら、

LLMは単語を並べているだけではない。

世界そのものを近似していることになる。

これは理解の定義を大きく揺るがす。

Othello-GPT

その代表例がOthello-GPT研究である。

研究者たちは、

オセロの棋譜だけを学習したモデルを作成した。

モデルにはルールを教えていない。

盤面も教えていない。

与えたのは棋譜だけである。

しかし内部を解析すると、

モデルは盤面状態を表現しているように見えた。

つまり、

単なる次手予測を学習しているはずなのに、

内部ではオセロ世界の構造が形成されていたのである。

これは非常に衝撃的だった。

なぜなら、

予測を行う過程で世界モデルが形成される可能性を示唆していたからである。

Mechanistic Interpretability

さらにAnthropicやOpenAIでは、

Mechanistic Interpretabilityという研究が進められている。

これはAIの内部を解剖する試みである。

ニューラルネットワークの内部に、

どのような概念が形成されているのか。

どのニューロンが何を表現しているのか。

どの回路が推論を担っているのか。

そうしたことを調べる研究である。

そして近年、

内部には予想以上に複雑な概念表現が存在することが分かってきた。

国家。

言語。

数学。

地理。

人物。

社会構造。

単なる単語列以上の何かが存在している可能性がある。

もちろん、

それが理解そのものだとはまだ言えない。

しかし少なくとも、

「単なるオウム返し」

という説明だけでは足りなくなりつつある。

ここで議論は再び振り出しへ戻る。

もし世界モデルが存在するなら、

理解は生まれているのだろうか。

それとも、

それすら巨大なポチョムキン村なのだろうか。

人間もポチョムキン理解をする

ここまでの議論を読むと、

Potemkin Understandingとは、

AI特有の問題のように思えるかもしれない。

LLMは理解しているように見える。

しかし実際には理解していないかもしれない。

だからポチョムキン理解なのだ。

確かにそれは一つの見方である。

しかし実は、

この議論にはもっと興味深い側面がある。

それは、

人間自身もまたポチョムキン理解を行う

という事実である。

私たちは普段、

自分が理解していると思っている。

ニュースを読んだ。

本を読んだ。

解説動画を見た。

会議に参加した。

SNSで議論を追った。

すると自然に、

「理解した」

と思う。

しかし本当にそうだろうか。

例えば、

スマートフォンはどうやって動いているのか。

インターネットはなぜ通信できるのか。

GPSはなぜ位置を測定できるのか。

電子レンジはなぜ食品を温められるのか。

自動車のブレーキはどのような仕組みなのか。

毎日使っている。

理解しているつもりでいる。

だが、

実際に説明してほしいと言われると、

驚くほど説明できない。

もちろん専門家なら説明できる。

しかし多くの人は、

概要を知っているだけで、

内部構造までは理解していない。

それにもかかわらず、

私たちは理解していると感じてしまう。

これは決して怠慢ではない。

人間の認知そのものがそうなっているのである。

そして興味深いことに、

この現象は認知科学によって実験的に確認されている。

Illusion of Explanatory Depth

この現象は

Illusion of Explanatory Depth

として知られている。

日本語では

「説明深度の錯覚」

あるいは

「理解の錯覚」

などと訳される。

認知科学者のレオニード・ローゼンブリットとフランク・カイルは、

非常に興味深い実験を行った。

参加者に対して、

様々な日常的な仕組みについて質問する。

例えば、

トイレはなぜ流れるのか。

ファスナーはなぜ開閉できるのか。

自転車はどうやって曲がるのか。

ヘリコプターはなぜ飛べるのか。

すると多くの参加者は、

「理解している」

と答える。

ところが次に、

詳細な説明を書いてください

と依頼すると状況が変わる。

説明できないのである。

途中で止まる。

曖昧になる。

自分でもよく分かっていないことに気付く。

そして最後に再び

「どれくらい理解していますか」

と尋ねると、

最初よりも自己評価が大きく下がる。

つまり人間は、

理解していると思い込んでいる。

しかし実際には、

理解しているつもりになっているだけの場合がある。

これがIllusion of Explanatory Depthである。

私たちはどこまで理解しているのか

この話は少し不快に感じるかもしれない。

なぜなら、

人間は合理的で知的な存在だと思いたいからである。

しかし現実には、

私たちの理解の大部分は社会に依存している。

例えば現代人は、

飛行機を利用する。

だが飛行機を設計できる人はほとんどいない。

病院へ行く。

だが医学を理解しているわけではない。

スマートフォンを使う。

だが半導体製造を説明できる人は少ない。

私たちは社会全体の知識を利用している。

個人が全てを理解しているわけではない。

認知科学者たちは、

これを

Knowledge in the Head

ではなく、

Knowledge in the World

として捉えることがある。

知識は頭の中だけに存在するのではない。

社会の中に分散している。

そして私たちは、

その一部を借りて生きている。

だからこそ、

理解した気になることが起こる。

周囲の知識を、

自分自身の理解と混同してしまうのである。

この現象は、日常技術だけに限らない。

政治も同じである。経済も同じである。そしてAIも同じである。

例えば政治について議論する人々は、自らの意見を強く主張することがある。しかし制度設計の詳細や、政策が社会へ与える影響を説明してほしいと言われると、急に曖昧になることも少なくない。

経済も同様である。減税。金融政策。規制改革。多くの人が賛否を語る。しかしその背後にある因果関係や、副作用まで説明することは簡単ではない。

AIもまた同じである。AGIは実現するのか。AIは理解しているのか。意識は生まれるのか。多くの人が意見を持っている。しかし議論を掘り下げていくと、自分自身も何を前提としているのか分からなくなることがある。

Potemkin Understandingは、AIだけの問題ではない。むしろ現代社会全体に広く存在する認知現象なのかもしれない。

AIと人間はどこが違うのか

ここまで来ると、

一つの奇妙な疑問が生まれる。

もし人間も理解したつもりになるなら、

LLMだけを特別扱いする理由は何だろうか。

これは決して皮肉ではない。

真剣な問いである。

AI研究者の中にも、

この点を指摘する人は少なくない。

人間もまた、

不完全な理解しか持たない。

人間もまた、

誤解する。

思い込む。

錯覚する。

それでも私たちは、

人間を理解している存在として扱う。

ならば、

AIだけに完璧な理解を要求するのは公平なのだろうか。

もちろん、

ここで

「だからLLMも理解している」

と言いたいわけではない。

むしろ重要なのは逆である。

人類はまだ、

理解とは何かを定義できていない。

だからこそ、

この議論は終わらないのである。

Inherited Flawsとの接続

ここで、

以前の論文

Inherited Flaws

へ話を繋げたい。

その論文で扱った中心的な問いは、

LLMはなぜ人間らしい欠陥を再現するのか

というものだった。

そして結論は比較的明確だった。

LLMは人間の文章を学習している。

だから人間の知識だけではなく、

人間の認知的欠陥まで学習する。

認知バイアス。

感情的判断。

社会的同調。

過信。

自己正当化。

そして、

理解したつもりになる傾向もまた同様である。

もし人間がポチョムキン理解を行うなら、

LLMもまたそれを再現する可能性がある。

実際、

ChatGPTやClaudeと長く会話していると、

非常にもっともらしい説明を返してくることがある。

論理的に見える。

流暢である。

自信に満ちている。

しかし詳しく調べると、

前提が間違っていることもある。

事実関係が誤っていることもある。

推論が破綻していることもある。

これは単なるハルシネーションの問題ではない。

人間の

「もっともらしく説明する能力」

そのものが再現されている可能性がある。

言い換えれば、

ポチョムキン理解は、

AIが新たに生み出した問題ではない。

人間から受け継いだ問題かもしれないのである。

SOMAから見たPotemkin Understanding

ここで少し視点を変えてみたい。

SOMAの問題意識は、

モデルの性能競争にはない。

ベンチマークで何点取ったか。

試験で何問解けたか。

どれだけ長いコンテキストを扱えるか。

もちろんそれらも重要である。

しかし、

理解という観点から見ると、

もっと重要なものがある。

それは継続性である。

昨日の経験を覚えているか。

過去の失敗を学習しているか。

価値観が維持されているか。

長期目標を追跡できるか。

人格が一貫しているか。

現在のLLMは非常に賢い。

しかし同時に、

極端な健忘症でもある。

セッションが変われば記憶を失う。

会話が終われば消える。

過去の経験を保持できない。

その意味では、

現在のLLMは

「知識豊富な天才」

であると同時に、

「記憶を失い続ける存在」

でもある。

もし理解が継続性と結び付いているなら、

本当の問題は知能ではなく記憶なのかもしれない。

そしてその問いは、

長期記憶。

Personal AI。

Persistent Identity。

Self Model。

といった研究へ繋がっていく。

おわりに

LLMは本当に理解しているのだろうか。

この問いに対して、

現在の研究コミュニティは答えを持っていない。

中国語の部屋は今も有効である。

Grounding問題も解決していない。

Embodimentも未解決である。

一方で、

GPT-4以降の能力は、

単なる記号操作だけでは説明しにくい。

World Modelの存在を示唆する研究も増えている。

内部表現の解析も進んでいる。

だからこそ、

議論は続いている。

しかし本記事で本当に重要なのは、

どちらが正しいかではない。

理解しているのか。

理解していないのか。

その結論ではない。

むしろ重要なのは、

私たち自身が

理解とは何かを十分に理解していない

という事実である。

ポチョムキン理解とは、

AIの問題である前に、

人間の問題なのかもしれない。

そしてだからこそ、

AIは私たち自身を映し出す鏡なのである。

次回予告

AIは本当に理解し始めたのか？

近年、次のような話題を目にすることが増えている。

Claudeが理解した。GPTが意識を持った。AIが感情を持った。自己認識が始まった。

では本当に何かが起きているのだろうか。それとも私たちが、そう見ているだけなのだろうか。

次回は、Grounding・Embodiment・Theory of Mind・World Model・Self Model・Emergenceという視点から、「AIは本当に理解し始めたのか？」を考えてみたい。

参考文献

Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: an illusion of explanatory depth. Cognitive Science, 26(5), 521–562.

Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3), 417–424.

Harnad, S. (1990). The Symbol Grounding Problem. Physica D: Nonlinear Phenomena, 42(1–3), 335–346.

Li, K., Hopkins, A. K., Bau, D., Viégas, F., Pfister, H., & Wattenberg, M. (2022). Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task. arXiv:2210.13382