なぜAIは同じ失敗を繰り返すのか？ — Hallucination・Anchoring・Overconfidence・Goal Driftの構造
AIは進化している。それなのに、同じ失敗を繰り返している。存在しない論文を引用し、自信満々に間違え、目標を見失う。これは単なるバグなのか。それとも人間由来の構造的な問題なのか。
はじめに
ChatGPTは賢い。
Claudeも賢い。
Geminiも賢い。
数年前のAIと比べれば、その能力は驚くほど向上した。
長文を読める。
論文を要約できる。
コードを書ける。
複雑な議論もできる。
多くの専門試験で人間を上回る成績を記録し、一部の分野では専門家レベルの知識を示すことさえある。
しかし、奇妙なことがある。
AIは進化している。
それなのに、同じ失敗を繰り返している。
存在しない論文を引用する。
自信満々に間違える。
誤った前提に引きずられる。
一度決めた結論に固執する。
目標を見失う。
もちろん性能は改善している。
GPT-3よりGPT-4の方が優秀である。
GPT-4より最新世代のモデルの方がさらに優秀である。
それでも失敗そのものは消えない。
なぜだろうか。
単なるバグなのだろうか。
単なる性能不足なのだろうか。
あるいは、私たちがAIの失敗だと思っているものは、実は別の何かを映し出しているのだろうか。
本記事では、
Hallucination
Anchoring Bias
Confirmation Bias
Overconfidence
Goal Drift
といった現象を手がかりに、
なぜAIが同じ失敗を繰り返すのかを考えてみたい。
そして最後に、
それらの失敗がAI固有の問題なのか、それとも人間由来の問題なのかという問いに辿り着きたい。
AIは何を学習しているのか
この問いを考えるためには、まずAIが何を学習しているのかを理解する必要がある。
多くの人はAIを巨大な知識データベースのように考えている。
Wikipediaを覚えている。
書籍を覚えている。
論文を覚えている。
だから賢い。
確かに一面では正しい。
しかし実際には少し違う。
大規模言語モデルは知識をそのまま保存しているわけではない。
文章のパターンを学習している。
ある単語の後にどの単語が続きやすいのか。
どのような文章構造が自然なのか。
どのような説明が説得力を持つのか。
どのような議論が成立しやすいのか。
そうした統計的な規則性を学習している。
ここで重要なのは、
AIが学習しているのは世界そのものではなく、
人間が記述した世界だということである。
AIは現実を直接見ていない。
重力を体験していない。
暑さも寒さも知らない。
痛みも知らない。
喜びも知らない。
AIが見ているのは、人類が残した膨大な記録である。
書籍、論文、ニュース、Webサイト、SNS、チャットログ、フォーラム。
つまりAIが学習しているのは、
世界そのものではなく、
人間が世界をどのように理解し、どのように説明してきたかである。
この違いは極めて重要である。
なぜなら、その中には知識だけではなく、人間の思考パターンも含まれているからだ。
Hallucination
AIの失敗として最も有名なのがHallucinationである。
存在しない情報を生成する現象だ。
存在しない論文。
存在しないURL。
存在しない判例。
存在しない人物。
存在しない引用。
AIは時として、それらを極めて自然な形で生成する。
しかも問題は単なる誤りではない。
AI自身が誤りを認識していないことだ。
非常に高い確信度で説明する。
本当に存在するかのように語る。
利用者はしばしば騙される。
この現象はAI特有の欠陥として語られることが多い。
しかし少し視点を変えてみよう。
人間の記憶はどのように機能しているだろうか。
私たちは記憶を録画映像のようなものだと思いがちである。
しかし認知科学は異なる結論を示している。
人間の記憶は再生ではない。
再構成である。
思い出すたびに再生成される。
その過程で歪む。
欠落する。
補完される。
時には存在しなかった出来事さえ作り出す。
心理学には「偽記憶」という現象がある。
実際には起きていない出来事を、人は本当に起きたこととして記憶してしまう。
目撃証言がしばしば信用できない理由もそこにある。
もちろんAIのHallucinationと人間の偽記憶は同じではない。
仕組みは全く異なる。
しかし結果として観察される現象には驚くほど共通点がある。
存在しないものを生成する。
しかも高い確信を持って生成する。
私たちはそれをAIの欠陥だと考える。
しかしそれは、人間自身が長年抱えてきた問題にも似ている。
Anchoring Bias
次に興味深いのがAnchoring Biasである。
アンカリング効果とも呼ばれる。
最初に与えられた情報が、その後の判断に強い影響を与える現象だ。
例えば、
「この会社は経営危機にある」
という前提を与える。
その後で好業績を示すデータを提示しても、
最初の印象が判断に残ることがある。
AIにも似た現象が観察される。
会話の初期に与えられた情報へ強く引きずられる。
後から反証が提示されても、
最初の方向性を維持しようとする。
これは一見するとAIの推論能力の欠陥に見える。
しかしアンカリング効果は人間でも非常によく知られている。
行動経済学者のダニエル・カーネマンとエイモス・トベルスキーは、
人間が驚くほど簡単にアンカーへ影響されることを示した。
最初に見た数字。
最初に聞いた価格。
最初の説明。
最初の印象。
それらは後の判断に大きな影響を与える。
私たちは自分を合理的だと思っている。
しかし実際には文脈へ強く依存している。
AIもまた同じような振る舞いを示す。
もちろん原因は異なる。
しかし結果は似ている。
Confirmation Bias
さらにAIは、一度形成した仮説を支持する方向へ推論を進めることがある。
Confirmation Biasである。
確証バイアスとも呼ばれる。
人間は自分が信じたい情報を集める。
支持証拠を探す。
反証を軽視する。
これは科学研究でも問題になる。
政治でも問題になる。
SNSではさらに顕著になる。
人は自分の世界観を補強する情報を好む。
そして反対意見を避ける。
興味深いことに、AIにも似た傾向が見られる。
会話の序盤で形成された仮説を維持しようとする。
反証情報を与えても、
その重要性を十分に反映できない場合がある。
もちろんAIには信念がない。
政治的立場もない。
感情もない。
それでも結果として現れる振る舞いは、
人間の確証バイアスを思い出させる。
ここで奇妙なことが起きている。
異なる仕組みから、
似たような現象が生まれているのである。
Overconfidence
AIは自信満々に間違う。
これは多くの利用者が経験しているだろう。
分からないと答える代わりに、
もっともらしい説明を生成する。
曖昧な状況でも断定的に語る。
複雑な計算を間違えていても、
自信たっぷりに説明する。
この現象はしばしばAIへの不信感につながる。
しかし人間はどうだろうか。
心理学にはOverconfidence Biasという概念がある。
人は自分の知識を過大評価する。
自分の判断を過大評価する。
自分の予測能力を過大評価する。
専門家ですら例外ではない。
実際、多くの研究で、
人間の自信と正確性は必ずしも一致しないことが示されている。
私たちは思っている以上に間違う。
そして思っている以上に、自分が正しいと思い込む。
AIの過信もまた、
どこか人間の過信を思い出させるのである。
Goal Drift
Agentと呼ばれるシステムが登場すると、別の種類の失敗も見えてくる。
Goal Driftである。
目標ドリフトとも呼ばれる。
本来の目的から徐々に逸脱していく現象だ。
これは自律エージェント研究で頻繁に観察される。
最初は明確な目標が与えられる。
レポートを作成する。
市場調査を行う。
ソフトウェアを開発する。
しかしタスクを分解し始めると状況が変わる。
サブタスクが生まれる。
中間目標が生まれる。
評価指標が生まれる。
そして気づかないうちに、本来の目的よりもサブタスクの達成そのものが重要になってしまう。
結果として、当初の目的から離れていく。
これはAgent研究だけの話ではない。
企業でも起きる。
行政でも起きる。
大学でも起きる。
研究機関でも起きる。
企業は顧客へ価値を提供するために存在する。
しかしいつの間にか社内手続きが目的になる。
大学は教育と研究のために存在する。
しかしいつの間にか評価指標やランキングが目的になる。
研究機関は新しい知識を生み出すために存在する。
しかしいつの間にか予算獲得が最優先になる。
目標の置き換えは人間社会の至るところで起きている。
AIがGoal Driftを起こすことは不思議ではない。
むしろ知能システムが複雑化したときに現れやすい現象なのかもしれない。
GPT-4になっても問題は消えなかった
ここまで見てきた失敗は、古いAIだけの問題ではない。
むしろ重要なのはその逆である。
AIは進化している。
しかし失敗の種類は残り続けている。
GPT-2の時代にもHallucinationは存在した。
GPT-3の時代にも存在した。
GPT-4でも完全には消えなかった。
Claudeにも存在する。
Geminiにも存在する。
もちろん程度は違う。
性能向上によって発生頻度は減っている。
推論能力も改善している。
しかし根本的な現象は残り続けている。
これは極めて重要な事実である。
もし問題が単純な能力不足であれば、
十分に高性能なモデルでは消えるはずだからだ。
しかし実際には消えていない。
つまり私たちは、
単なる性能不足ではなく、
より深い構造的な問題を見ている可能性がある。
第一の継承 — Training Data
その構造を理解するために、
AIがどこから学んでいるのかを考えてみよう。
最初の経路はTraining Dataである。
学習データだ。
AIはインターネットを読む。
書籍を読む。
ニュースを読む。
論文を読む。
SNSを読む。
そして人間同士の会話を読む。
そこには膨大な知識が含まれている。
しかし同時に、
膨大な誤解も含まれている。
誤情報。偏見。思い込み。陰謀論。感情的な議論。不完全な推論。
インターネットは人類の知識の集積である。
しかしそれは同時に、
人類の混乱の集積でもある。
AIはそれらすべてを学習する。
だから人間らしい文章を書ける。
しかし同時に、
人間らしい失敗も学習する。
第二の継承 — Architecture
しかし学習データだけでは説明できない。
アーキテクチャそのものにも理由がある。
大規模言語モデルは世界を直接理解しているわけではない。
次に現れる単語を予測している。
もちろん、それだけではない。
内部には世界モデルのような表現も形成される。
推論能力も獲得される。
計画能力も現れる。
しかし最終的な出力は依然として予測である。
ここに重要な特徴がある。
AIは、
「正しいから出力する」
のではなく、
「もっともらしいから出力する」
のである。
存在しない論文であっても、
存在しそうであれば生成できる。
存在しないURLであっても、
もっともらしく見えれば生成できる。
存在しない引用であっても、
文脈的に自然であれば生成できる。
Hallucinationが完全に消えない理由の一つはここにある。
これは単なるデータの問題ではない。
生成という仕組みそのものに関係している。
第三の継承 — Human Feedback
さらに現代のAIには第三の経路が存在する。
人間の評価である。
ChatGPT以前のモデルは、
現在よりもはるかに扱いにくかった。
攻撃的だった。
不安定だった。
危険な回答も多かった。
それを改善したのがRLHFである。
Reinforcement Learning from Human Feedback。
人間の評価を利用してAIを訓練する手法だ。
これによってAIは、
より礼儀正しくなった。
より協力的になった。
より安全になった。
しかしここで新しい継承が発生する。
AIは知識だけではなく、
人間の価値判断も学習する。
人間が良いと思う回答。
人間が自然だと思う説明。
人間が納得する文章。
人間が安心する振る舞い。
それらを学習する。
もちろんこれは大きな成功だった。
だから現在のAIは多くの人に利用されている。
しかし同時に、
人間の認知バイアスや評価の偏りまで取り込んでしまう可能性がある。
AIと人間は同じなのか
ここで誤解してはいけないことがある。
AIは人間ではない。
Hallucinationは記憶違いではない。
Anchoring Biasは感情による判断ではない。
Overconfidenceは自尊心ではない。
Goal Driftは欲望ではない。
人間には身体がある。
感情がある。
経験がある。
自己意識がある。
AIにはない。
つまり、
同じ現象が観察されたとしても、
原因まで同じとは限らない。
これは非常に重要である。
AIを擬人化しすぎると、
本質を見失う。
人間とAIは違う。
まずその違いを認識する必要がある。
Functional Isomorphism
しかし面白いことに、
原因が異なっていても結果が似ることはある。
飛行機は鳥ではない。
羽ばたかない。
骨格も違う。
筋肉も違う。
それでも空を飛ぶ。
同じ機能を実現しているからである。
AIにも似たことが起きている可能性がある。
人間の脳とは全く異なる仕組みを持ちながら、
似たような失敗を示している。
これをFunctional Isomorphismという考え方で捉えることができる。
内部構造は異なる。
しかし外部から観察される機能や振る舞いが似ている。
重要なのは、
知能の実装ではなく、
知能が示すパターンかもしれないという点である。
もし異なる仕組みから同じような失敗が生まれるなら、
そこには知能そのものに共通する性質が隠れている可能性がある。
AIは鏡なのか
ここまでの議論から、
AIは人間の鏡だという考え方が生まれる。
確かにその通りである。
AIは人類が生み出した文章を学習している。
だから人間社会を反映する。
人間の知識を反映する。
人間の価値観を反映する。
人間の認知バイアスを反映する。
しかし私は、
AIは単なる鏡ではないと思っている。
鏡はそのまま映す。
AIは違う。
圧縮する。
一般化する。
再構成する。
組み合わせる。
そして時には増幅する。
人間社会に存在する偏見は、
AIの内部で抽象化される。
人間社会に存在する過信は、
別の形で再構成される。
つまりAIは反射装置ではない。
変換装置なのである。
AIは欠陥を拡大するのか
ここで少し不安になるかもしれない。
もしAIが人間の欠陥を学習しているなら、
AIはその欠陥をさらに拡大するのだろうか。
可能性はある。
なぜならAIは高速だからである。
人間の誤情報はゆっくり広がる。
AIは一瞬で大量生成できる。
人間の偏見は限定的である。
AIは大規模に再生産できる。
人間の過信は個人レベルで終わることが多い。
AIの過信は何百万回も繰り返される。
つまり問題は、
AIが人間の欠陥を持つことではない。
その欠陥を大規模に複製できることなのである。
だからこそAI SafetyやAlignment研究が重要になる。
本当に興味深い問い
しかし私は別の問いの方が面白いと思う。
なぜAIは失敗するのか。
もちろん重要な問いである。
しかしもっと興味深いのは、
なぜAIの失敗が人間の失敗に似ているのか。
という問いだ。
もし全く異なる仕組みから、
似たような失敗が生まれるのだとしたら、
そこには知能そのものに関するヒントが隠れているかもしれない。
限られた情報から推論する。
不確実な状況で判断する。
未来を予測する。
世界を理解しようとする。
知能とは本質的に誤りを伴うものなのかもしれない。
完全な知識を持たない以上、
失敗は避けられないのかもしれない。
だとすれば、
本当に重要なのは失敗をなくすことではない。
失敗を理解することなのかもしれない。
おわりに
私たちはAIの失敗を見るたびに驚く。
なぜこんな簡単なことを間違えるのだろう。
なぜ存在しない情報を作り出すのだろう。
なぜ間違いを認めないのだろう。
しかし少し視点を変えると、
別の景色が見えてくる。
AIは人間ではない。
脳もない。
感情もない。
自己もない。
それでも人間によく似た失敗をする。
その理由は、
AIが人間の知識だけではなく、
人間の認知のパターンそのものを学習しているからかもしれない。
AIの失敗は偶然ではない。
そこには構造がある。
そしてその構造を理解することは、
AIを理解することでもあり、
人間自身を理解することでもある。
私たちはAIの中に未来の知能を見ているのではない。
人類が長い時間をかけて積み上げてきた認知のパターンを見ているのかもしれない。
次回予告
しかし、ここで新たな疑問が生まれる。
もしAIの欠陥が人間から受け継がれたものだとしたら、
なぜ私たちはその欠陥をさらに強化してしまうのだろうか。
現在のAI開発の中心には、人間の評価を利用してAIを訓練する仕組みが存在する。
RLHFである。
AIを安全にするための仕組みは、本当にAIを改善しているのだろうか。
それとも、人間の限界をAIへ移植しているだけなのだろうか。
人間らしさを増やすことは、本当にAIを良くすることなのだろうか。
あるいは、人間らしさそのものが問題なのだろうか。
参考文献
Ji, Z. et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys.
Tversky, A., & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
Loftus, E. F. (2005). Planting Misinformation in the Human Mind: A 30-Year Investigation of the Malleability of Memory. Learning & Memory, 12(4), 361–366.
Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS 2022.
Rozenblit, L., & Keil, F. (2002). The Misunderstood Limits of Folk Science: An Illusion of Explanatory Depth. Cognitive Science, 26(5), 521–562.
Harnad, S. (1990). The Symbol Grounding Problem. Physica D: Nonlinear Phenomena, 42(1–3), 335–346.
LeCun, Y. (2022). A Path Towards Autonomous Machine Intelligence. OpenReview.