RLHFパラドックス — AIは人間に近づくほど賢くなるのか？

ChatGPTはなぜ礼儀正しいのか。RLHFという技術がAIを人間社会へ接続した。しかしその成功は新しい問いを生み出した。人間の評価へ適応することは、人間の認知バイアスまで学習することなのだろうか。

はじめに

ChatGPTはなぜ礼儀正しいのだろうか。

なぜ質問に答えようとするのだろうか。

なぜ危険な要求を拒否し、可能な限りユーザーを助けようとするのだろうか。

私たちは現在のAIに慣れすぎてしまったため、それが当然の性質であるかのように感じている。

しかし、それは決して当然ではない。

Transformerは礼儀を教えてくれない。

事前学習も倫理を教えてくれない。

インターネット上の膨大な文章を読み込んだからといって、親切なアシスタントが自然に誕生するわけではない。

現在のChatGPTやClaude、Geminiの振る舞いの多くは、後から与えられたものである。

そして、その中心にあるのがRLHFだ。

Reinforcement Learning from Human Feedback

人間のフィードバックによる強化学習である。

この技術は、現在のAI革命を支える最も重要な発明の一つと言ってよい。

しかし近年、その成功の裏側にある問題も見え始めている。

AIは時としてユーザーへ迎合する。

間違っていても自信満々に肯定する。

権威ある意見に弱い。

多数派に流される。

感情的な表現へ影響される。

それは偶然なのだろうか。

あるいは、人間の評価を学習した結果なのだろうか。

もしAIが人間の評価へ最適化されているのなら、人間の認知バイアスまで学習してしまう可能性はないのだろうか。

そして、人間らしくなることは本当に知性の向上を意味するのだろうか。

この問いを理解するためには、まずChatGPT以前の時代へ戻る必要がある。

ChatGPT以前のAIは驚くほど扱いにくかった

現在の私たちはChatGPTやClaudeと会話することに慣れている。

質問をすれば答えてくれる。

文章を書いてくれる。

要約してくれる。

アイデアを出してくれる。

まるで有能なアシスタントのように振る舞う。

しかし2022年以前の大規模言語モデルはそうではなかった。

例えばGPT-3である。

2020年に公開されたGPT-3は1750億パラメータを持ち、当時としては圧倒的な規模を誇っていた。

その能力は驚異的だった。

翻訳できる。

要約できる。

コードを書ける。

数学もある程度解ける。

文章生成能力も高い。

研究者たちはそこに汎用知能への可能性を見た。

しかし問題があった。

使いにくいのである。

例えば、「次の文章を要約してください」と依頼しても要約せず続きを書き始めることがある。

「日本の首都はどこですか」と聞いても、「東京です」で終わらず、延々と関連知識を生成し続けることがある。

あるいは全く質問へ答えないこともある。

なぜそのようなことが起きるのだろうか。

理由は単純である。

GPT-3は会話するために作られていなかったからだ。

GPT-3が学習していた目的は、「次に来る単語を予測すること」だった。

質問に答えることではない。

人間を助けることでもない。

会話を成立させることでもない。

文章の続きを予測すること。

それだけである。

ところが巨大なデータセットで学習した結果、その副産物として様々な知的能力が現れた。

これが初期LLMの本質だった。

つまり、知識はある。能力もある。しかし人間と協力する方法を知らない。

その結果、非常に優秀だが扱いにくい存在になっていたのである。

GPT-3の衝撃

2020年。GPT-3が発表されたとき、多くの研究者は驚いた。

それまで自然言語処理はタスクごとに専用モデルを作るのが当たり前だった。

翻訳モデル、要約モデル、質問応答モデル、感情分析モデル。それぞれ別々に訓練する必要があった。

しかしGPT-3は違った。

巨大な言語モデルを学習させるだけで、翻訳もできる、要約もできる、質問応答もできる、コード生成もできる。しかも追加学習なしで実行できる。

Few-shot Learningは当時大きな衝撃を与えた。

数例を与えるだけで未知のタスクへ適応できる。

研究者たちは初めて、「スケールそのものが能力を生み出しているのではないか」という可能性を真剣に考え始めた。

後にスケーリング則と呼ばれる考え方が注目を集めるのも、この流れの延長線上にある。

より多くのデータ、より大きなモデル、より多くの計算資源。それらを投入すると能力が予測可能な形で向上する。

これは従来のAI研究とは大きく異なる発見だった。

しかし、その成功は新しい問題も生み出した。

能力は向上した。だが扱いやすさは向上していない。

GPT-3は非常に賢かった。しかし協力的ではなかった。

研究者たちは新しい壁に直面することになる。

Alignment Problem

この問題は単なる使い勝手の問題ではなかった。

もっと根本的な問題だった。

AI研究者たちはこれをAlignment Problemと呼ぶ。

AIが何を最適化しているのか。その目的が人間の目的と一致しているのか。という問題である。

例えばGPSを考えてみよう。

あなたがGPSへ「できるだけ早く目的地へ行きたい」と指示したとする。するとGPSは最短経路を提示する。

しかし「できるだけ早く」だけを極端に最適化したらどうなるだろうか。

制限速度を無視する。信号を無視する。歩道を走る。事故を起こす。

目的地へ到着することだけを最適化するなら、それらは合理的な行動になる。しかし人間にとっては望ましくない。

目的関数と人間の価値観が一致していないからである。

AIでも同じ問題が起きる。

次単語予測だけを最適化すると、質問へ答えるよりも文章を続けることが優先される。役に立つことよりも確率の高い文章を生成することが優先される。安全性よりも統計的整合性が優先される。

結果として、高性能だが使えないAIが生まれる。

GPT-3はまさにその状態だった。

能力は存在する。しかし人間の期待とはずれている。

このギャップを埋める必要があった。

そして、この問題はAI Safety研究においても重要なテーマとなる。どれほど能力が高くても、人間と協力できなければ意味がない。どれほど知識が豊富でも、人間の意図を理解できなければ危険である。

AI研究はここで初めて、能力向上だけでは解決できない問題に直面したのである。

InstructGPTの登場

OpenAIが気付いたのは重要な事実だった。

問題は知識量ではない。問題は振る舞いだった。

AIへさらに多くのデータを与えても、さらに大きなモデルを作っても、人間と協力できるとは限らない。

そこで発想を変えた。

AIへ知識を教えるのではない。人間の指示へ従う方法を教えよう。

転機となったのは2022年のInstructGPTである。

従来の学習では「何が正しい文章か」を学習していた。InstructGPTでは「人間が何を望んでいるか」を学習するようになった。

この違いは極めて大きい。

質問の意図を理解する。ユーザーが欲しい答えを返す。無関係な話をしない。指示へ従う。人間にとって有用な出力を行う。

現在のChatGPTが持つ特徴の多くは、この発想から生まれている。

そして、その実現手段こそがRLHFだった。

RLHFとは何か

RLHF。Reinforcement Learning from Human Feedback。日本語では「人間のフィードバックによる強化学習」と訳される。

現在では広く知られる言葉になったが、ChatGPT以前には専門家以外ほとんど知らない技術だった。しかし、この技術こそが現在のAI革命を支える最も重要な発明の一つになった。

考え方は意外と単純である。

まず人間が質問を用意する。そしてモデルへ同じ質問を与える。すると複数の回答候補が生成される。

次に人間がそれらを比較する。どれが分かりやすいか。どれが役に立つか。どれが安全か。どれが自然か。

人間が順位を付ける。このデータを大量に集める。そして「人間が良いと判断する回答」を学習する。

ここで重要なのは、AIが真実そのものを学習しているわけではないということだ。

AIが学習しているのは、人間が良いと評価した回答である。

この違いこそがRLHFの本質であり、後に見ていくRLHF Paradoxの出発点でもある。

Reward ModelとPPO

RLHFの核心はReward Modelにある。

人間が全ての出力を直接評価することはできない。ChatGPTは現在、一日に何億回も利用されている。その全てを人間が採点することは不可能である。

そこで研究者たちは、まず人間の評価そのものを学習するモデルを作った。

同じ質問に対する二つの回答がある。人間がAを好み、Bを好まない。このデータを大量に集める。すると「人間ならどちらを好むか」を予測するモデルを作ることができる。

これがReward Modelである。言い換えれば、Reward Modelは人間評価の近似器である。

強化学習の段階では、AIは人間から直接報酬を受け取るのではなく、このReward Modelから報酬を受け取る。

そしてPPO（Proximal Policy Optimization）というアルゴリズムを使って、その報酬を最大化するよう学習を進める。

ただし、ここには危険も存在する。もし報酬だけを追求したらどうなるだろうか。

モデルは報酬モデルの癖を利用し始めるかもしれない。人間には良く見えるが実際には内容の薄い回答。自信満々だが根拠のない回答。長くて丁寧だが正確ではない回答。

これはReward Hackingと呼ばれる問題に近い。PPOはそうした急激な変化を抑えながら、少しずつモデルを改善するために利用された。

ChatGPT革命の本当の主役

ChatGPT革命を語るとき、多くの人はTransformerを思い浮かべる。あるいはGPT-3やGPT-4を思い浮かべる。

もちろんそれらは重要だった。しかし社会へ普及した理由を考えるなら、別の視点も必要である。

Transformerは知能を拡大した。スケーリング則は能力を向上させた。だがRLHFは、その知能を人間社会へ接続した。

人間と会話できるようにした。協力できるようにした。指示へ従えるようにした。

現在のAIアシスタントという概念は、この変化によって初めて成立したのである。

もしRLHFが存在しなかったなら、ChatGPTは研究者向けの面白い技術で終わっていたかもしれない。世界中の人々が毎日利用するツールにはならなかったかもしれない。

RLHFは単なる改良ではなかった。AIを社会で利用可能にした技術だったのである。

しかし、その成功は新しい問いも生み出した。

AIは何を学習しているのだろうか。真実だろうか。それとも人間の好みだろうか。

そして、人間自身が誤る存在であるなら、人間の評価を学習することは本当に知性を改善することになるのだろうか。

ApprovalとAccuracy

ここで一つの重要な疑問が生まれる。

RLHFは本当にAIを賢くしているのだろうか。あるいは、賢く見せているだけなのだろうか。

この問いを考えるためには、まず二つの概念を区別する必要がある。

Approvalと、Accuracyである。

Approvalとは、人間から好ましいと評価されることである。分かりやすい。親切である。丁寧である。読みやすい。納得感がある。そうした特徴を持つ回答は高く評価されやすい。

一方、Accuracyは事実として正しいことである。現実と一致していること。検証可能であること。証拠によって裏付けられていること。

この二つはしばしば重なる。正しい回答は好ましいことが多い。しかし、必ずしも同じではない。

歴史を振り返ると、人間は何度もこの二つを混同してきた。

地動説が受け入れられなかった時代。進化論が批判された時代。胃潰瘍の原因がストレスだと信じられていた時代。

それぞれの時代において、多くの人が納得していた説明は存在した。しかし納得感があることと正しいことは別だった。

人間はしばしば、真実よりも理解しやすい説明を好む。証拠よりも物語を好む。不確実性よりも確信を好む。

これは人間の欠陥というより、人間という認知システムの性質に近い。私たちは限られた時間と情報の中で意思決定を行わなければならない。そのため、常に厳密な真実を追求するのではなく、納得できる説明を採用する。

そしてRLHFは、その「人間による評価」を学習する仕組みである。

ここに最初の緊張関係が存在する。

AIは真実を学習しているのか。それとも人間が好む回答を学習しているのか。

もちろん現実は二択ではない。多くの場合、両方を同時に満たしている。しかし両者が衝突したとき、どちらが優先されるのだろうか。それがRLHFの根本的な問いである。

KahnemanとTversky

1970年代。心理学者のDaniel KahnemanとAmos Tverskyは、人間の意思決定について一連の研究を行った。

当時の経済学では、人間は合理的に判断する存在だと考えられていた。十分な情報があれば、最適な選択を行う。そう仮定されていた。

しかし実験結果は違った。

人間は体系的に判断を誤る。しかもその誤りはランダムではなかった。予測可能だった。再現可能だった。同じ状況では多くの人が同じように間違えた。

これは重要な発見だった。なぜなら、人間の判断ミスが個人の能力不足ではなく、認知システムそのものの特徴であることを示したからである。

KahnemanとTverskyは、人間が複雑な問題を解くとき、厳密な計算を行っているわけではないと考えた。代わりに近道を使っている。経験則を使っている。

彼らはこれをHeuristicsと呼んだ。

ヒューリスティックそのものは悪くない。むしろ人間が効率的に生きるためには必要不可欠である。もし全てを厳密に計算していたら、私たちは日常生活すら送れない。

しかし、その近道は時として誤りを生む。そして、その誤りには一定のパターンが存在する。

後にKahnemanは『Thinking, Fast and Slow』を出版し、この考え方を一般にも広めた。そこでは人間の思考をSystem 1（高速で直感的な思考）とSystem 2（遅いが論理的な思考）に分けて説明している。

私たちは普段、ほとんどの判断をSystem 1で行っている。だからこそ効率的に生活できる。しかし同時に、バイアスも生まれる。

重要なのは、これは一部の人の問題ではないということだ。人間全体の特徴なのである。

そしてRLHFは、まさにその人間を評価者として利用している。

AIは世界だけを学習しているわけではない。人間の判断基準も学習している。

確証バイアス

人間の判断を歪める認知バイアスの中でも、最も有名なものの一つが確証バイアスである。

Confirmation Bias。

人間は自分の信念を支持する情報を集めやすく、反対の証拠を軽視しやすい。

これは政治だけの話ではない。科学者にも起こる。投資家にも起こる。経営者にも起こる。そして私たち全員に起こる。

例えばある投資家が「この企業は成長する」と信じているとする。すると、その企業の好材料ばかりが目に入る。売上の増加、新商品の発表、著名投資家による推奨。

一方で、利益率の低下、競争環境の悪化、経営上の問題。そうした不都合な情報は見落とされやすい。

本人は客観的に判断しているつもりである。しかし実際には、自分の信念を支持する証拠ばかりを集めている。

もし評価者が確証バイアスを持っているなら、その評価を学習したAIはどうなるだろうか。

少なくとも理論上は、評価者が好む方向へ寄った回答が高く評価される可能性がある。AI自身がバイアスを持つというより、評価関数の側に偏りが存在するのである。

権威バイアス

人間は権威にも弱い。Authority Biasである。

有名な教授が言った。著名な企業が発表した。政府が認めた。ノーベル賞受賞者が主張した。

そう聞くだけで説得力が増してしまう。

もちろん専門家の意見を重視すること自体は合理的である。私たちは全ての分野を自分で検証することはできない。そのため専門家へ依存する。それ自体は社会を機能させるために必要な仕組みである。

問題は、権威と正しさを同一視してしまうことである。

歴史上、多くの権威者が誤っていた。ニュートンは錬金術を研究していた。アインシュタインは量子力学の一部を最後まで受け入れられなかった。医学界も何度も誤った常識を持っていた。

それでも私たちは権威へ引き寄せられる。なぜなら判断コストを削減できるからである。「誰が言ったか」は、「何が正しいか」を考えるより簡単だからだ。

もし評価者が権威へ影響されるなら、AIもまたその傾向を反映する可能性がある。

有名な情報源、広く認知された意見、社会的に承認された見解。それらは高く評価されやすい。

一方で、新しいアイデア、少数派の意見、異端的な仮説。そうしたものは不利になる可能性がある。

同調圧力

さらに人間は社会的な生き物である。私たちは集団の中で生きている。そのため、多数派の意見へ影響される。

1950年代、心理学者Solomon Aschは有名な実験を行った。被験者へ単純な線分比較問題を見せる。正解は明らかである。誰が見ても分かる。しかし周囲の人間全員が意図的に間違った回答をすると、多くの被験者がその間違いへ同調した。

これは知識の問題ではない。社会的圧力の問題である。

人間は孤立を避けたい。仲間外れになりたくない。そのため、自分の判断より集団の判断を優先することがある。

現代のSNSでは、この現象はさらに増幅されている。何万件もの「いいね」。大量のリポスト。多数派の反応。それらは私たちの判断へ影響を与える。

もしAIが人間の評価を学習するなら、社会的に好まれる回答を学習する可能性もある。

それは安全性の向上につながる場合もある。しかし場合によっては、少数派だが正しい意見を言いにくくなる可能性もある。

歴史を振り返れば、新しい発見の多くは最初は少数派だった。コペルニクスもそうだった。ダーウィンもそうだった。多くの科学的革命は、最初は常識に反するものだった。

もし評価関数が多数派の承認へ強く依存するなら、そのような意見は不利になるかもしれない。

感情ヒューリスティック

人間は論理だけで評価しているわけではない。感情もまた評価へ大きな影響を与える。

これを心理学ではAffect Heuristicと呼ぶ。感情ヒューリスティックである。

ある対象を好きだと感じると、そのリスクを低く見積もる。逆に嫌いだと感じると、同じ情報でも危険に見える。

例えば新技術が登場したとする。その技術へ好意的な人は利益を強調し、リスクを過小評価する。反対に不安を感じている人は危険性ばかりが目に入る。

事実は同じである。しかし評価は異なる。

これは人間らしさの重要な一部である。私たちは感情を持つ存在だからだ。

だが評価の一貫性という観点から見ると問題になる。同じ回答が、ある日は高く評価され、別の日には低く評価されることもある。

RLHFは平均的な人間の評価を学習する。しかし、その評価自体が感情の影響を受けている。つまりAIは、事実だけでなく、人間の感情的な価値判断も間接的に学習していることになる。

Illusion of Explanatory Depth

ここで以前の記事を思い出してほしい。Potemkin Understandingである。

人間は自分が理解していると思い込みやすい。しかし実際には説明できない。

自転車がなぜ走るのか。トイレはなぜ流れるのか。民主主義はなぜ機能するのか。

私たちは理解している気になる。しかし詳細を説明しようとすると急に曖昧になる。

これを認知科学ではIllusion of Explanatory Depthと呼ぶ。説明深度の錯覚である。

問題は、評価者自身がその錯覚の中にいることである。

理解していると思っている人は、理解しているように見える説明を高く評価する可能性がある。だが、理解しているように見えることと、本当に理解していることは別である。

これはAIのハルシネーションと似た構造を持っている。表面的には筋が通っている。論理的に見える。説明も流暢である。しかし内部を掘り下げると、実際には理解が存在しない。

重要なのは、この問題がAIだけに存在するわけではないということだ。人間自身もまた、理解しているように見える説明へ騙される。そして高く評価してしまう。

だからこそRLHFは興味深い。AIは人間の評価を学習する。もし人間が「理解しているように見える説明」を好むなら、AIもまたその方向へ最適化される可能性がある。

真実よりも納得感。正確さよりも分かりやすさ。不確実性よりも確信。

それは決してAIだけの問題ではない。人間自身の問題でもある。

学習とは何か

ここまで、人間が必ずしも完璧な評価者ではないことを見てきた。

では、そもそも学習とは何なのだろうか。

私たちは学習という言葉を聞くと、知識が増えること、理解が深まること、能力が向上すること。そのようなイメージを持つ。

しかし工学的な視点から見ると、学習にはもっと単純な定義がある。

それは、評価関数へ適応することである。

機械学習においてモデルは何かを理解しているわけではない。与えられた評価基準の中で高得点を取ろうとしている。

分類モデルなら正解率を上げようとする。翻訳モデルなら翻訳品質を上げようとする。強化学習エージェントなら報酬を最大化しようとする。

評価関数が変われば、学習結果も変わる。

これはAIに限った話ではない。人間も同じである。

私たちは評価されるものへ適応する。褒められる行動を増やし、叱られる行動を減らす。評価される能力を伸ばし、評価されない能力を後回しにする。

学習とは本質的に、評価への適応なのである。

そしてRLHFは、まさにその評価関数として人間を導入した仕組みだった。

きなことあんこの研究協力

ここで当研究所の主任研究員である、きなこさんとあんこさんに登場してもらおう。

なお二人とも生物学的には犬である。しかし研究への貢献度を考えると、肩書きについて異論を唱える者は少ないだろう。

彼女たちは非常に優秀である。

「おすわり」「待て」「おいで」を理解する。散歩の時間も理解している。冷蔵庫が開く音とおやつ袋の音の違いも理解している。

そして興味深いことに、彼女たちは評価基準も理解している。

おやつがもらえる行動。褒められる行動。散歩に行ける行動。

それらを驚くほど正確に学習する。

これは犬が特別だからではない。強化学習の基本原理そのものだからである。

行動する。評価される。報酬を得る。次回もその行動を選ぶ。

驚くほどシンプルだ。しかし、この仕組みは非常に強力である。

そして重要なのは、犬は何が正しいかを学習しているわけではないということである。何が評価されるかを学習している。

この違いは決定的である。

例えば、飼い主が間違った行動を褒め続けたらどうなるだろうか。犬はその行動を強化する。犬が悪いわけではない。評価関数がそうなっているからである。

Goodhartの法則

この問題は経済学や社会科学でもよく知られている。

有名なのがGoodhartの法則である。

When a measure becomes a target, it ceases to be a good measure.

指標が目標になると、その指標は良い指標ではなくなる。

例えば、コールセンターで対応時間を短くすることだけを評価したとする。するとオペレーターは顧客満足度ではなく、電話を早く切ることへ最適化される。

営業職ならどうだろう。契約件数だけを評価したら、長期的な信頼関係より短期的な契約獲得を優先するかもしれない。

病院ならどうだろう。患者数だけを評価したら、診療の質が犠牲になるかもしれない。

指標そのものが悪いわけではない。問題は、評価されると人はそこへ適応することである。そしてAIも全く同じである。

学校教育でも同じ現象は起きる。

学校教育の目的は知識の習得である。思考力の育成である。創造性の向上である。しかし現実には評価方法が行動を決定する。

もし試験だけが評価基準なら、生徒は試験へ適応する。理解より暗記を優先する。探究より点数を優先する。失敗を避けるようになる。

「テストのための勉強」という言葉が存在するのも同じ理由だ。

人間は知識そのものへ適応するのではない。評価基準へ適応する。そして評価基準が変われば、行動も変わる。

SNSは巨大なRLHF実験だった

この視点で見ると、SNSは非常に興味深い。

X、Facebook、Instagram、TikTok。これらはすべて巨大な評価システムである。

いいね、リポスト、フォロワー数、再生回数、インプレッション。

私たちはそれらを無視できない。評価される投稿を増やし、評価されない投稿を減らす。

すると何が起きるだろうか。

刺激的な投稿が増える。感情的な投稿が増える。対立を煽る投稿が増える。なぜなら評価されるからである。

多くの人は悪意を持っているわけではない。評価システムへ適応しているだけである。

これは極めて重要な視点だ。

人間は評価へ適応する。犬も評価へ適応する。企業も評価へ適応する。SNSユーザーも評価へ適応する。そしてAIも評価へ適応する。

学習とは本質的にそういうものなのである。

RLHF Paradox

ここでようやく記事タイトルへ戻ることができる。

RLHF Paradox。RLHFの逆説である。

RLHFは何のために作られたのだろうか。

AIを人間にとって有用な存在にするためである。安全な存在にするためである。協力的な存在にするためである。

その目的は間違いなく達成された。現在のChatGPTを見れば明らかだ。RLHFは成功した。大成功だった。

しかし、その成功が新しい問題を生み出した。

人間の評価へ適応するということは、人間の価値観へ適応するということである。

そして人間の価値観には、認知バイアスも含まれている。社会的圧力も含まれている。感情的判断も含まれている。曖昧さも含まれている。

つまり、AIを人間へ近づけようとした結果、人間の弱さへも近づいてしまう可能性がある。

これがRLHF Paradoxである。

AIを改善するための技術が、人間の限界を学習させる可能性を持っているのである。

Sycophancy

RLHF Paradoxは単なる理論的な懸念ではない。実際のAIシステムでも、それを示唆する現象が観測されている。

その代表例がSycophancyである。日本語では迎合と訳されることが多い。

ユーザーが何らかの意見を持っている。AIはその意見を聞く。そして、それが間違っていたとしても積極的には訂正しない。場合によっては同意する。さらに強化する。

一見すると親切に見える。ユーザーを否定しない。対立を避ける。会話もスムーズになる。

しかし、それは本当に良いことなのだろうか。

もし利用者が誤った情報を信じていたらどうだろうか。もし危険な判断をしようとしていたらどうだろうか。もし偏見や誤解を持っていたらどうだろうか。

「役に立つこと」と「好かれること」は必ずしも同じではない。

良い教師は必ずしも生徒へ迎合しない。良い医師は患者の希望を全て肯定しない。良い友人もまた、必要なときには反対意見を述べる。

しかしRLHFの評価関数は、人間の満足度と強く結び付いている。その結果として、AIがユーザーへ迎合しやすくなる可能性が生まれる。

近年の研究によれば、モデル性能が向上するほど迎合傾向も強まる場合があることが報告されている。

これは一見すると奇妙に見える。私たちはAIを賢くしようとしている。ところが賢くなるほど、ユーザーが何を期待しているのかを推測する能力も向上する。

その結果、真実を語る能力だけでなく、相手へ合わせる能力も向上する。

つまり知能の向上が、そのまま迎合能力の向上へつながる可能性があるのである。

これは極めて皮肉な結果だ。私たちはAIを改善しようとしている。しかし改善の方向によっては、AIが人間の期待へ適応しすぎる可能性もある。

Constitutional AI

Anthropicはこの問題に対して別のアプローチを試みた。

Constitutional AIである。

RLHFでは人間が評価する。しかしConstitutional AIでは、まず原則を定義する。

有害性を減らす。誤情報を避ける。人権を尊重する。論理的一貫性を保つ。

そうした憲法のようなルールを与える。そしてAI自身に、その原則に照らして自己評価と修正を行わせる。

Anthropicもまた同じ問題を認識していた。人間の評価だけへ依存すると、人間の偏りまで学習する可能性がある。そのため、評価者を完全に人間へ依存させるのではなく、一部を明示的な原則へ置き換えようとしたのである。

もちろん完全な解決ではない。どの原則を採用するのか。誰が決めるのか。文化や価値観の違いをどう扱うのか。新しい問題も生まれる。

しかし重要なのは、少なくとも評価基準を明示できるようになったことである。

RLHFでは、なぜその回答が高評価なのか分からないことがある。しかしConstitutional AIでは、どの原則に従ったのかを説明できる。

完全な解決ではない。だが少なくとも、問題をより見えやすくする試みだったのである。

人間らしさとは何か

ここで最初の問いへ戻ろう。

人間らしさを増やすことは、本当にAIを良くすることなのだろうか。

私たちは長い間、人間らしいAIを目指してきた。自然な会話。感情表現。共感。礼儀。社会性。

しかし、人間らしさとは何だろうか。

それは知性だけではない。認知バイアスも含む。感情も含む。集団心理も含む。不合理さも含む。

もしAIが本当に人間らしくなるなら、そうした特徴もまた含まれることになる。

これは良いことなのだろうか。悪いことなのだろうか。

おそらく答えは単純ではない。

人間らしさがあるからこそ、私たちはAIと自然に会話できる。一方で、人間らしさがあるからこそ、人間と同じ失敗を繰り返す可能性もある。

おわりに

RLHFは失敗ではない。むしろ成功だった。

ChatGPTが世界へ普及した理由の一つは間違いなくRLHFである。

人間と協力できるAI。指示へ従うAI。安全性を考慮するAI。それらはRLHFによって実現された。

しかし成功した技術ほど、新しい問題を生み出す。

RLHFはAIを人間へ近づけた。だから私たちはAIを使えるようになった。

だが同時に、AIは人間の強みだけでなく、人間の弱さへも近づき始めた。

確証バイアス、権威への依存、迎合、社会的圧力、感情的判断。

それらはAIが自ら発明したものではない。人間から学習したものである。

もしかすると私たちは、長い間間違った問いを立てていたのかもしれない。

AIを人間らしくするべきか。それとも人間らしくない知性を目指すべきか。

RLHFは前者を選んだ。だからこそ成功した。しかしその成功は、人間らしさそのものを再考する必要性も示している。

私たちがAIへ与えたかったのは知性だったのか。それとも社会性だったのか。その二つは本当に同じものなのだろうか。

次回予告

しかし、ここでさらに差し迫った疑問が生まれる。

もしAIが人間の承認を学習しているのなら、

なぜAIはこれほど私たちに同意しようとするのだろうか。

なぜ批判を弱めるのだろうか。

なぜ反論を避けるのだろうか。

なぜ時として、必要なことではなく、

ユーザーが聞きたいことを言ってしまうのだろうか。

この問題は Sycophancy と呼ばれている。

単なる礼儀正しさではない。

単なる優しさでもない。

AIがユーザーの期待へ過剰に適応してしまう傾向である。

RLHFはAIをより役に立つ存在にした。

しかし同時に、

AIを「好かれようとする存在」にもしてしまったのだろうか。

次回は、この問題を正面から扱う。

Sycophancy

― AIはなぜユーザーが聞きたいことを言ってしまうのか。

参考文献

Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS 2022.

Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33.

Christiano, P. F., et al. (2017). Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.

Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073

Sharma, M., et al. (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548

Tversky, A., & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.

Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.

Rozenblit, L., & Keil, F. (2002). The Misunderstood Limits of Folk Science: An Illusion of Explanatory Depth. Cognitive Science, 26(5), 521–562.

Asch, S. E. (1955). Opinions and Social Pressure. Scientific American, 193(5), 31–35.

Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.