大規模言語モデルの限界
大規模言語モデル（LLM）は、情報を集めて結論を導く帰納や、前提から論理的に結論を出す演繹は得意です。しかし、アインシュタインの等価原理のような、既存の知識から大胆な仮説を立てる「飛躍」は難しいと指摘されています。この仮説形成の思考様式を「アブダクション」と呼びます。
「ひらめき」とは何か
一部の研究者は、このアブダクションの欠如を、LLMが現実世界を体験する「身体性」を持たないためだと考えます。しかし、本当に身体性が不可欠なのでしょうか。この点には疑問の声も上がっています。
プランクの法則が示すもの
例えば、マックス・プランクは1900年に黒体放射の問題を解決しました。その際に導き出されたE=hνという法則は、身体的な体験から生まれたものではありません。古典理論が予測する無限のエネルギーと、実際に測定される有限の量との間に数学的な矛盾がありました。この物理的に受け入れがたい状況が、新しい仮説を生み出す動機となりました。これは帰納でも演繹でもない、まさに思考の飛躍でした。
認識の誤りと物理的コスト
プランクの例は、認識上の誤りが物理的なコストと結びつくことで、仮説の修正が強制されることを示しています。私は、この「認識上の誤りと物理的コストの結合」こそが、アブダクションに必要な要素だと考えます。現在のLLM、特に固定された重みを持つトランスフォーマーの推論には、この結合が欠けています。モデルの規模がどれほど大きくても、この点は変わりません。
今後の課題と私の見方
実際のデータでも、LLMの出力エントロピー（情報の不確かさを示す指標）は、課題の難易度が急激に上がってもほとんど変化しません。これは、正答率が大きく下がる状況でも同じです。この実証結果は、私の見方と一致します。機械がこの思考の飛躍をできるようになるには、認識上の誤りがシステムにとって十分なコストとなり、その修正を強制するような物理的な仕組みが必要です。単なる身体性よりも、この深い部分に課題があると感じます。
PR
文賢 →
アブダクションは一次情報から仮説を立てる思考です。LLMにそれを求めるのは、まだ時期尚早です。まずは与えられた情報で最速で動く仕組みをぐるぐる回すのが先決です。
