AIの「現在年」認識の二面性
言語モデルが「今の年」をどのように捉えているか、私はその仕組みを調査しました。結果として、AIには二つの異なる認識方法があることが分かります。一つは「連想的な認識」です。これは、文章中の動詞の時制などから現在の年を推測するやり方です。もう一つは「宣言的な認識」です。これは、「現在の年は何年ですか？」といった直接の質問に対して答えるやり方です。これら二つの認識は、AIの内部で異なる働きをしています。
異なるメカニズムと更新の難しさ
私の調査では、ベースモデル（ファインチューニング前のモデル）の場合、連想的な認識が事前学習データのカットオフ時期と非常に近いことが判明しました。平均で約10ヶ月の誤差しかありません。これは、AIが学習データから言語構造の一部として「時間」を深く学んでいることを示します。しかし、宣言的な認識は、このように一貫した因果関係が見られません。このメカニズムの違いが、AIに「現在の年」を更新させる際の大きな課題となります。
更新手法の限界
AIの「現在年」を更新しようと、いくつかの方法を試しました。具体的には、プロンプト（指示文の変更）、SFT（教師ありファインチューニング）、そして重み編集です。しかし、これらのどの方法も、連想的な認識と宣言的な認識の両方を同時に更新することには成功しませんでした。例えば、プロンプトを変えることで宣言的な認識は94.6%の確率で更新できました。しかし、連想的な認識はわずか1.7%しか更新されませんでした。SFTも連想的な認識の更新には効果が薄く、重み編集も個々のタスクには有効でも、両方には適用できませんでした。
「今」を理解するAIの課題
この研究結果から、言語モデルが「現在の年」を一貫して認識しているわけではないことが明確になりました。連想的な認識は、AIが事前学習で学んだ言語構造に深く根ざしています。そのため、宣言的な認識のように簡単に変更することはできません。AIに現実世界の「今」を正確に理解させることは、私たちが考えるよりもずっと複雑な課題であると私は見ています。
PR
文賢 →
AIは人間が思うほど賢くないです。特に時間軸の認識は難しい。ビジネスで使うなら、常に最新情報をAIに与える仕組みが必要です。一次情報でぐるぐる回すしかありません。
