新しい記憶の仕組み「CABLE」
大規模言語モデル（LLM）が、長い期間にわたる情報や対話のやり取りを覚えておくことは重要です。しかし、過去の膨大な情報の中から、今必要な「証拠」を見つけ出すのは難しい問題でした。この課題に取り組むため、「CABLE」（Complementary Antecedent-Based Linking and Expansion）という新しい仕組みが発表されました。これは、LLMが持つ記憶の探し方を補完し、より広い範囲の情報にたどり着けるようにするものです。
なぜ従来の記憶保持では不十分か
従来のLLMの記憶探しは、主に「意味の似ている点」に頼っていました。これは、話題が近い情報を探す際には有効です。しかし、過去の経験や計画、動機など、現在の出来事とは直接的に意味が似ていないが、その出来事を説明する上で非常に重要な情報を見逃すことがよくありました。既存の記憶の関連図も、意味の重複が多く、結局はLLMがすでに探せる範囲の情報しか見つけられないという課題がありました。
CABLEの具体的な働き
CABLEは、既存の記憶探しを補完する形で機能します。新しい情報が記憶されるたびに、CABLEは「その情報より前に何があったか」という視点で質問を作り出します。そして、以前の記憶の中から関連する情報を探し出します。この際、意味が近いだけの情報は除外し、本当に補完となるような、まばらな関連付けだけを選び出して、方向性のある関連図に追加します。
評価と得られた成果
情報が必要になった時、CABLEはLLMが探し出した情報を起点として、この関連図に沿って記憶を広げていきます。これにより、表面上は見えにくいが、裏付けとなる重要な証拠を浮上させることが可能になります。CABLEは、複数のLLMや記憶システムに組み込まれて評価されました。その結果、どの仕組み全体の設定においても、LLMが判断するスコアが向上しました。特に、幅広い分野の質問、複数回の対話にわたる質問、個人の嗜好に合わせた質問など、必要な情報が複数の記憶や対話のやり取りに分散している場面で大きな効果を発揮しました。この成果は、意味の重複を避けて、推論に役立つまばらな関連付けを優先することの重要性を示しています。
私の見方
この技術は、AIが単に情報を記憶するだけでなく、その情報から「なぜそうなったのか」という背景や文脈を理解する上で非常に重要です。私の経験上、AIに複雑な判断をさせるには、表面的な情報だけでなく、その裏にある因果関係や過去の経緯をたどる能力が不可欠です。CABLEは、まさにその能力を強化するものです。これにより、AIはより人間らしい深い理解と、状況に応じた適切な判断ができるようになるでしょう。
PR
ElevenLabs →
LLMの記憶は、ただ詰め込むだけでは使えません。必要な情報を最速で取り出す仕組みが全てです。CABLEは、意味の近さだけではない、因果のつながりを重視しています。私のプロダクトでも、この「先行事象ベース」の考え方は常に意識しています。
