LLMにおける記憶の重要性
大規模言語モデル（LLM）は、私たちの生活で永続的な会話の支援役として使われることが増えています。そのためには、過去の経験を適切に保存し、対話の連続性を保つ「記憶」の仕組みが不可欠です。これまでの方法では、長い文脈を処理したり、必要な情報を選んで検索したり、記憶を構造化したりして、会話の履歴へのアクセスを改善してきました。
既存の記憶管理の限界
しかし、ほとんどの仕組みは、現在の対話がどの過去の状況を再開するのかを、まず判断することなく、関連する過去の情報を検索するだけでした。この限界は、会話の中で複数の作業、人物、計画が入り混じり、途中で中断されて後で再開される場合に、特に大きな問題となります。文脈が混ざり合い、AIが適切な応答をすることが難しくなるのです。
ArborMemの「記憶の森」とは
ArborMemは、この課題を解決するために開発されたオンラインの「記憶」の枠組みです。長期間続く会話を「相互作用の状態の森」として表現します。この「森」の考え方が革新的です。各「枝」は、局所的に一貫した会話の経路を保存します。そして、「森」全体で複数の会話の経路を維持し、後でいつでも再開できるようにします。
文脈の特定と復元
新しい入力があるたびに、ArborMemはまず、その入力に関連する状態を特定します。次に、その枝の中にある局所的な文脈を復元します。さらに、他の枝から再利用できる証拠となる情報を加えて、文脈を拡張します。このプロセスにより、意味的には関連していても、構造的には異なる会話の経路が混同されることなく、対話の連続性が保たれます。
新しい評価基準と性能
既存の長期記憶の評価基準は、多様な記憶と推論の能力を測りますが、枝構造を持つ複雑な課題を明確に分離して評価するものではありませんでした。そこで、ArborMemの開発チームは、BranchMemEvalという新しい診断用の評価基準を導入しました。これは、複数の作業が混在し、再開可能な対話の経路に特化したものです。LongMemEval、LoCoMo、BEAM 100K、そしてBranchMemEvalでの実験結果は、ArborMemが最も強力な比較対象を3.36から10.31パーセンテージポイント上回ることを示しています。特にBranchMemEvalでは5.0ポイントの差をつけました。読み取りの予算が制限された場合でもその優位性は増し、完全な記憶への問い合わせは0.5秒未満で完了します。
PR
文賢 →
記憶の仕組みが賢くなるほど、それをどう使うか、設計するかが問われます。ArborMemのような技術は、複数の顧客とのやり取りをAIに任せる際に必須です。私の経験上、文脈が混ざると全てが台無しになります。一次情報を取りに行くには、この手の管理が最速です。
