法律RAGにおける「時系列誤認識」の深刻な課題
法律分野のRAG（Retrieval-Augmented Generation）システムには、「時系列誤認識（Temporal Misgrounding）」という致命的な問題が存在します。これは、特定の時点に適用されるべき法律条文のバージョンではなく、常に現行の条文を検索し、引用してしまう現象です。標準的な法律RAGシステムは、コーパスを静的なものとして扱いますが、法律に関する質問応答は、時系列にインデックス付けされた検索問題として捉えるべきだと私は考えます。
標準RAGの低精度と問題の根源
この問題を定量化するため、私たちはフランス税法を対象とした新しいベンチマーク「FiscalQA Pro」を導入しました。これは、1938年から2031年までの93年間にわたる32,436件の条文バージョンを含むコーパスと、専門家がレビューした209問の時系列推論トラックを組み合わせたものです。評価されたモデルは、選択時に日付に適用される回答をクローズドブック形式で一つも回復できませんでした。現行の条文は、スコア付けされた質問のほとんどで正解値を含んでいません。静的な現行バージョンコーパスに対するRAGの平均厳密精度はわずか2.7%であり、適用できないバージョンを自信を持って引用していることが判明しました。
バージョン管理型コーパスによる解決策
この課題に対し、私たちはマルチバージョンインデックスとエンドツーエンドのリトリーバーを開発しました。オラクルなしで、このシステムは平均厳密精度98.3%を達成しました。これは、リトリーバーが単に条文を検索するだけでなく、適切なバージョンを選択する能力が極めて重要であることを示しています。残りのギャップは、バージョン選択ではなく、最初の段階でのリコール（検索漏れ）にあると分析しています。この結果は、法律RAGにおいて、データの時系列管理が不可欠であることを明確に示唆しています。
私の見方と今後の展望
この研究は、法律分野に限らず、時系列で変化する情報を扱うあらゆるRAGシステムにとって重要な警鐘です。データが常に最新であるという前提は誤りであり、過去の特定の時点での情報を正確に引き出す能力が求められます。これは、単にデータ量を増やすだけでなく、データの構造化とバージョン管理をいかに綿密に行うかが、RAGシステムの精度を決定する要素となることを示しています。私は、この「時系列誤認識」の問題が、医療記録、金融規制、契約履歴など、他の多くの分野でも潜在的に存在すると見ています。今後は、このようなバージョン管理型のRAGシステムが、業界標準となるべきだと考えます。
法律RAGの時系列問題は、データ管理の基本を問うものです。最新版だけでは全く足りません。一次情報をどうバージョン管理し、どう引き出すか。ここが設計者の腕の見せ所です。私のシステムでも常に意識しています。
