LLMレポートの矛盾を解消：信頼度階層型ライブラリとマルチエージェントライターが実現する時点指定研究

LLMレポートの課題と新システム

大規模言語モデル（LLM）は、長文の調査レポート作成において強力なツールです。しかし、生成されるレポートには、情報の矛盾、出典の不明瞭さ、そして時間の経過とともに情報が「ドリフト」するという深刻な課題がありました。例えば、同じ指標が異なる値で示されたり、未監査の噂が公式発表と同等の信頼性で引用されたりするケースが頻発します。このような問題は、レポートの信頼性を著しく損ねる要因となります。

この課題に対し、私たちは「信頼度階層型ライブラリアン」と「マルチエージェントライター」からなる2層エージェントシステムを開発しました。このシステムは、維持管理された時点指定の知識ライブラリとレポート作成プロセスを明確に分離することで、LLMレポートの信頼性と正確性を飛躍的に向上させます。

信頼度階層型ライブラリアンの役割

システムの核となる「決定論的ライブラリアン」は、タイムスタンプ付きの情報源を取り込み、それを信頼度に基づいた階層型オントロジーに整理します。具体的には、エビデンスカード、信頼できる指標台帳、クレームグラフといった層を構築し、常に最新の「真実の源」として機能させます。これは、従来のRAG（Retrieval Augmented Generation）のように生のチャンクからその都度情報を取得するのではなく、体系化された知識ベースから情報を供給する点が異なります。これにより、情報の一貫性と正確性が保証されます。例えば、SEC EDGARの提出書類、米国労働統計局のリリース、Wikipediaなど、6,130の情報源から555,926枚のエビデンスカードを収集し、このライブラリを構築しました。

マルチエージェントライターの機能

「ポータブルなマルチエージェントライター」は、ライブラリアンによって構築された知識ベースを利用し、矛盾がなくエビデンスに基づいたレポートを作成します。このライターの重要な機能は、任意の知識カットオフ時点Tを指定できることです。ライターは、指定された時点T以前の情報（as_of <= T）のみを参照し、未来の情報を先読みすることはありません。これにより、レポートの時点指定性が厳密に保たれます。さらに、レッドチーム（検証チーム）による評価結果はライブラリアンにフィードバックされ、知識ベースの自己修正と改善に貢献します。手動での編集なしに、後の実行で自己修正が伝播する仕組みです。

実証された高い精度と効率性

このシステムは、厳格な評価によってその有効性が証明されています。共有メトリック台帳を導入することで、6,845件ものセクション間の矛盾をゼロに削減しました。信頼度階層に基づいた情報選択は、22件のゴールドケースで全て正解を導き出しましたが、人気度に基づいたベースラインでは9件しか正解できませんでした。これは、信頼度階層がメディア由来の情報を排除し、企業の公式発表を政府統計よりも優先するといった、情報の信頼性に基づく適切な選択が行われたことを示します。

また、7つのカットオフ期間にわたるリプレイ実験では、ライブラリが235,373枚から555,312枚のエビデンスカードに成長しても、「ルックアヘッド違反」（未来の情報を参照する誤り）がゼロであることを確認しました。さらに、難易度に応じたモデルルーティングを採用することで、Opusモデル単体での品質上限を超えつつ、処理速度は直列実行と比較して3.7倍高速化されました。この結果は、本システムがLLMレポートの信頼性、正確性、効率性を同時に高める画期的なソリューションであることを示しています。