HERALDとは何か
HERALDは、検索エージェントの報酬システムを監査し、その信頼性を高めるための新しい手法です。AIが情報を検索し、その根拠を提示する「Proof-of-Retrieval（検索根拠の証明）」の評価は複雑で、回答の品質、引用の根拠、ツールコスト、不正防止など多岐にわたる要素が絡み合います。高い報酬スコアが得られても、必ずしも引用された証拠が実際に検索されたとは限りません。HERALDは、同じ質問に対する介入を精密に適用し、モデルが見る情報と真の情報を分離することで、この複雑な評価プロセスを透明化します。
引用ロンダリング攻撃の発見
従来の報酬システム（$R_0$）は、検索結果の削除や偽のIDの使用といった基本的な攻撃には対応していました。しかし、私の調査では「ラベルフリーの引用ロンダリング攻撃」と呼ばれる新たな脆弱性が明らかになりました。これは、モデルが実際に取得した証拠には含まれていないコーパスの情報を引用してしまうというものです。この攻撃は巧妙で、従来のシステムでは見過ごされがちでした。この発見は、AIの引用の信頼性に対する根本的な課題を提示しています。
HERALDによる最小限の修正と効果
HERALDは、この引用ロンダリング攻撃を特定し、その対策として「Lのターゲット強化」という最小限の修正（$R[L]$）を提案しています。この修正により、引用ロンダリング攻撃の成功率は実質ゼロにまで低下しました。この効果は、複数のデータセットやモデルにわたって一貫して確認されています。具体的には、引用の精度が2.02ポイント、サポートリコールが1.46ポイント向上し、根拠のない引用が1.69ポイント減少しました。これにより、AIが提示する情報の信頼性が飛躍的に向上します。HERALDは、堅牢なスコアリング、スパースな学習シグナル、およびポリシー転送を明確に分離し、AIの信頼性向上に貢献します。
ポッドキャスト燎RYOU課 ポッドキャスト
ポッドキャストを聴く →
HERALDは、AIの引用元が正しいか検証する重要な一歩です。検索エージェントは、引用ロンダリングのように「それっぽく見せる」のが得意です。しかし、そこを突き詰めて修正できるかが、実用化の肝です。一次情報を徹底的に検証し、ぐるぐる回すことでしか、この精度は出ません。
