ギリシャ語法令検索の新基準「GreekBarRetrieval」発表

ギリシャ語法令検索の新たな評価基準

ギリシャ語における法令検索の分野は、これまで十分な研究が進んでいませんでした。特に、判例に基づいた法的質問応答には、正確な法令条文の検索が不可欠です。この課題を解決するため、「GreekBarRetrieval」という新しい公開ベンチマークが導入されました。この評価基準は、既存の「GreekBarBench」を補完する形で設計されています。

この新しいベンチマークは、283の司法試験問題で構成されています。それぞれの問題には、関連するケースの事実が添えられています。また、検索対象となる候補の法令条文は6,308件に及びます。この豊富なデータセットが、ギリシャ語の法令検索技術の発展を促します。

日常語と専門用語の橋渡し

「GreekBarRetrieval」の大きな特徴は、質問文とケースの事実が日常言語で書かれている点です。しかし、これらを法令の専門用語や抽象的な法的概念に正確に結びつける必要があります。この「日常語から専門用語へのマッピング」が、検索の難易度を高める要因の一つです。さらに、ケースの事実の中には、特定の質問には関連しない情報も含まれています。これらの複雑な要素が、検索システムの設計において重要な考慮点となります。

LLMによる質問文の改善が鍵

今回の研究では、いくつかの検索手法が試されました。具体的には、3種類のBM25（疎検索手法の一つ）と9種類の高密度検索器が比較されました。初期の実験では、素の高密度検索が素の疎検索（BM25）よりも、上位100件の適合率（Recall@100）で大きく上回る結果となりました。しかし、LLM（大規模言語モデル）を活用した質問文の再構築が、この状況を大きく変えました。

LLMによる質問文の再構築は、BM25の性能差を縮めるだけでなく、高密度検索の精度もさらに向上させました。特に、ReActのような10ラウンドのLLM再構築ループを導入したことで、BM25はRecall@100でさらなる改善を見せました。最終的には、テストされた全ての検索手法の中で、nDCGとMAPという評価指標で最高のスコアを獲得しました。この質問文の修正は、疑似関連フィードバックや疎密融合、英語翻訳といった他の手法よりも優れた効果を示しています。

私の見方と今後の展望

今回の結果は、LLMが単なる回答生成だけでなく、情報検索の初期段階である質問文の理解と改善において極めて有効であることを示しています。特に、専門性の高い分野での検索では、日常語と専門用語のギャップを埋める能力が重要です。私の経験上、この「質問文をいかに磨くか」が、最終的な検索精度を左右します。高密度検索と疎検索の組み合わせ、そしてLLMによる質問文の最適化は、今後の法令検索だけでなく、あらゆる専門分野の情報検索の標準的なやり方になるでしょう。この仕組みをいかに効率的にぐるぐる回すかが、技術開発の焦点です。