LLMのインド地域知識を測る新評価基準「L3Cube-IndicQuest v2」登場

新しい評価基準の登場

L3Cube-IndicQuest v2という新しい評価基準が発表されました。これは大規模言語モデル（LLM）が持つ、インド地域に特化した事実知識を測るためのものです。教育課程や競争試験、専門書から集めた3,471組の英語の質問と答えを元に作られています。この評価基準は、9つの分野にわたる知識を問います。

この評価基準は、19の現地言語に翻訳されました。これにより、合計20言語で69,420組の質問と答えを含む、大規模な多言語データセットとして公開されています。

評価基準の作り方

この評価基準を作るために、新しいやり方が使われました。質問の作成と確認には、LLMの能力と人間の確認作業を組み合わせたハイブリッドな手法が採用されています。具体的には、文脈に基づいたLLMによる質問の生成と検証を行い、重複する意味を持つ情報を排除しました。その後、人間が内容を最終的に確認する流れです。この仕組みにより、品質を保ちながら、評価基準のデータを効率的に作ることが可能になりました。

評価結果と業界への影響

今回の評価では、6つのLLMが3つの異なるプロトコルで試されました。プロトコルとは、評価のやり方のことです。LLM自身が回答を評価する仕組みと、厳密な文字列の一致や単語の重なりを見る二つの方法です。どのプロトコルを使っても、モデルの順位はほぼ同じでした。これは、評価結果が評価方法に左右されないことを示しています。

結果として、最先端の商用モデルが他のモデルに大きく差をつけました。オープンウェイトのモデルの中では、Gemma4 31Bが、現地言語に特化したSarvam 30Bを全ての評価言語で上回る結果となりました。

私の見方

私自身も、LLMの知識評価には常に注目しています。特に、特定の地域や文化に根差した知識は、汎用的なモデルだけでは限界があります。今回の評価基準は、その地域の言語と文化に特化したモデル開発を促す良いきっかけになるでしょう。

評価方法が結果に影響しないという点は重要です。これは、評価基準自体の信頼性が高いことを意味します。最先端のモデルが優位なのは当然ですが、オープンウェイトのモデルでも性能差があるのは興味深いです。今後、さらに性能の良いモデルが生まれることを期待します。