言語推論の新しい挑戦
大規模言語モデル（LLM）の考える力は、これまで数学やプログラミングといった、明確な規則がある分野で多く研究されてきました。しかし、言語パズルは違います。解答者はまず、その言語の規則自体を見つけ出す必要があります。その上で、その規則の中で問題を解く力が求められます。この独自の課題に取り組むため、「IOL-AIチャレンジ」という公開競技会が開催されました。これは、AIが言語の奥深い仕組みを理解し、推論する能力をどこまで持っているかを探るものです。
競技会の概要と評価方法
この競技会は、2026年の国際言語学オリンピック（IOL）個人競技の未公開問題を使用しました。731件の応募が46チームから寄せられました。参加者には厳しい計算資源の制限があり、T4 GPUを1台、30分間だけ使うことが許されました。評価は自動採点に加え、初めてIOLの公式審査員が人間と同じ基準でAIの解答を採点しました。これにより、AIの言語理解能力が人間の専門家からどう評価されるかが明らかになります。
驚きの結果と重要な発見
制約のない環境で動く最先端のAIも15種類、性能評価されました。その中で、Claude Opus 4.8は金メダルに相当する審査員評価を獲得しました。一方で、計算資源に制約がある中で提出されたAIの成績は、人間の参加者の下位5%に入る水準でした。しかし、AIの規模が必ずしも能力を決めるとは限りません。140億パラメータのAIが、その2倍の規模を持つAIよりも良い成績を出す例も見られました。性能向上は、AIの容量そのものよりも、出力生成や出力処理の工夫から生まれることが分かりました。
私の見方：汎用的な知性への道
自動採点と審査員の評価は、順位付けにおいてほぼ一致しました。しかし、自動採点は弱いAIを約13点高く評価し、強いAIを過小評価する傾向がありました。また、最先端のAIが問題の言語について事前知識を持っていたとしても、それが言語推論の解決に大きく役立つわけではないことも判明しました。この結果は、言語推論が汎用的な考える力を測る良い指標となることを示しています。AIが真に賢くなるためには、与えられた規則をこなすだけでなく、規則自体を発見する力が重要だと感じます。
PR
文賢 →
言語パズルは、AIが規則を「見つける」能力を問う。これは、与えられた規則をこなすだけのAIとは次元が違います。一次情報から本質を見抜く力。私が目指すAIの姿です。
