LLMの多言語推論、隠れた言語一貫性の課題

多言語推論モデルの評価は、単に正答率を見るだけでは不十分です。タスクが難しくなるにつれて、モデルが意図した言語で推論・応答する「言語一貫性」が崩れる現象が明らかになりました。特に表現力の低い言語や非ラテン文字言語で顕著であり、この一貫性の崩壊が精度に与える影響も分析されています。多言語能力の真の評価には、精度と言語一貫性、タスク難易度の複合的な考慮が不可欠です。