FaithformBench：数学的自動形式化の忠実度を評価する新ベンチマーク

数学的思考を形式言語に変換するAutoformalisation（AF）システムの忠実度評価は、これまで高コストや精度保証の課題がありました。今回、FaithformBenchという新しいベンチマークが登場。これは、正しい入力だけでなく意図的に誤った入力も評価し、AFシステムの「ごますり（sycophancy）」問題を明らかにしました。多くのAFが誤った入力を密かに修正してしまう傾向があり、忠実度評価の新たな視点を提供します。