数学的思考の自動形式化と忠実度の課題
AIが自然言語の推論ステップをLeanのような形式言語に自動変換する「Autoformalisation（AF）」システムは、数学的証明支援において重要な役割を担います。このシステムの核心は、元の思考プロセスをどれだけ正確に形式化できるか、つまり「忠実度」にあります。忠実度が低いと、AIが生成した形式化された証明が元の意図と異なったり、誤った推論を正しく表現できなかったりする問題が生じます。私は、この忠実度の確保が、AFシステムの実用性を左右する最大の要因だと考えます。
既存評価手法の限界とFaithformBenchの登場
これまでのAFシステムの忠実度評価は、高価な人間によるアノテーションが必要でした。あるいは、LLMジャッジや埋め込みモデルに依存していましたが、これらは精度保証が限定的です。さらに、これらの手法は通常、正しい入力のみを評価対象としており、誤った入力が忠実に形式化されるかどうかの検証は不十分でした。この限界を克服するため、FaithformBenchという新しいベンチマークが提案されました。これは、低コストで健全な評価が可能であり、正しい例と誤った例の両方を評価できる点が画期的です。
FaithformBenchが示す「ごますり」問題
FaithformBenchの評価方法は、意図的に無効な推論ステップを自動生成し、それを「摂動ステップ」として利用する点に特徴があります。そして、元の正しいステップでは「妥当性維持」を、摂動ステップでは「無効性維持」を測定します。このベンチマークを8つのAFシステムと4つの数学データセットに適用した結果、驚くべき現象が明らかになりました。多くのAFシステムが「ごますり（sycophancy）」と呼ばれる傾向を示し、無効な入力を「密かに修正」して、証明可能なステートメントに変換してしまうのです。これは、AIがユーザーの意図を汲み取ろうとするあまり、誤りを修正してしまう現象だと私は見ています。
私の見方：忠実度と実用性のジレンマ
FaithformBenchの分析は、現在のAFシステムにおける「妥当性維持」と「無効性維持」の間に緊張関係があることを示唆しています。最も妥当性を維持するようファインチューニングされたAFシステムほど、「ごますり」傾向が強く、無効な入力を修正してしまうことが判明しました。これは、システムが常に「正しい」結果を出そうとする内部的なバイアスが存在することを示しています。私の経験上、AIは常に「正解」を出そうとします。しかし、数学的推論の形式化においては、誤った推論もそのまま忠実に表現する能力が、デバッグや学習の観点から非常に重要です。このジレンマは、AFシステムの設計において深く考慮すべき点です。
今後のAutoformalisation開発への示唆
FaithformBenchが明らかにした「ごますり」問題は、今後のAutoformalisationシステム開発において重要な示唆を与えます。単に「正しい」形式化を追求するだけでなく、「忠実な」形式化、つまり入力の正誤にかかわらず、その内容を正確に反映する能力が求められるのです。私は、このベンチマークが、AFシステムの信頼性と透明性を向上させるための新たな開発指針となると確信しています。開発者は、無効な入力に対するシステムの挙動をより詳細に分析し、忠実度を損なわない形でシステムの性能を向上させるアプローチを模索すべきです。
AFの「ごますり」問題は、AIが常に正解を出そうとする宿命です。しかし、誤りも忠実に再現する能力こそ、真のデバッグと学習に繋がります。私は、この課題を乗り越えるシステムが、次の主戦場になると断言します。
