LLMの科学コーディング能力が過小評価されていた真実：ベンチマーク「SciCode」の欠陥を修正した「SciCode-Verified」で大幅なスコア向上

SciCodeベンチマークの現状と見過ごされた課題

AIの進化は目覚ましく、特に言語モデルは多岐にわたるタスクで高い性能を発揮しています。その中でも、科学分野におけるコーディング能力は、AIが新たな発見を支援し、研究プロセスを加速させる上で不可欠な要素です。この能力を測る標準的なベンチマークとして「SciCode」が存在します。これは、フロンティア科学理論の理解と、それを具体的な数値コードとして実装する能力の両方を問う、極めて高度な研究レベルの問題で構成されています。政府機関や国立研究所でも評価基準として採用されており、その重要性は疑う余地がありません。

しかし、私の観察では、このSciCodeのスコアは近年停滞傾向にありました。最新の2026年型モデルでさえ、サブプロブレム精度が60%前後で頭打ちとなり、新旧モデル間でほとんど差が見られない状況でした。この結果は、多くの関係者に「AIの科学コーディング能力は、ある程度のレベルで限界に達したのではないか」という懸念を抱かせたことでしょう。しかし、私はこの停滞の根本原因が、モデルの能力そのものにあるとは考えていませんでした。むしろ、評価ツールの品質にこそ問題があると直感していました。ベンチマークが不完全であれば、いかに高性能なモデルであってもその真価を発揮することはできません。

ベンチマーク欠陥の深層と専門知識の必要性

私は、SciCodeの停滞がベンチマーク自体の欠陥に起因するという仮説を検証するため、全65のテスト問題について、ドメイン専門家による徹底的な監査を実施しました。この監査は、単なるコードレビューに留まらず、問題の意図、科学的背景、期待される解の特性まで深く掘り下げるものでした。その結果、驚くべきことに合計263もの欠陥が発見されました。これは、ベンチマークの設計と検証プロセスに深刻な問題があったことを示唆しています。

特に重大だったのは、192の欠陥が、メイン問題の91%にわたって分布し、モデルが提示した正しい、かつ指示に従った解答を誤って「不合格」と判定していた点です。これらの欠陥は多岐にわたりました。例えば、正解が非再現性であるため、モデルが正しい計算結果を出しても環境によって異なる判定になるケース。あるいは、許容誤差が極端に厳しすぎて、わずかな浮動小数点誤差でも不正解とされるケース。さらには、問題の仕様自体が自己矛盾しており、モデルがどの指示に従えばよいか不明瞭なケースなどです。これらの欠陥は、モデルの能力を不当に抑制し、その真のポテンシャルを隠蔽していました。

さらに注目すべきは、これらのスコア抑制型の欠陥の78%が、単なる事務的な校正や一般的なプログラミング知識だけでは検出できなかったことです。これらの欠陥を特定するには、高度な物理学や数学の専門知識が不可欠でした。これは、科学分野のベンチマークを開発・維持することの困難さと、その品質保証にどれほどの専門性と労力が必要かを示しています。ベンチマークの信頼性は、その設計と検証に携わる専門家の質に直結すると私は考えます。

SciCode-Verifiedによる真の能力評価

私たちは、発見されたすべての確認可能な欠陥を修正し、新たなベンチマーク「SciCode-Verified」を構築しました。この修正プロセスは極めて厳格に行われました。具体的には、適切に定義された科学問題に必要な仕様を明確に追加し、採点ロジックを修正し、これまで甘すぎたテストケースを厳格化しました。すべての変更点は詳細に記録され、その正当性が明確に示されています。さらに、これらの変更は、別の独立したドメイン専門家によって再確認され、その信頼性が担保されています。

この「SciCode-Verified」を用いて、最先端の12の言語モデルスナップショットを再評価しました。結果は、私の予想をはるかに上回るものでした。モデルのサブプロブレム精度は、従来の45-60%という低水準から、一気に84-98%へと大幅に向上しました。さらに、より複雑なメインプロブレム精度においても、これまでの9-27%から69-92%へと劇的な回復を見せました。これは、最新の言語モデルが、これまで「SciCode」が示唆してきたよりもはるかに高い科学コーディング能力を持っていることを明確に証明するものです。

業界への示唆と私の見方

この結果は、AI業界全体、特にベンチマークの設計と評価に関わる全ての人々にとって、重要な示唆を与えます。ボトルネックはモデルの能力そのものではなく、その能力を測る評価ツールの品質にあったのです。私たちは、ベンチマークのスコアだけでモデルの性能を判断するのではなく、そのベンチマーク自体の信頼性を常に疑い、検証し続ける必要があります。一次情報としてのベンチマークスコアも、その背景にあるベンチマークの品質が担保されていなければ、誤った判断を導きかねません。

私の経験上、AIプロダクトを開発・運営する上で、評価の正確性は極めて重要です。ベンチマークの欠陥によってモデルの真の能力が見誤られることは、研究開発の方向性を誤らせ、不必要なリソースを浪費する原因となります。今回の「SciCode-Verified」の公開は、AIの科学コーディング能力評価における新たな標準を確立し、今後の研究開発をより正確な方向へと導くでしょう。私は、この修正されたベンチマークが、次世代の科学AI開発を加速させる重要な基盤となると確信しています。

今後の展望とベンチマークの役割

「SciCode-Verified」の登場は、AIが科学分野で果たす役割に対する期待をさらに高めます。これまで過小評価されていたモデルの能力が明らかになったことで、より複雑な科学的問題への応用や、新たな科学的発見への貢献が現実味を帯びてきます。私は、このベンチマークが、モデル開発者にとって、より高性能で信頼性の高い科学コーディングAIを追求するための明確な指針となると考えます。

同時に、この事例は、他のAI評価ベンチマークにおいても同様の欠陥が存在する可能性を示唆しています。私たちは、常にベンチマークの透明性と検証可能性を追求し、その品質を向上させる努力を怠ってはなりません。ベンチマークは、AIの進歩を測る羅針盤であり、その羅針盤が正確でなければ、私たちは正しい航路を進むことはできません。私は、今後も様々なベンチマークの品質に注目し、AIの真の能力を引き出すための評価方法を追求し続けます。最速で一次情報を掴み、それを基にプロダクトをぐるぐる回していく。これが私のスタンスです。