小規模AIでも高精度な採点が可能
小規模な言語モデルでも、自由記述式の試験を信頼性高く採点できます。これは、高価な大規模モデルと同等の精度です。この結果は、明確な採点基準を使うことで得られます。私たちは、この考え方を「any-to-bench」という設計原則で検証しました。まず、最先端のAIが一度だけ元の文書を読み込みます。そこから質問と採点基準を抽出します。その後、より低コストのモデルが繰り返し採点作業を行います。
採点結果を左右する要因
私たちは、2つのモデルファミリーと3つの推論レベルを持つ6種類のAI構成を評価しました。それぞれの構成で24の自由記述問題に回答し、さらに各回答用紙を3回ずつ採点しました。合計で3,456件の採点結果を得ました。その結果、採点スコアの95.6%は、採点された回答そのものによって決まります。採点を行ったAIの個体差はわずか0.2%でした。回答者が推論に費やす努力を増やすと、得られるスコアは最大で0.143点上がります。しかし、採点者が推論に費やす努力を増やしても、割り当てられるスコアは最大で0.006点しか動きません。
評価基準の重要性
採点基準は、採点作業と採点を行うAIの知能を切り離す役割を果たします。この基準の中でも、模範解答がほぼ全ての役割を担っています。私たちは、採点基準から評価の項目とレベルを削除しても、模範解答が残っていれば測定可能な変化はないことを確認しました。しかし、模範解答も削除すると、採点の信頼性は大きく低下します。具体的には、信頼度を示す数値が0.888から0.628に下がります。さらに、スコアが過大になり、採点者の推論努力が再び重要になります。この結果から、模範解答が採点の精度と安定性に不可欠だと分かります。また、採点基準に基づいた採点では、回答の長さやモデルの種類による偏りは見られませんでした。
私の見方
この研究結果は、AIによる採点の未来を示唆しています。高価なAIモデルを使わなくても、適切な採点基準があれば、質の高い評価が可能です。特に、模範解答の質が採点全体の信頼性を決定します。これは、AIシステムの設計において、モデルの性能だけでなく、評価の仕組みをいかに精緻に作り込むかが重要であることを意味します。コスト効率の良いAI採点システムを構築する上で、この知見は非常に役立つでしょう。
PR
文賢 →
採点にAIを使うなら、モデルの賢さより「何を基準にするか」が全てです。模範解答をどれだけ細かく設定できるか。そこにビジネスの勝機があります。一次情報をぐるぐる回して、最適な評価基準を見つけ出すのが最速です。
