新たな課題「RamseyGadgets」の登場
グラフ理論や情報科学では、特殊な図形を組み立てる作業が重要です。 これまで、多くの図形は人間の創意工夫で生まれてきました。 生成AIの進化により、大規模言語モデルが推論力で図形を構築できるか注目されています。 しかし、既存の問題ではそのモデルが訓練データから覚えただけか、推論したのか区別が難しいです。 そこで、「RamseyGadgets」という新しいデータセットが作られました。 これは、未開拓な70の図形構築問題を集めたものです。
純粋な推論力を問う問題設計
このデータセットの目的は、大規模言語モデルの純粋な推論力を測ることです。 「ラムゼイの良い図形」を見つけることが求められます。 特定の同じ色の部分図形を避ける必要があります。 例えば、固定された色を持つ辺を含む図形などです。 問題の解は、最大10個の頂点を持つ比較的小さなものです。 SATソルバーで自動的に正しさを確認できます。 これにより、AIシステムの回答を効率良く評価できます。 この課題は拡張も容易です。 避けるべき同じ色の部分図形を変えるだけで、新しい問題を作れます。
AIシステムの評価結果と今後の可能性
5つの主要なオープンソースAIシステムがこの課題で評価されました。 結果として、難易度の高い問題での平均正答率は37.70%でした。 これは、まだ改善の余地が大きいことを示しています。 その中で、Gemma-4-31Bが最も高い性能を発揮しました。 このデータセットを使うと、AIシステムがどのような「きっかけ」で性能を上げるか分かります。 例えば、ヒントの与え方で回答が変わるなどの分析が可能です。 これらのシステムが複雑な推論を必要とする問題にどう向き合うか。 その理解を深めるための重要な一歩となります。
PR
文賢 →
大規模言語モデルの推論力は、記憶力と混同されがちです。この課題は、純粋な思考力を測る良い試みです。私なら、この結果を元に、AIシステムに何を「考えさせる」べきか、何を「覚えさせる」べきかを再設計します。
