LLMの創造性を引き出す新たなアプローチ
生成モデルの評価は、これまで単一の成果物に基づいて行われることが一般的でした。しかし、人間の創造性は、アイデアの生成、評価、そして洗練という反復的なプロセスを経て生まれるものです。この研究では、大規模言語モデル（LLM）の創造性も、同様の反復プロセスを導入することで向上させられるかどうかが検証されました。
具体的には、FunSearchという手法を応用し、2024年のPillsbury Bake-Offに向けたレシピ生成をタスクとして設定しています。LLMが生成したレシピを、TTCT（Torrance Tests of Creative Thinking）に基づく評価基準で人間が作成したベンチマークと比較することで、その創造性を客観的に評価する試みです。私の見方では、このアプローチは、LLMの創造性をより実用的な文脈で捉える上で非常に有効だと感じます。
実験内容と重要な発見
実験では、反復回数、生成時の温度（temperature）、そしてループ内で選択を行う評価者（selection-scorer）モデルのサイズという三つの主要な変数がテストされました。その結果、反復的な生成と選択のプロセスを採用することで、LLMが人間ベンチマークに匹敵する創造性スコアを持つレシピを生成できることが明らかになっています。
しかし、興味深いことに、単純に反復回数を増やしただけでは、創造性は必ずしも向上しないという結果が出ています。これは、ただ数をこなせば良いというわけではなく、プロセスの質が重要であることを示唆しています。業界では、LLMの能力を最大限に引き出すためには、単なる規模の拡大だけでなく、より洗練された利用方法が求められていると私は感じます。
評価者の設計が創造性の鍵
この研究で最も重要な発見は、「ループ内の評価者」の設計が、主観的な創造的探索において第一級の設計変数であるという点です。特に、小さいサイズの選択スコアラーモデルを用いた場合、TTCTのほとんどの次元で有意に高い創造性スコアが得られました。一方で、生成温度は、独創性（originality）以外の創造性指標には限定的な影響しか与えていません。
私の経験上、これは非常に納得のいく結果です。生成モデルがどれだけ多様な出力を生み出せても、それを適切に評価し、次の生成にフィードバックする「目利き」の存在がなければ、真の創造性には繋がりません。評価者モデルが持つ「視点」や「基準」が、LLMの創造性をどこまで引き出せるかを左右すると私は断言します。
私が考える今後の応用と展望
この研究成果は、レシピ生成に留まらず、デザイン、コンテンツ作成、アイデア創出など、幅広い創造的タスクにおけるLLMの活用に大きな示唆を与えます。特に、主観的な評価が重要となる領域で、質の高い評価モデルをいかに設計するかが、LLMの真価を発揮させるための鍵となるでしょう。
RO合同会社でも、プロダクト開発においてLLMを「ぐるぐる回す」際に、この「評価者の設計」を最優先事項としています。単に良いものを作るだけでなく、何が良いものかを判断する基準をLLMに持たせることで、より洗練された、そして真に創造的な成果を生み出すことが可能になります。今後のLLM活用は、生成能力だけでなく、評価能力の設計にこそ、その優劣が表れると私は見ています。
LLMの創造性は、生成と評価をぐるぐる回すことで引き出されます。特に評価者の設計が最重要。何を「良い」と判断させるか、その基準をどう組み込むかが問われます。RO合同会社でも、この評価モデルの質がプロダクトの成否を分けると断言します。
