LLMと人間の創造性のギャップを測定
LLMが生成するコンテンツは、人間が作り出すものと比較して、その多様性に大きな差があるという指摘は以前からありました。例えば、人気小説の二次創作をLLMに書かせると、主要な設定やキャラクターは正確に再現します。しかし、人間が書く二次創作は、もっと型破りなスタイルや、多様な人間関係の描写など、より広範な内容を含むのが一般的です。このLLMが「平均的」で「狭い」内容に集中する一方で、人間は「多様」で「広い」分布のコンテンツを生み出すというギャップを、具体的にどう測定するかは未解決の課題でした。今回、この課題に対し、人間の記述データの経験的分布を基盤とする新しい測定フレームワークが提案されました。これは、LLMが生成するコンテンツの「分布の広さ」を客観的に評価するためのものです。
提案された二つの新指標
このフレームワークでは、「LLM Coverage (LLM-Cov)」と「In-Boundary Rate (IBR)」という二つの主要な指標を導入しています。LLM-Covは、LLMが人間の応答空間のどの程度の範囲をカバーしているかを示します。一方、IBRは、LLMが生成したコンテンツが、人間の応答の妥当な範囲内にどの程度収まっているか、つまり「もっともらしさ」を測る指標です。これらの指標を組み合わせることで、LLMが生成するコンテンツの「もっともらしさ」と「分布の広さ」を明確に分離して評価できます。私の見方では、これは単に「正しい」内容を生成するだけでなく、「どれだけ多様な正しい内容を生成できるか」という、より高度な評価基準を提示していると言えます。
LLMは「もっともらしいが狭い」コンテンツを生成
提案されたフレームワークを用いて、アイデア出しや物語生成といったタスクで現在のLLMを評価した結果、興味深い事実が明らかになりました。LLMは、確かに「もっともらしい」コンテンツを生成します。しかし、その内容は「狭い」範囲に集中しており、人間の応答空間の「中心付近」に偏っていることが判明しました。これは、LLMが「無難」で「平均的」な回答を生成する傾向があるという、これまでの業界認識を裏付けるものです。多様な視点や、型破りな発想が求められる場面では、現在のLLMはまだその能力を発揮しきれていない、という現状が浮き彫りになりました。
文化的到達度と今後の開発
このフレームワークは、LLMが生成するコンテンツの「文化的到達度（cultural reach）」をより良く評価することを可能にします。文化的到達度とは、LLMがどれだけ広範な文化的表現や多様な視点を網羅できるか、という概念です。現在のLLMは、特定のジャンルやテーマにおいて、平均的な「正解」は出せても、そのジャンルが持つ多様な表現の全てをカバーできているわけではありません。この研究は、今後のLLM開発において、単に「正確性」や「流暢さ」を追求するだけでなく、「多様性」や「創造性」といった側面をどう向上させるか、という重要な方向性を示しています。私としては、この「文化的到達度」を高めることが、LLMが真に人間のパートナーとして機能するための次のステップだと考えています。ユーザーの多様なニーズに応えるためには、LLMがもっと多様なアイデアや表現を生み出せるようになる必要があります。
書籍ゼロからはじめるCodex
Kindleで読む →
LLMが「平均的」なコンテンツしか作れないのは、学習データの平均値をなぞっているからです。多様性を求めるなら、データ選定とプロンプト設計で「外れ値」を意図的に狙うべきです。一次情報で多様なニーズをぐるぐる回し、どこに「尖り」が必要か見極めます。
