LLMの社会的魅力評価能力を検証
大規模言語モデル（LLM）は、これまで人間が行ってきた主観的な評価タスクに活用される機会が増えています。しかし、LLMが「社会的魅力」といった複雑な概念をどの程度正確に、そして妥当に判断できるのかは、これまで不明瞭な点が多くありました。この研究では、LLMが人間の社会的判断を代替する上での妥当性を検証することを目的としています。
私は、心理学および人間関係の理論に基づき、10の心理的・関係的構成要素からペルソナプロファイルを作成しました。これらのプロファイルは、「社会的に魅力的」「社会的に混合」「社会的に非魅力的」の3つの階層に分類されています。このプロファイルを用いて、34の異なるLLMと198人の人間参加者を対象に、社会的魅力の評価能力を比較検証しました。
LLMは安定した評価を示す
最初の研究（Study 1）では、34のLLMが12のプロファイルを3回繰り返し評価しました。この結果、各LLMは評価の安定性において非常に高い一貫性を示しています。また、作成した3段階の階層（魅力的、混合、非魅力的）に沿った順序付けを一貫して行い、プロファイル間の相対的な順序付けにおいても高い一致度を示しました。これは、LLMが社会的魅力という概念に対して、ある程度の安定した判断基準を持っていることを示唆しています。
ただし、モデルによっては全体的に高評価を付ける傾向があるものや、逆に低評価を付ける傾向があるものも存在しました。これは、モデルごとのファインチューニングや学習データによる特性差が影響していると考えられます。
人間との評価傾向の類似点と相違点
3番目の研究（Study 3）では、198人の人間参加者が、LLMが評価したプロファイルの一部を評価しました。人間の評価も、LLMと同様に「魅力的」「混合」「非魅力的」の3段階構造を再現し、LLMと一致するプロファイル順序を示しました。この結果は、LLMが人間の社会的魅力の判断傾向をある程度模倣できていることを示しています。
しかし、LLMと人間の評価には重要な相違点も見られました。LLMは、魅力的なプロファイルに対して人間よりもさらに肯定的な評価を与え、非魅力的なプロファイルに対しては人間よりもさらに否定的な評価を与える傾向がありました。つまり、LLMの評価は人間よりも極端な傾向があると言えます。これは、LLMを実社会の主観的評価に適用する際に考慮すべき重要な点です。
性別による評価差は認められず
2番目の研究（Study 2）では、性別の提示がLLMの評価に影響を与えるかを検証しました。具体的には、名前と代名詞を一致させた6組のプロファイルペアを使用し、さらに代名詞のみを変えたテストも行いましたが、LLMの評価において性別による有意な差は確認されませんでした。同様に、人間参加者の評価（Study 3）においても、性別による有意な評価差は認められませんでした。
この結果は、LLMが少なくともこの研究の範囲では、性別に基づくバイアスを持たずに社会的魅力を評価できる可能性を示唆しています。これは、公平な評価システムを構築する上でポジティブな側面であると私は考えます。
LLMが人間の主観的評価を代替する時代はもう来ています。しかし、評価の極端さには注意が必要です。私なら、まずは顧客のフィードバック分析に活用し、その「極端さ」をどう活かすか、ぐるぐる回して考えます。
