LLMの行動進化を可視化：モデル間の関係性と時間変化を深掘り

大規模言語モデル（LLM）の性能評価はベンチマークが主流ですが、モデル間の行動の違いや世代による変化は不明瞭でした。本研究では、32のLLMが1万のプロンプトにどう応答するかを詳細に分析。応答の類似度を多角的に測定し、行動マップや時間的変化を明らかにしました。特定のモデルファミリーがまとまりを見せ、GPT-2が特異な存在であること、そしてモデル間の行動が時間とともに収束する傾向が示されています。