PLMの最適層はタスクとデータセットで決まる

プロテイン言語モデル（PLM）の埋め込みは通常、最終層から抽出されますが、その内部挙動は不明瞭でした。本研究は13のPLMと15のタスク、11のデータセットを分析し、最適な埋め込み層がタスクやデータセットによって異なることを発見しました。特に、個々の残基予測では深い層が、全タンパク質タスクではデータセットの種類によって最適な層が変動します。この知見はPLMの応用開発に新たな視点をもたらします。