訓練不要なTransformerがプロンプトで万能近似：事前学習の常識を覆す

Transformerモデルの常識を覆す画期的な研究が発表されました。訓練されていないランダムな重みを持つTransformerでも、適切なソフトプロンプトを与えるだけで、任意の関数を近似できることが示されたのです。これにより、モデルの事前学習がタスク固有の振る舞いを決定する上で必須ではない可能性が浮上し、AI開発の新たな方向性を示すものとして注目を集めています。