TransformerモデルのFFNで広く使われるSwiGLUの「オープンポジティブテール」が本当に必要かという疑問に対し、MemGLUという新たなクローズドテール機構が提案されました。このMemGLUは、SwiGLUと検証NLLで約0.1%差という同等性能を達成。モデルが事前学習中に利用可能なゲート形状に適応することを示唆し、FFN設計の新たな可能性を提示します。