TESLA発表：ニューラルネットの難問「パリティ問題」を克服する新活性化関数

ニューラルネットワークが苦手とする「パリティ問題」に対し、サインとコサイン項を学習可能な形で組み合わせた新活性化関数「TESLA」が提案されました。多項式の次数制御と高次成分の選択的増幅を可能にし、理論的な裏付けも持ちます。実験では、n=32のパリティ問題で少ない学習サンプル数ながら高い汎化性能と30%のラベルノイズ耐性を示し、ImageNet-100でも既存手法と同等の性能を発揮。汎用的なAIモデルの基礎能力向上に寄与する可能性を秘めています。