Podcast · Episode 191
深層学習の最適化理論を刷新:一般化凸性・滑らかさで学習の謎を解明
8月17日(月) · 5分
深層ニューラルネットワーク(DNN)の学習は経験的に成功していますが、従来の最適化理論では完全に説明できない課題がありました。本研究は、Legendre関数と凸共役を用いて古典的な凸性と滑らかさを一般化し、DNNトレーニングのための統一的な最適化フレームワークを提案。非凸・非滑らかな問題も理論的に解析可能となり、最適な学習率や収束率の厳密な証明、さらにはアーキテクチャやバッチサイズが収束に与える影響を定量的に解明しました。