AI言語学習における「ベイズ事前分布の蒸留」：その真価を問う

McCoy & Griffiths (M&G) 論文は、MAMLを通じてベイズ事前分布をANNに蒸留し、高速な言語学習を実現すると主張しました。しかし、この主張に対し、真の事前分布が導入されていないこと、そしてモデルが過学習し、未知のデータへの汎化能力が低いという批判が提起されています。AIの基礎研究における重要な議論です。