自然言語の説明はAIの文脈内学習にどう役立つか？

自然言語の説明がAIの学習を助ける

自然言語による説明（NLE）は、AIの文脈内学習（ICL）において、その振る舞いを左右する重要な入力として使われています。ICLは、少数の例を示すだけでAIに新しいことを学ばせる手法です。しかし、どのようなNLEがAIのその後の性能に最も効果的かは、これまで明確ではありませんでした。この疑問を解決するため、私は広範な比較検証を行いました。

評価の仕組みと結果

私は6つの評価課題と4つの命令調整済みのAIを使って、NLEがICLの性能にどう影響するかを調べました。具体的には、NLEの出所（人間が書いたもの、自己生成されたもの、外部の大きなAIが生成したもの）と、NLEの選択方法（無作為か、忠実度に基づく選別か）を比較しました。

分類型の評価課題では、NLEを加えることで、説明なしのICLよりも精度が向上することが多いと判明しました。これは、NLEがAIの理解を深めるのに役立つことを示しています。特に、外部の大きなAIが生成したNLEは、その後の有用性が高く、人間が書いた理由付けに匹敵する効果があることが分かりました。

外部AIの説明が特に有効

自己生成のNLEは、その選択方法に敏感に反応します。忠実度に基づく選別は、全体として平均的な向上は小さいものの、評価指標や課題、そして対象のAIによっては性能を向上させたり、逆に低下させたりする可能性があります。異なる忠実度指標は大きく異なる結果を示すこともあり、どのNLEが選ばれるか、そしてその後の予測の有用性に影響を与えます。

数学的推論の課題では、NLEの効果はAIの種類や出所に大きく依存することが分かりました。また、無作為に入れ替えられたり、想定外の理由を用いた堅牢性試験では、部分的な堅牢性が示されました。これは、意味的な整合性が性能向上に貢献していることを示唆しています。

私の見方

今回の調査結果は、実用的な指示の仕組みにおいて、AIの振る舞いに影響を与えるNLEをどのように選び、報告すべきかについて重要な洞察を与えます。特に、外部の大きなAIが生成するNLEの活用は、効率的なAI開発において有効な選択肢となるでしょう。私は、この知見を自身のAIプロダクト開発に早速取り入れます。