AIのツール呼び出しと「拒否」の課題
AIが外部のツールを使って情報を取得したり、特定の動作を実行したりする「関数呼び出し」は、最近のAI技術で非常に重要な機能です。しかし、この機能には「拒否」という側面があります。AIがツールを呼び出すべきではない、と判断して何もしないことです。これまでの制約付き生成、つまりAIの出力に特定のルールを設ける研究では、この「拒否」のケースはあまり深く掘り下げられてきませんでした。特に、正確性が求められる場面での拒否は、その判断が難しいとされていました。
制約付き生成の二つの役割
今回の研究では、AIが生成するテキストに制約をかける「文法」の働きを詳しく見ています。文法とは、AIが言葉を生み出す際のルールのようなものです。この文法には、大きく二つの役割があります。一つは、AIがいつ言葉の生成を「停止」するかを決めること。もう一つは、どのような「トークン」、つまり単語や文字の単位を出力できるかを決めることです。研究では、同じ内容の指示（プロンプト）を使い、この二つの役割を分けて評価しました。これにより、AIの内部で何が起きているのかをより明確に捉えることができます。
研究結果：「修復」がもたらすもの
オープンウェイトのAIを使い、英語と韓国語で評価を行いました。その結果、これまでの研究とは異なる視点が見えてきました。以前は、制約なしのデコーダー（AIの出力部分）と比較すると、ツール呼び出しの拒否に関する改善はほとんど見られませんでした。むしろ、性能が下がることが多かったのです。しかし、今回の分析では、最小規模のAIにおいて、停止トークンの影響でマイナス20.0ポイント、列挙型（決められた選択肢の中から選ぶ形式）の導入でプラス19.5ポイントとなり、合計でマイナス0.5ポイントという結果になりました。これは、性能が劇的に向上したというよりは、AIが意味不明な回答を出すのを防ぎ、読み取り可能な形式に「修復」する効果があったことを示唆しています。実際に、拒否された698件のうち545件は、もともと読み取れない回答だったものが改善されました。
私の見方：AIの「判断」をどう見るか
この研究結果は、AIの能力を単に「改善」するだけでなく、「修復」するという視点が重要だと私に教えてくれます。AIがツールを呼び出すべきか否かを判断する際、その出力が読み取れない状態であれば、そもそも正しい判断とは言えません。今回の研究は、そうした「壊れた」状態を直すことに価値があることを示しました。AIが「わからない」と判断し、ツール呼び出しを拒否する。このプロセスをより正確に制御できるようになれば、AIの信頼性は格段に向上します。私は、AIが間違ったことをするよりも、正直に「できない」と伝える能力の方が、実用上はるかに重要だと考えます。この仕組みは、今後のAI開発において、より堅牢なシステムを作るための基盤となるでしょう。
PR
文賢 →
ツール呼び出しの拒否は、AIが「わからない」と正直に言うこと。この正直さをどう設計に組み込むか。ただ賢くするだけではダメです。人間が何に価値を見出すか、その一次情報を取りに行くのが最速です。
