第5章 成果が出るAIチャットボット運用
想定学習時間: 6分
AIチャットボットは、作成して公開した時点で完成するわけではありません。むしろ、その真価が問われ、成長が始まるのは公開後です。
チャットボットを開発する側は、明確で簡潔な質問を想定しがちです。例えば、「料金を教えてください」や「予約方法を教えてください」といった質問です。
しかし、実際の利用者はもっと多様な表現で質問します。例えば、「結局いくらなの？」や「まだ決まってないけど相談していい？」といった曖昧で、感情や文脈に依存する質問が多く見られます。
このような現実のギャップを埋めるために、公開後の運用と改善が不可欠です。
会話ログとは、利用者とAIチャットボットのやり取りの記録です。このログには、AIチャットボットの改善だけでなく、事業や業務そのものの改善につながる貴重な情報が含まれています。
会話ログからわかることの例:
会話ログを見る際には、以下の点を特に注意して確認すると良いでしょう。
「わかりません」と返答したり、情報が不足していたり、担当者へつないだりした会話を集めます。ここに、追加すべきFAQやナレッジベースの情報、プロンプトで対応できる質問、あるいは人間対応のままで良い質問のヒントがあります。
AIが一度答えたにもかかわらず、「そうじゃなくて」「つまり？」などと利用者が聞き直している場合、AIの回答が分かりにくい可能性があります。回答が長すぎる、結論が不明確、専門用語が多い、次の行動が示されていないなどが原因かもしれません。
AIが質問した後に利用者が返答しなかったり、長い説明の後に会話が終わったりする箇所は、離脱ポイントである可能性があります。利用者が面倒に感じているかもしれません。
AIから人間対応に切り替わった会話は、AIの限界や、AIが前処理できる可能性を示しています。個別判断が必要なケース、情報が不足していたケース、利用者が不安を抱えていたケースなどを分類します。
問い合わせ、予約、資料請求、購入、自己解決など、成果につながった会話を分析します。何がうまくいったのか、どの質問や回答が効果的だったのかを特定し、その成功パターンを他の会話にも適用します。
会話ログの改善では、利用数、解決率、人間対応率、離脱率などの数値データも重要です。しかし、数値だけでは不十分であり、会話の中身を深く理解することが不可欠です。
目的（問い合わせ削減、予約増加など）に合わせて見るべき指標を定め、数値と会話内容の両面から評価することで、より効果的な改善が可能です。
AIチャットボットは、一度作ったら終わりではなく、継続的に「育てる」必要があります。
AIチャットボットの改善は、以下のサイクルで進めます。
この繰り返しにより、AIチャットボットは利用者のニーズに合った、より価値のあるツールへと成長していきます。公開はゴールではなく、改善の始まりです。