MLC-SLMチャレンジ第2回：会話AIの理解と認識を深める新技術

会話AIの二つの大きな課題

MLC-SLMチャレンジの第2回では、AIが複雑な会話を理解する能力が試されました。この競技会には、主に二つの課題があります。一つは「話者分離と認識」です。これは、複数の人が話している音声から、誰がいつ話したかを正確に区別し、内容を文字に起こす作業です。もう一つは「会話音声理解」です。これは、会話の内容を深く理解し、質問に適切に答える能力を指します。

これらの課題の難しい点は、評価の際に、会話の発話区切りや話者の情報が事前に与えられないことです。また、会話音声理解の課題では、質問と回答の学習用情報が用意されていません。そのため、AI自身がこれらの情報を推測し、理解する必要があります。

無音部分の処理で話者認識を改善

話者分離と認識の課題では、VibeVoice-ASR-7BというAIを細かく調整しました。特に効果的だったのは、「無音部分のランダムな削除」というやり方です。会話の冒頭にある短い無音部分を意図的に削除することで、AIは発話の始まりをより正確に捉えられるようになります。このやり方を導入した結果、評価指標であるtcpMERが18.30%から17.27%へと改善しました。さらに、EMA訓練という学習法を組み合わせることで、tcpMERは16.73%まで低下し、より高い正確さを達成しました。これは、無音部分の扱いが、AIが会話を正確に認識するために非常に重要であることを示しています。

擬似的な情報生成で会話理解を強化

会話音声理解の課題では、Qwen3-Omni-30B-A3B-InstructというAIを使いました。この課題では、質問と回答の学習用情報が不足しているため、私たちは「擬似的な質問と回答の組み合わせ」を新たに作り出す工夫をしました。具体的には、複数の情報源から候補を生成し、無音の音声部分を選別し、さらに「分布を合わせた情報追加」という手法で学習情報を増やしました。これにより、AIがより多様な状況で質問に答えられるようになります。また、「タグ付けされた直接応答」というやり方も導入しました。これは、AIが質問に対して直接的かつ明確に答えるためのものです。これらの手法を組み合わせることで、会話音声理解の正答率は83.0%から86.0%へと向上しました。

私の見方：実用化への大きな一歩

今回のMLC-SLMチャレンジで示された技術は、会話AIの実用化に向けて非常に重要だと感じます。特に、無音部分の処理や擬似的な情報生成は、現実世界の多様な会話に対応するために不可欠な要素です。学習情報が限られている状況でも、AIが自律的に学習し、性能を高めるための具体的なやり方が示されました。これらの進展は、顧客対応や会議の議事録作成など、様々な場面でAIがより役立つようになる未来を予感させます。AIの理解力と認識力が向上することで、私たちの生活や仕事の質は大きく変わるでしょう。