音声感情分析の新基盤「SpeechSense」：話し手の態度を詳細に解読

音声感情分析の現状と課題

AI技術は音声処理を大きく変えつつあります。しかし、単に言葉を理解するだけでは不十分です。話し手が「何を言ったか」に加え、「どのように言ったか」を理解することが求められます。音声感情分析は、この非言語的な手がかりを読み解く上で非常に大切です。採用や顧客対応など、多くの場面でその価値を発揮します。

現在の音声感情分析には、主に二つの課題があります。一つ目は、多くのやり方が自動音声認識と文字情報を組み合わせるものです。この方法では、抑揚や声の調子といった音響的な特徴が失われます。そのため、言葉だけでは判断しにくい、話し手の態度を正確に捉えられません。二つ目は、既存の評価基準が「嬉しい」「悲しい」といった基本的な感情に偏っている点です。ビジネスなどで必要な「自信がある」「いらだっている」といった、人間関係における微妙な態度を測るには不向きでした。

新しい情報源「SpeechSense」の提案

これらの課題を解決するため、私たちは新しい情報源「SpeechSense」を提案します。これは、きめ細かい音声感情分析を目的としたものです。特に、言葉の内容だけでなく、抑揚などの音響的な手がかりから主に検出できる、人間関係における8種類の態度を定義しました。この分類法に基づき、高品質な音声合成と厳格な人間による検証を経て、この情報源を構築しています。

音響情報がもたらす優位性

私たちは、マルチモーダルLLM、テキストのみのLLM、そして音声エンコーダーを用いて包括的な実験を行いました。その結果、音響情報にアクセスできるモデルが、文字情報のみを扱うモデルよりも常に優れた成果を出すことを示しました。この結果は、話し手の微妙な態度を検出する上で、音響的な手がかりがいかに重要であるかを実証しています。SpeechSenseは、この音響情報の重要性を明確にし、今後の音声感情分析研究に不可欠な基盤となるでしょう。