手話翻訳と生成を統合する「Uni-SLTP」：意味と動きのギャップを埋める

手話AI研究の新たな潮流

近年、手話理解（SLU）の研究は目覚ましい進展を遂げています。孤立手話認識（ISLR）や連続手話認識（CSLR）、手話翻訳（SLT）といった複数のサブタスクを単一のフレームワークで統合する動きが活発化し、大きな成果を上げてきました。同時に、テキストから手話シーケンスを生成する手話生成（SLP）も注目を集めています。しかし、SLUサブタスクの統合とは異なり、SLTとSLPの統合は本質的に困難な課題でした。SLUタスクは基本的にサイン入力から言語出力へと向かう一方向のマッピングですが、SLTとSLPはサインとテキスト間で逆方向のマッピングを行うため、その統合には根本的なアプローチが必要とされていました。

統合フレームワーク「Uni-SLTP」の核心

この課題に対し、私たちは手話翻訳と生成を統一するフレームワーク「Uni-SLTP」を提案しました。Uni-SLTPは、連続的な手話動作と離散的なテキストトークンの間のモダリティギャップを埋めること、そしてサインまたはテキストのいずれかを入力とし、反対側のモダリティで対応するターゲットシーケンスを生成できる単一の条件付き自己回帰モデルを学習すること、という二つの主要な課題に対処しています。Uni-SLTPは以下の二つの主要なコンポーネントで構成されます。

1. 共有サイントークナイザー: 手話シーケンスを離散的なトークンと潜在表現に変換します。これにより、意味論的情報と再構築的情報の両方を捉えることが可能となります。これは、手話の「意味」と「動き」という二つの側面を同時に扱うための基盤となります。
2. 統一自己回帰生成モデル: SLTとSLPの両タスクを条件付きシーケンス生成として定式化します。このモデルは、入力モダリティに応じて、もう一方のモダリティでの出力を生成する能力を持ちます。これにより、単一のモデルで双方向の変換を実現します。

実験結果と業界へのインパクト

私たちは、広く利用されている公開データセットを用いてUni-SLTPの性能を評価しました。その結果、Uni-SLTPは手話生成（SLP）において優れた動きの精度を達成し、同時に手話翻訳（SLT）においても競争力のある性能を維持できることが実証されました。これは、単一のフレームワークで手話の理解と生成という相反するタスクを高いレベルで両立できることを意味します。

私の見方では、この技術は手話コミュニケーションのバリアフリー化に大きな一歩をもたらします。これまで別々に研究されてきた翻訳と生成が統合されることで、より自然で柔軟な手話AIシステムの開発が可能になります。例えば、テキストから手話を生成し、その手話の意図をテキストに翻訳するといった、より高度なインタラクションが期待できます。これは、手話話者と非手話話者の間のコミュニケーションを円滑にするだけでなく、手話学習支援やコンテンツ制作においても革新的なツールとなるでしょう。今後の実用化と社会実装が強く期待されます。