See-Through Captionsは、ろう・難聴者が聴者とより豊かなコミュニケーションを行うために開発された、透明ディスプレイ上にリアルタイムに字幕を表示するシステムです。ろう・難聴者は相手の表情や仕草を見ながら字幕を読めるようになり、既存の字幕表示手法では欠落していた身体情報も活用しながら聴者と会話することが可能となります。
我々の開発チームには、耳が聴こえないメンバーがいます。彼と一緒に過ごし、研究活動を行う中で、彼とのコミュニケーションをいかに充実させるか、ということは常日頃の重要な課題でした。 彼が研究室のメンバーになった当初、研究室のゼミにどうやって参加するかが問題となりました。初めは全てのやりとりをメッセージアプリ越しにテキストで行っていましたが、入力の負担も大きかったため、次第に音声入力に頼るようになります。こうしていくつかの方法を試す中で、ようやくゼミでの実施方法が定着してきた頃、今度は新型コロナウイルスの流行に巻き込まれ、ゼミは全てオンラインで実施されるようになってしまいます。 初期のオンラインゼミでは、そもそもオンライン会議のツール上に音声を字幕に変換する機能が備わっていなかったため、そうした補完技術の開発から行う必要がありました。本プロジェクトの出発点はそこにあります。オンラインゼミで活用できる音声字幕化システムの開発を行い、さらに「より根本的にコミュニケーションの質を向上させるシステムを作れないか」という新たな問いから，対面でのコミュニケーション支援システムとしてSee-Through Captionsが誕生しました。
See-Through Captionsは、話者の音声を音声認識により文字に変換し、相手との間にある透明ディスプレイにリアルタイムで表示するシステムとなっています。透明ディスプレイを活用することで、ろう・難聴者は相手の表情や仕草を見ながら字幕を読めるようになり、既存の字幕表示手法では欠落していた身体情報（ボディランゲージやアイコンタクト等）も活用しながら聴者と会話することが可能となります。また使用している透明ディスプレイは両側から見ることができるので、聴者も音声認識の結果を見ることができ、音声認識の誤認識がないかを確認しながら話すことができます。
筑波大学 デジタルネイチャー研究室 / xDiversity のチーム。
Japan
設楽明寿，鈴木一平，山本健太，百田涼佑，飯嶋稜，落合陽一。