▲画像提供：Jun Chen Lab/UCLA

米カリフォルニア大学ロサンゼルス校の研究チームは、スマートフォンのアプリを使ってリアルタイムでアメリカ手話を英語の声に翻訳できる、手袋形の翻訳デバイスを開発した。

▲画像提供：Jun Chen Lab/UCLA

このデバイスには1組の手袋からなり、5本の指の長さに対応した細くて伸縮可能なセンサーを搭載。導電性の糸でできたこのセンサーで、手の動きと指の配置から文字や数字、単語やフレーズといったものを検出するという。

こうした指の動きは電気信号に変換。手の甲の位置に取り付けられた1ドルコインほどの大きさの基板に送られ、さらにそこからスマートフォンにワイヤレスで送信されて、発話した言葉に変換される。その変換速度は1秒あたり約1語だそうだ。

また、実験では、話者の眉間や口の横に粘着式のセンサーを取り付けることで、アメリカ手話で使用される表情をキャプチャすることもできるとしている。

▲画像提供：Jun Chen Lab/UCLA

今回は、アメリカ手話を使用する聴覚障害者4人と協力して、15回にわたり手話を繰り返し、カスタマイズした機械学習アルゴリズムがこの身振りを文字や数字、単語として翻訳。アルファベットや0から9の数字を含む660のサインを識別することができた。

従来のウェアラブルデバイスは、重くてかさばるものだったそうで、装着しにくいものもあったそうだ。一方、今回開発されたものは伸縮性のあるポリマーでできており、安価で柔軟性があり、高い耐久性も備えているそうだ。