日本財団は香港中文大学と共同で、「手話」や「ろう者」理解の促進を目指して、Googleおよび関西学院大学の協力のもと、AIが手話表現を認識する手話学習ゲーム「手話タウン」のベータ版を公開した。

手話学習教材は、学習者が手話の映像などを見て手話を記憶する形式が主流だそうだが、「手話タウン」は、学習者が学んだ手話をパソコンのカメラの前で表現することで、その手話表現が学習できたかをAIにより確認することができるものである。

手話が公用語の架空の町を舞台に手話を駆使しながらアイテムを集めていくオンラインゲームで、言語は英語・日本語・中国語（繁体字）から選択可能。学ぶ手話言語は日本手話と香港手話から選ぶことができる。

学習者は、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、さまざまなテーマに合わせた手話をゲーム感覚で学ぶことができるという。

なお、「手話タウン」ゲームの基盤となっている手話認識技術のソースコードは、オープンソースとして無償で公開。これにより、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発できるようにもなっている。

▲今回開発した手話認識技術

また、「手話タウン」ではサイト内で募集するフィードバックをもとに改善を行うことにしており、多くの人の使用を求めている。そのうえで、手話言語の国際デーである2021年9月23日（木・祝）には完成版の公開を目指している。