日本財団と香港中文大学がオンライン手話学習ゲーム「手話タウン」を公開、Googleがゲームの基盤となる手話認識技術を開発

日本財団(東京都港区、会長 笹川陽平)は、香港中文大学と共同で、「手話」や「ろう者」理解の促進を目指し、Googleおよび関西学院大学の協力のもと、AIが手話表現を認識する手話学習ゲーム「手話タウン」のベータ版を公開したことを発表した。

多くの人に使用してもらい、フィードバックに基づいた改善を行ったうえで、手話言語の国際デーである9月23日に完成版の公開を目指している。

「手話タウン」について

「手話タウン」は、手話が公用語の架空の町を舞台に、手話を駆使しながらアイテムを集めていくオンラインゲーム。

言語は英語・日本語・中国語(繁体字)から選ぶことができ、学ぶ手話言語は日本手話と香港手話から選ぶことができる。

日本手話の収集は関西学院大学手話言語研究センターに協力してもらっている。

学習者は、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なテーマに合わせた手話をゲーム感覚で学ぶことができる。

背景

手話は、ろう者が意思疎通を図るために使用する言語であり、ろう者の社会参画を促進するためには、手話で生活ができる環境が不可欠である。

2006年に採択された国連障害者権利条約で「手話は言語である」と明記され、日本国内でも2011年に障害者基本法で手話の言語性が認められたが、手話とろう者への理解が十分に浸透しているとは言い難く、生活のあらゆる面で手話による参加が妨げられている現状にある。

一方で、新型コロナウイルス感染症の世界的な蔓延で政府会見に手話通訳を付与する例が世界各国でみられるなど、手話への関心は高まっており、手話の普及を推進するための好機が生じていると考えられる。

ICT活用も広く推進されていることから、最先端技術を活用した「手話」や「ろう者」理解の促進を目指し、世界で初めてとなる手話学習ゲーム「手話タウン」のベータ版を開発した。

手話学習教材は、学習者が手話の映像等を見て手話を記憶する形式が主流となっているが、今回開発した手話学習ゲーム「手話タウン」は、学習者が学んだ手話をパソコンのカメラの前で表現すると、その手話表現が学習できたかをAI(人工知能)技術で確認することができる、手話学習ゲームとなる。

また、ゲーム内では手話の表現だけではなく、手話を母語とするろう者の文化も学ぶことができ、「手話やろう者を理解する入り口」として、本ゲームを役立てたいと考えているという。

各団体の本プロジェクトでの役割

  • 日本財団:プロジェクト全体の統括、手話・ろう者に関する知見の提供、開発に必要な資金提供
  • 香港中文大学:プロジェクト全体の共同統括、手話言語学における学術的な見地からの監修、香港手話の学習データ収集、ろう者に関する知見の提供
  • Google:プロジェクトのコンセプト立案、AIによる手話認識技術の研究開発
  • 関西学院大学:日本手話の学習データ収集、ろう者に関する知見の提供

なお、「手話タウン」ゲームの基盤となっている手話認識技術のソースコード(*)はオープンソースとして無償で公開している。

それによって、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発することを可能にしている。

ソースコードとは、ソフトウェアやプログラムを構成する、プログラミング言語によって書かれた文書のこと。ここでは「手話タウン」の基盤となる手話認識技術をプログラミングしている文書のことで英語のみ取得可能。

今回開発した手話認識技術について

これまでの多くの手話認識モデルは、手の形と動きのみに焦点を当てた認識技術を開発しているが、手話は、上半身の向き、うなずき、表情等と組み合わせて表現するため、それだけでは精度の高い認識を行うことはできない。

高精度の動作検出を実現させるためには、上半身、頭、顔、口も認識できる機械学習モデルを設計する必要がある。

これらの手話の重要な文法の特徴を認識するために、Googleが公開する機械学習用オープンソースライブラリTensorFlow™ を活用し、3つの機械学習モデルを組み合わせた手話動作の検出技術を開発した。

1つ目の機械学習モデルは人のポーズとジェスチャーを認識するPoseNet、2つ目は口と顔の表情を認識するFacemesh、最後に手の形と指の検出のためのハンドトラッキング。

また、適切な学習データを得るために、日本と香港で手話を日常的に使用しているろう者の手話映像データを収集し、システムに学習させた。

この手話認識技術を活用し、手話学習ゲーム「手話タウン」として展開。

本アプリは標準ブラウザ上で利用できるため、ダウンロードは必要ない。

さらに、すべてがJavascriptを使用してブラウザ内で実行されるため、速い通信速度で利用でき、ユーザーのプライバシーの観点からも安全である。

自動翻訳モデルについて

本プロジェクトでは、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指している。

今回公開した手話タウンは、プロジェクトの中間成果物に当たるものであり、手話表現に欠かせない手話の文法的な特徴の認識を目指している。