手話言語の国際デー(9月23日)に合わせ開発された、AI認識による手話学習ゲーム「手話タウン」がリリース

日本財団(東京都港区、会長 笹川陽平)は、国連の「手話言語の国際デー」(9月23日)に合わせて開発した手話学習ゲーム「手話タウン」正式版を9月22日に公式リリースしたことを発表した。

「手話タウン」は、ICTを活用してより身近に、より気軽に手話の学習を始められる教材として、日本財団と香港中文大学が共同で開発を進め、Googleおよび関西学院大学の協力のもと完成したもの。

5月にリリースしたベータ版を約8,500人に利用してもらい、フィードバックに基づいて改善を行っている。

「手話タウン」概要

「手話タウン」は、より身近に、より手軽に手話に触れられる「入口」を提供する手話学習ゲーム。

ICTやAIによる手話認識技術を搭載し、通常平面のみしか認識しない一般的なカメラを使って、体の動きや表情、うなずき、口形等の特徴を含めた立体的な手話の動きを認識する認識モデルを開発された。

ゲーム内では、手話が公用語の架空の町を舞台に、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なシチュエーションに沿った手話をゲーム感覚で学ぶことができる。

また、手話に触れたことがない人から日常的に手話を使う人まで幅広く対象としており、手話のみならず、手話を第一言語とするろう者の文化についても理解を深めることができる情報をゲーム内にちりばめている。

ろう者にとって手話は、単なるコミュニケーションの手段ではなく、頭の中で物事を考え理解する上で用いる第一言語であり、アイデンティティでもある。

「手話タウン」をきっかけに、手話で簡単な会話ができる人や、将来的に手話通訳として活躍する人が増えることで、ろう者の幅広い活躍を後押しする土壌を整えたいと考えているという。

また、すでにいくつかの学校で総合学習の時間に取り入れられており、学校の授業でも手話に触れる機会がより多くなることを願っているという。

日本財団では今後、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指す。

9月22日(水)の発表会における登壇者のコメント(一部)

「手話タウン」を体験するくろえさん

9月22日(水)に開催した発表会では、自身もろう者のくろえさん(ユリマガール)に「手話タウン」を実際に使ってもらい、デモンストレーションを行った。

くろえさんは、動画配信サイトYouTubeで約7万人のチャンネル登録者数を持ち、日常生活に加え、「聞こえない人のあるある」など、自身が聞こえないことを自然体でネタにした動画が人気で、総合再生回数3,000万回超えのYouTuberである。

7人家族全員がデフ(ろう者)のデフファミリー。

聾学校で育ち、聞こえる人とデフの懸け橋になるような発信を目指し、幼なじみの子と2人で「ユリマガール」としてデフティーンズライフを発信し続ける。

NHK「ろうを生きる 難聴を生きる」や動画クリエイター・フィッシャーズが挑むスペシャル新感覚バリアフリー番組「RouTube」に出演。

「手話タウン」を体験したYoutuberくろえさんのコメント

今日初めて香港手話に挑戦してみて、難しいところもあったけれど、(自身の手話と見本を)比較できる機能がある点が、分かりやすいと思いました。

私には小さい妹がいるのですが、(手話は)文章だけだと理解してもらえないこともあるので、こうやって動画で比較できると分かりやすいと感じました。

イラストも可愛いので、ぜひ友達などにも遊んでもらいたいです。また、私は今後色々な国に行ってみたいと思っているので、香港手話以外にも様々な国の手話が追加されると嬉しいです。

日本財団 笹川陽平会長のコメント

9月23日は国連総会で決議された手話言語の国際デーです。日本は障害者権利条約に批准していながらいまだ手話を言語として認めていません。日本財団では長らく、才能豊かな障害者の方々が世界で活躍できるよう、障害者の社会参画のために幅広い活動を続けてきました。

その一環である今回の「手話タウン」が広まることで、子どもたちが日常的に手話を使う、そんな未来を予感することができ、大変楽しみに感じております。

手話に関する背景

手話は、ろう者が意思疎通を図るために使用する言語であり、ろう者の社会参画を促進するためには、手話で生活ができる環境が不可欠である。

2006年に採択された国連障害者権利条約で「手話は言語である」と明記され、日本国内でも2011年に障害者基本法で手話の言語性が認められたが、手話とろう者への理解が十分に浸透しているとは言い難く、生活のあらゆる面で手話による参加が妨げられている現状にある。

一方で、新型コロナウイルス感染症の世界的な蔓延で政府会見に手話通訳を付与する例が世界各国でみられるなど、手話への関心は高まっており、手話の普及を推進するための好機が生じていると考えられる。

また、ICT活用が広く推進されている一方で、手話学習は学習者が手話の映像等を見て手話を記憶する形式が主流となっている。

一方、「手話タウン」は、学習者が学んだ手話をパソコンカメラの前で表現すると、その手話表現が学習できたかをAI(人工知能)技術で確認することができる世界初(日本財団調べ)の手話学習ゲームとなる。

また、ゲーム内では手話の表現だけではなく、手話を母語とするろう者の文化も学ぶことができ、「手話やろう者を理解する入り口」として役立てたいと考えているという。

ゲームは、5月24日にベータ版を発表し、利用者からのフィードバックを基づき改善を行った上で9月23日手話言語の国際デーを記念し正式版を発表するもの。

「手話タウン」機能一覧

手話をパソコンカメラで認識する様子
  • 対応書記言語:日本語・英語・中国語(繁体字)
  • 対応手話言語:日本手話・香港手話(各36語収録)
  • パソコンカメラによる手話認識:カメラに向かって手話を表現することで、手話を学べたかを確認することができる
  • 各単語にイラストを追加し、小さな子どもでも読みやすく、直観的に学べる
  • 子どもや漢字が苦手な人でも読みやすい、やさしい文章になっている
  • 見本映像の再生スピード調整:見本映像の再生スピードを標準かスローから選べる
  • 見本映像の拡大表示:見本映像を拡大表示させて、詳らかな動きを確認できる
  • 見本映像と自分の映像の比較:自分の映像を見本映像と並べて再生し、手話表現の違いを確認できる
  • ろう文化あれこれ:「手話」や「ろう者」についてより理解してもらうため、「ろう文化」についての説明がゲーム内に散りばめられている
  • チュートリアル:ゲーム開始前に、カメラの使い方がチェックできるチュートリアルあり

「プロジェクト手話」について

「手話タウン」は「プロジェクト手話」の一環で、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指している。

今回公開された「手話タウン」は、「プロジェクト手話」の中間成果物に当たるものであり、手話表現に欠かせない手話の文法的な特徴の認識を目指している。

今後、手話辞書の作成を経て、自動翻訳モデルの開発を目指すという。

手話認識技術について

手話は、手の動きだけでなく、体の動きや表情、うなずき、口形等も文法上重要な役割を果たしている。

また、一般的なカメラは通常2Dで平面のみしか認識できず、動きや奥行きのある立体的な手話の動作を認識するためには、専用のカメラや手袋などの特別な設備が必要であり、一般的に普及させるのが難しい状況にあった。

しかし、本プロジェクトでは、通常平面のみしか認識しない一般的なカメラを使って立体的な手話の動きを、体の動きや表情、うなずき、口形等の特徴を含め認識する認識モデルを開発。

これまでの多くの手話認識モデルは、手の形と動きのみに焦点を当てた認識技術を開発しているが、手話は、上半身の向き、うなずき、表情等と組み合わせて表現するため、それだけでは精度の高い認識を行うことはできない。

高精度の動作検出を実現させるためには、上半身、頭、顔、口も認識できる機械学習モデルを設計する必要がある。

これらの手話の重要な文法の特徴を認識するために、Googleが公開する機械学習用オープンソースライブラリTensorFlow(TM)を活用し、3つの機械学習モデルを組み合わせた手話動作の検出技術を開発。

1つ目の機械学習モデルは人のポーズとジェスチャーを認識するPoseNet、2つ目は口と顔の表情を認識するFacemesh、最後に手の形と指の検出のためのハンドトラッキングである。

また、適切な学習データを得るために、日本と香港で手話を日常的に使用しているろう者の手話映像データを収集し、システムに学習させた。

この手話認識技術を活用し、手話学習ゲーム「手話タウン」として展開。

アプリは標準ブラウザ上で利用できるため、ダウンロードは必要なし。さらに、すべてがJavascriptを使用してブラウザ内で実行されるため、速い通信速度で利用でき、ユーザーのプライバシーの観点からも安全。

なお、「手話タウン」ゲームの基盤となっている手話認識技術のソースコード(*)はオープンソースとして無償で公開されている。

これにより、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発することを可能にしている。

ソースコードとは、ソフトウェアやプログラムを構成する、プログラミング言語によって書かれた文書のこと。ここでは「手話タウン」の基盤となる手話認識技術をプログラミングしている文書のことで英語のみ取得可能。

各団体の本プロジェクトでの役割

  • 日本財団:プロジェクト全体の統括/手話・ろう者に関する知見の提供/開発に必要な資金提供
  • 香港中文大学:プロジェクト全体の共同統括/手話言語学における学術的な見地からの監修/香港手話の学習データ収集/ろう者に関する知見の提供
  • Google:プロジェクトのコンセプト立案/AIによる手話認識技術の研究開発
  • 関西学院大学:日本手話の学習データ収集/ろう者に関する知見の提供

手話言語の国際デーについて

9月23日は「手話言語の国際デー(International Day of Sign Languages)」である。

ろう者の言語である手話の認知と重要性を呼びかける日として、2017年12月19日に国連総会にて採択された。

9月23日は、世界ろう連盟が1951年に設立した日。

同団体は、世界最古の国際レベルの障害当事者団体で、ろう者の手話による社会参加促進を図っている。

現在約125カ国のろう当事者団体を傘下に置いている。