リクルートテクノロジーズ、『スタディサプリ』の講義動画を対象に、動画内の“音声”と“手書き文字”検索機能を新開発

株式会社リクルートテクノロジーズは、株式会社リクルートマーケティングパートナーズが提供する、オンライン学習サービス『スタディサプリ』の講義動画を対象に、音声データや動画内の文字データを検索できる機能の実証実験を行う。この機能により、テキストマイニングやディープラーニングを用いた動画データ解析技術により、講義動画内の音声データ(先生の声)や文字データ(黒板の文字)を簡単に検索できるようになる。

これら機能の実証実験を、音声データ検索機能(2017年8月7日以降)、動画内テキスト検索機能(2017年9月末以降)の2回に分けて、ユーザー100名を対象に東京都新宿区にある『スタディサプリラボ』にて実施する。

文字認識モデルを活用したディープラーニングで動画データを“テキスト化”

実証実験を行う「音声データ検索機能」と「動画内テキスト検索機能」は、リクルートテクノロジーズの研究開発機関であるアドバンスドテクノロジーラボにて開発されている。スタディサプリ講義動画内の音声データ(先生の声)や文字データ(黒板の文字)をテキスト化することにより、動画内にある「ユーザーが本当に見たいシーン」を簡単に検索できる機能の実現を目指す。

また、今回の実証実験は、検索可能動画をスタディサプリが提供する講義動画1万本のうち高校3年生向けの理科・社会の講義に特化、かつ、対象ユーザーをスタディサプリのリアル校であるスタディサプリラボに属する受験生100名に限定して行われる。

これまでの一般的な検索エンジンでは実現できなかった、キーワードから動画シーンを簡単に検索できる機能を提供することにより、ユーザーの効率的な学習をサポートすることを目指す。

動画の“見たいシーン”を一発で検索! 1万字以上内蔵の教育系DB活用でこれまでにない検索を実現

音声データ検索機能では、講義動画内の「先生の声」をキーワードで検索することができる。この機能の特徴は、音声をテキスト化する際に、スタディサプリの教育コンテンツ辞書を元にテキスト補正を行っている点にある。辞書を充実させればさせるほど、テキストマイニングの精度が向上する仕組みとなっており、より正確なテキスト生成が自動で行われる。

音声データ検索機能を使ってできること

ユーザーは知りたいキーワードを入力し、それが実際に述べられている講義を検索することができる。キーワードは、途中まで入力すれば該当する候補が表示されるため、最後まで入力する必要はない。検索結果は、キーワードが発話された回数が多いものから順に並んでいる。自分が見たい講座・講義を選択してから動画再生画面と行き来することも可能だ。

動画再生画面では、キーワードが発話されているタイミングと周辺の音声がテキスト化されており、どこから再生するかを自由に選択することができる。また、キーワード入力箇所は動画再生画面上部にて常に表示されているため、動画再生中に気になったキーワードがあれば、その場で即座に検索することもできる。

動画検索画面

検索結果画面

動画再生画面

ABOUTこの記事をかいた人

教育系の研究科の大学院生です。専門は国語教育の授業開発で、魯迅の「故郷」の授業開発を研究しております。出身は北海道で、大学は京都、現在は関東に住んでいます。読書や美術館巡りが好きです。