音声を手掛かりに「見るべき瞬間」だけを選ぶAIを開発 ―映像解析量を約85%削減しつつ、面接動画評価の精度向上と処理時間65%短縮を両立―
音声を手掛かりに「見るべき瞬間」だけを選ぶAIを開発
―映像解析量を約85%削減しつつ、面接動画評価の精度向上と処理時間65%短縮を両立―
【ポイント】
- 音声を手掛かりに、映像の中から重要な場面だけを選んで解析する効率的なマルチモーダルAIを開発しました。
- 視覚データの15.42%のみを解析しながら、従来の最先端手法を上回る性能を示し、人間の専門家による評価と同水準の一致度を達成しました。
- 2分間の動画1本あたりの解析時間を52秒から18秒へと約65%短縮し、映像AIの計算コストや消費電力の削減につながる「グリーンAI」の実現に貢献します。
【概要】
| 北陸先端科学技術大学院大学AI知性研究領域のLE, Hung(レ・フン)大学院生（博士後期課程）を筆頭著者とする岡田将吾教授の研究グループは、人間が「まず音を聞き、必要なときだけ相手を見る」という注意の仕組みに着想を得て、音声情報を手掛かりに映像中の重要な場面を選び、その部分だけを視覚解析する新しいAIフレームワーク「EMF-dVAE」を開発しました。本手法では、自己教師あり学習*1と離散変分オートエンコーダ*2を組み合わせることで、人が場面ごとに「見る・見ない」の正解を付けた教師データを用意せずに、AI自身が視覚解析すべき区間を学習できます。本研究は、Le, Hung大学院生の発案を出発点として進められました。 近年、画像・音声・テキストを組み合わせて理解するマルチモーダルAI*3は、オンライン面接、教育、医療、介護、ロボットなど幅広い分野で活用されています。一方、従来の手法では動画全体を視覚解析するため、多くの計算資源と電力を必要とすることが課題でした。 研究グループは、米国のEducational Testing Service（ETS）から共有された260名・1,891本の就職面接動画データを用いて本手法を評価しました。その結果、視覚データのわずか15.42%のみを解析しながら、従来の最先端AIを上回る認識性能を達成しました。さらに、専門家による評価との一致度は、人間の専門家評価者間の一致度と同水準に達し、動画1本あたりの処理時間を52秒から18秒へと約65％短縮しました。本成果は、必要な情報だけを選択して処理することで、AIの性能と計算効率を両立できることを示したものです。研究成果は、情報融合、人工知能、パターン認識、データサイエンス分野の国際学術誌「Information Fusion」に掲載されました。 |
１．研究の背景 ― 動画をすべて「見る」AIの計算負荷
生成AIや対話AIの普及に伴い、動画から人の表情・声・言葉を同時に理解する「マルチモーダルAI」は、オンライン面接、教育、医療、介護、コミュニケーションロボットなど幅広い分野で利用が広がっています。一方、映像の解析は音声やテキストの処理に比べて計算負荷が大きく、動画全体を一律に解析すると、計算コストや消費電力が増大します。
また、動画には評価に有用な場面と、変化が少なく情報量の乏しい場面が混在しています。従来のAIはそれらを区別せずに解析するため、不要な計算が生じるだけでなく、重要でない情報がノイズとなって、予測性能を低下させる可能性もありました。
人間は会話中、すべての情報へ常に同じ注意を向けているわけではありません。声の調子や話し方の変化を手掛かりに、重要だと感じた瞬間へ視線を向けます。しかし、音声を手掛かりに「いつ映像を見るか」という離散的な判断をAIに学習させることは、従来技術では容易ではありませんでした。
２．研究の成果 ― まず「聞き」、重要なときだけ「見る」AI
研究チームは、人間が「まず音を聞き、必要なときだけ相手を見る」という注意の向け方に着想を得て、新しいAI「EMF-dVAE」（図1）を開発しました。本手法は、まず音声情報から映像中の重要な場面を選び、その区間だけを視覚解析することで、不要な映像処理を大幅に削減します。
| 図1: EMF-dVAEの処理の流れ AIはまず動画の音声を「聞き」、映像のどの部分を解析すべきかを選択します。選ばれた区間だけを計算負荷の大きい視覚解析の対象とし、それ以外の区間は解析しません。選択した視覚情報を音声情報および書き起こしテキストと統合し、最終的な評価を出力します。 |
この技術の特徴は、人手で「見るべき場面」を指定した教師データを必要としない自己教師あり学習と、「見る・見ない」という離散的な選択を学習できる離散変分オートエンコーダ（dVAE）を組み合わせた点にあります。これにより、動画の予測に必要な情報を保ちながら、視覚解析する区間を必要最小限に絞ることができます。
米国Educational Testing Service（ETS）から共有された260名・1,891本の就職面接動画を用いた評価では、視覚情報の15.42%のみを利用しながら、従来の最先端AIを上回る認識性能を達成しました。さらに、専門家による評価との一致度は、人間の専門家評価者間の一致度と同水準に達しました。動画1本あたりの処理時間も52秒から18秒へと約65%短縮しました。また、解析する映像量を動画ごとに自動調整し、AIが必要な場面へ計算資源を重点的に配分できることを示しました。
| 図2: 2分間の面接動画1本あたりの処理時間の比較 EMF-dVAEは、従来手法の52秒に対して18秒で解析を完了し、処理時間を約65%短縮しました。視覚データのわずか15.42%のみを利用しながら、従来手法を上回る性能を達成しました。 |
３．社会的インパクトと今後の展望
本成果は、AIの性能向上と計算効率化を両立する「グリーンAI」に向けた一歩です。動画1本あたりの解析時間を約3分の1にできれば、大規模運用時の計算コストや消費電力の削減に加え、限られた計算資源しか持たない端末上でのリアルタイム処理にもつながると期待されます。
本研究が示した「まず計算負荷の小さい情報から重要性を判断し、必要な部分だけを詳しく解析する」という考え方は、面接動画の分析にとどまらず、教育支援、遠隔医療、コミュニケーション支援ロボット、映像監視など、音声と映像を同時に扱う幅広いAIへの応用が考えられます。
研究チームは今後、多様な言語やデータセットで有効性を検証するとともに、判断の公平性、プライバシー、説明可能性にも配慮しながら、人の判断を支援する「必要なときだけ計算するAI」の実現を目指します。
【用語説明】
正解ラベルの付いていないデータから、AIが学習に必要な課題を自ら作り出して学ぶ手法。本研究では、動画の一部を隠し、その情報を復元する課題を通じて学習するため、「見るべき場面」を人手で指定する作業を必要としない。
データの特徴を圧縮して表現することを学ぶAIモデルの一種。本研究で用いた離散型は、各時間区間について「見る／飛ばす」という二者択一の判断を表現し、映像を解析する区間の選択に用いる。
画像・音声・テキストなど、異なる種類の情報を組み合わせて判断するAI。人間が視覚や聴覚など複数の感覚を用いて物事を理解する仕組みに近い。
【論文情報】
| 論文タイトル | Audio-guided visual selection for efficient multimodal fusion via a discrete variational autoencoder |
| 日本語タイトル | 離散変分オートエンコーダによる効率的なマルチモーダル情報融合のための音声誘導型視覚選択 |
| 著者 | Hung Le 1, Hung-Hsuan Huang 2, Candy Olivia Mawalim 1, Chee Wee Leong 3, Shogo Okada 1 1 Japan Advanced Institute of Science and Technology(JAIST) 2 The University of Fukuchiyama 3 Educational Testing Service, USA |
| 掲載誌 | Information Fusion (Elsevier) |
| 掲載日 | 2026年7月17日 |
| DOI | 10.1016/j.inffus.2026.104613 |
【研究資金】
本研究は、日本学術振興会（JSPS）科研費（課題番号：26K03016）、国立研究開発法人科学技術振興機構（JST）戦略的創造研究推進事業（CREST）（課題番号：JPMJCR2563）、同 戦略的創造研究推進事業「CRONOS（情報通信科学・イノベーション基盤創出）」（課題番号：JPMJCS24K7）の支援を受けて実施されました。
令和8年8月5日
