本文へジャンプ
岡田研究室

多面的にコミュニケーション・行動を理解する
計算モデルに基づいた社会的人工知能の実現

岡田研究室 OKADA Laboratory
准教授:岡田 将吾(OKADA Shogo)

E-mail:E-mai
[研究分野]
マルチモーダルインタラクション、データマイニング、機械学習、パターン認識
[キーワード]
社会的信号処理、コミュニケーションモデリング、Affective Computing、 Social Computing

研究を始めるのに必要な知識・能力

画像・音声・時系列情報処理、線形代数、確率・統計、機械学習、プログラミングの知識・経験のいずれかを有していることが望ましいです。ただし研究室に入った後でも、研究テーマごとに必要な基礎知識の勉強会を行うので心配いりません。一番重要なのは、人間同士のコミュニケーション理解、機械学習・データマイニングを駆使してコミュニケーションをモデル化することに興味があり、地道に研究目標に向かって研究を進めようとする「やる気・持続力」が重要となります。

この研究で身につく能力

機械学習、データマイニング、信号処理を、人間行動・内面状態・コミュニケーションの理解・実現に応用するという立場で研究を行います。例えば、どのようなコミュニケーションの側面を捉えることで新しい応用先が見つかるか、その側面を捉えるためにはどのようなセンサを利用してデータを取るか、といった問題設定とデータ収集から研究がスタートすることが多いです。このため問題設定の立案、データ収集、信号処理・機械学習・データマイニング、アウトプットの分析・可視化といったデータサイエンティストに必要な一連の素養を身につけることが出来ます。機械学習に基づく人工知能システムは多用な応用先を有しており、社会で扱われる問題も広範囲かつ複雑になっています。上記の複雑な問題に人工知能技術を適用し、問題を解決するための方法論を習得させることを目指します。

研究内容

okada1.jpg機械学習、データマイニング、パターン認識、信号処理の技術を駆使し人間の行動、人間同士のコミュニケーション・インタラクションから観測される言語・非言語情報から態度・状況・グループのコンテキスト・コミュニケーションスキルといった高次の抽象的概念をモデリングする技術と、インタラクティブシステム、会話エージェントへの応用に関する研究を行っています。

[1:マルチモーダルインタラクション]

各種センサで観測した、会話参加者の発話内容・韻律・視線・姿勢・ジェスチャといったマルチモーダルパターンの組み合わせ・階層化により①ジェスチャの機能と会話者の態度、認知症患者の発話意欲といった会話参加者の高次状態・意図や、②コミュニケーション能力、説明する能力、③会話によって導かれた結論の良し悪しを推定する研究を行っています。

[2:ユビキタスセンサを用いた人間行動理解] 

自動車運転行動解析:様々な道路の運転で使用されたアクセル・ブレーキ・操舵角の時系列データから, 個人特有のブレーキ、アクセルの使用パターンを発見、解析する枠組みを研究しています。
オフィスワーカの行動解析:ワーカのオフィスでの行動ログ(PC作業、ミーティング)を自動抽出する枠組みを構築し、約2年半のデータを収集・解析し、ワーカのストレス値や満足度といった内的要因との間の関係を、データマイニングを用いて解析しています。

[3:マルチモーダル・時系列データのための機械学習] 

1:、2: の技術の根幹はマルチモーダルデータ・時系列データの機械学習・データマイニングの手法により支えられています。時間構造の異なる異種のモダリティデータの統合方法、少量の教師デー タを使って学習する方法、系列データから多用な特徴量を抽出するデータマイニングの手法等の研究を行っています。

主な研究業績

  1. Shogo Okada et al, Modeling Dyadic and Group Impressions with Intermodal and Interperson Features. ACM Transactions on. Multimedia Computing, Communications, and Applications (TOMM) 15(1s): 13:1-13:30 (2019)
  2. Shogo Okada et al,Predicting performance of collaborative storytelling using multimodal analysis”, IEICE Transactions, 6ED-55 , pp.429-439 (2016)
  3. Yuki Hirano, Shogo Okada, Haruto Nishimoto, Kazunori Komatani: Multitask Prediction of Exchange-level Annotations for Multimodal Dialogue Systems. ACM International Conference on Multimodal Interaction (ICMI) 2019: 85-94

使用装置

ビデオカメラ、ウェアラブルカメラ、マイクロフォンアレイ、Kinect 、
携帯型筋電センサ、加速度・ジャイロセンサ、VR ゴーグル、 ヒューマノイドロボット

研究室の指導方針

2017年度に発足した新しい研究室です。研究の基盤となる機械学習・データマイニング・パターン認識の勉強と同時に、研究室でターゲットとしている研究分野の最新の成果とのつながりを明確にしながら、勉強と研究を進めていきます。
これにより、世界の研究水準を知ると同時に、そのレベルに向けて挑戦することを目指します。

[研究室HP] URL:https://www.jaist.ac.jp/~okada-s/

ページの先頭へもどる