画像・映像処理とユーザインタフェース
に関わる研究を幅広く展開しています

視覚情報処理学研究室　
Laboratory on Visual Information Processing
准教授：吉高 淳夫（YOSHITAKA Atsuo）

E-mail：
［研究分野］
画像処理、感性情報処理、ユーザインタフェース
［キーワード］
深層学習、動画像解析、物体検出・識別、医用画像処理、視線解析、撮影・編集支援システム

研究を始めるのに必要な知識・能力

画像処理、人の視覚システム、ユーザインタフェースに関する基本的理解に加え、Pythonなどによる画像処理プログラミングの能力が必要です。取り組む研究テーマにより必要な知識・能力は異なります。これらに関する知識・能力を事前に習得しておくことは必須ではありません。

この研究で身につく能力

Python, C++などを用いた物体検出、物体識別、画像生成や、ユーザインタフェース実装に関するプログラミング能力、深層学習などの機械学習による画像処理、人の振る舞いや視覚システムを考慮したユーザインタフェースデザインと実装法、画像解析システムに関する問題の認識と解決に関する論理的思考力が養われます。また、研究活動の過程で日本語論文だけでなく英文ジャーナルや海外主要国際会議で発表された論文の調査、理解も必要となりますので、英語論文の読解力の向上や、さらには留学生との研究ディスカッションを通じて科学技術分野の英語力が向上することが期待できます。また、研究テーマの内容にかかわらず、論理的思考力、課題認識能力、問題解決能力が養われます。

【就職先企業・職種】 情報機器メーカー、情報サービス関連企業、自動車関連企業、教育研究機関など

研究内容

私たちが接する画像／映像情報の量は年々増大しており、大量の情報の中から必要な情報を的確に探し出す技術の重要性はますます高まっています。また、映像制作の非専門家である一般の人々がビデオカメラやスマートフォンなどを使用して映像を記録し、それを映像共有サービスを通じて多くの人々と共有することも日常のコミュニケーションの一部となっています。人は多くの情報を視覚から得ていますが、例えば画像検索システムなどは計算機側の都合に合わせた処理の結果を出力しているものも多く、画像／映像情報に対して人が認識する意味・内容のレベルや感性に合わせたものには必ずしもなっていないのが現状です。人の知的活動を助け、その質をより高くすることに貢献する画像／映像処理システムを確立するためには、情報に対する人の見方、あるいはとらえ方に沿った情報処理モデルに基づくシステムが求められています。本研究室では、このような視点に立ち、画像・映像解析処理やそれに関わるインタフェースの研究を進めています。研究室では3つの「変える（進化させる、向上させる、より使いやすく人の感性に合致したものにする）」を掲げ、研究を進めています。

1．画像・映像のアクセス環境を変える

深層学習の画像処理への適用は、物体検出／識別性能の大幅な向上をもたらしました。顕微鏡画像を入力として、寄生虫体を検出し、その種をより高い精度で識別する深層学習の改善手法や、深層学習を画像識別処理に適用した際の判断根拠をより的確に可視化する手法、さらには深層学習による画像生成により、実際の学習データの収集が困難な対象に対しても検出／識別精度を向上させる手法などについて研究を進めています。

深層学習により顕微鏡画像の寄生虫を検出して種を識別する処理の例

2．映像を創る環境を変える

感性情報表現の観点から適切な撮影
法をアドバイスするビデオカメラ

スマートフォンによる撮影が身近になり、一般の人々が映像情報をアップロードし、それを共有するサービスも広く利用されています。映像制作に関する専門的な知識や技術を持たないユーザによって撮影・編集された映像は、作り手が意図したものとは異なるニュアンスを含む感性情報を伝え、映像の作り手と受け手の間のコミュニケーションの齟齬を生じる要因となることもあります。このような問題を解決するために、適切な感性情報表現を助ける技術として、撮影・編集支援に関する研究も進めています。

3．映像と人とのかかわり方を変える

人が画像／映像情報を見たときの興味対象や興味の深さに関する情報を人に過剰な負荷をかけない形式で計算機システムに伝えることができれば、より効果的な情報検索や情報推薦が可能です。人が画像／映像情報を取得する際の視線情報や眼球運動からこれらの情報を取り出し、それを情報検索や情報推薦に応用する研究を進めています。

主な研究業績

1. Pengcheng Zeng and Atsuo Yoshitaka,”Visual Speech Recognition with Surrounding and Emotional Information”, IEEE International Symposium on Multimedia, 8 pp., 2024.
2. Genta Matsukawa and Atsuo Yoshitaka, “Data Augmentation with Diffusion Model for Hand Detection”, IEEE International Symposium on Multimedia, 4 pp., 2024.
3. 綾塚 祐二, 雅樂 隆基, 安川 力, 吉高 淳夫, “ 機械学習による画像診断の差分画像による解析,” 情報処理学会論文誌 Vol. 63, No. 2, pp. 379-387, 2022.

使用装置

視線検出装置（Nac, Tobii）,
研究室内計算サーバ、映像撮影、編集機器
学内HPC System