人間の音声生成（特に感情を込めた会話音声の生成）のメカニズムはまだ十分に解明されていない。それを解明するため、MRIデータに基づいて構築した三次元的発話機構モデルを用い、発話目標から音声合成への過程、または音声波から発話目標への逆過程を模擬することにより、生理学的レベルと運動計画レベルの両面から、人間のメカニズムの真実に漸近する。生理学的な見地に基づいてその発話機構モデルを改善するのもこの研究の課題である。

音声認知は音声生成の逆過程とされている。人間の音声生成過程では、多数（理論的に無数）の発話状態が同じ音を生成することが可能であるため、音声認知過程には多意性の問題が生じる。この多意性問題の根本的な解決は音声研究の重大な課題の一つである。本研究室では、発話機構モデルを用い発話状態の安定性と生理学･形態学的制限などの観点から多意性問題の本質を考察しながら解決策を求める。

脳における言語音声のコミュニケーションに関する仮説である音声知覚の運動理論により、音声の知覚過程は調音動作の内部表象あるいは知識を参照しながら実現している（Libermanら,1960, 1985）。本研究では、音響分析や生理学的計測と調音運動の観測などの手法を用いて音声知覚系と生成系との相互作用を解明することにより、その理論を検証すると共に発展させることを図る。

声の個性を決めるものは，生まれつき備わったもの（生理学的要素）と，習慣として身についたもの（社会的要素）とがある。本研究は，前者の要素をはじめとするすべての要素の表現とモデル化を行う。また、感情音声とは話者が意図的な制御による言語以外の情報を音声に添加されたものである。本研究では、我々が日常感情音声を生成するときの経験を発話機構モデルに適用することによって、分析・合成により感情音声に関する研究を行なう。

本研究では、従来の隠れマルコフモデル（HMM）に人間の優れた認識機能を取り入れて新しい音声認識方法の開発を図る。そのなか、人間の聴覚的特徴（周波数ごとに音声・雑音識別機能）を用いて雑音に頑健な認識方法の開発と、調音的特徴（調音結合の制約）を用いるMissing Speechの認識方法の検討及び、生理学的特徴（形状学的個人差）を利用した話者認識方法の研究を行う。