安心して話せるサイバー空間へ

聴覚・インタラクション研究室　
Laboratory on Speech, Hearing, and Interaction
講師：マワリム ケンディ オリビア（MAWALIM, Candy Olivia）

E-mail：
［研究分野］
音声プライバシー、音声言語処理、音声工学、機械学習
［キーワード］
声質変換、話者匿名化、認知聴覚、補聴技術、低資源言語処理、ヒューマン・コンピュータ・インタラクション

研究を始めるのに必要な知識・能力

本研究室では、音声・聴覚技術を通じてコミュニケーションを改善したいという熱意を持ち、機械学習や信号処理の基礎を活かせる学生を歓迎します。また、技術的な英語力を持ち、国際的な視野で意欲的に研究へ取り組む人材を求めます。

この研究で身につく能力

この研究室での活動を通じて、学生は高度なデータ科学的思考と人間中心の応用力という二軸の能力を修得します。具体的には、音声・音響信号処理技術や深層学習モデルを設計・実装する実践的なAI開発能力が身につきます。これに加え、音声プライバシーに関する研究を通して、個人情報保護に必要なデータセキュリティ対策に関する深い知見と技術的リスク評価能力を養います。最終的には、学生はエンジニアリングデザインスキルを磨き、認知科学とHCI手法を応用して、自然な対話の実現や音声明瞭度の向上といった抽象的な課題を解決します。これにより、社会的に影響力のあるアプリケーションを開発するための強固な基盤が築かれます。

【就職先企業・職種】 情報通信技術、システム開発研究職、研究職

研究内容

本研究室は、人間とデジタル技術のより良い「相互作用」の実現を目指し、「聴くこと」「話すこと」という人間の根源的なコミュニケーションに着目して研究を進めています。具体的には、音声や音響信号を扱う音声科学、人間の聴覚・認知機能を解明する認知科学、そしてシステムと人の対話を設計するヒューマン・コンピュータ・インタラクション（HCI） の3つの分野を融合させ、以下の研究テーマに取り組んでいます。

1. 人間の発話と聴覚の研究

単なる音声認識・合成を超え、人がどのように感情や意図を声に乗せ、それをどのように聞き取るかを深く研究します。多様なコミュニケーション環境における課題解決を目指し、騒音環境下でも人間の聴取と発話を考慮した音声技術を開発しています。さらに、リソースの限られた言語を含む様々な言語の音響音声学を探求し、人間が生成した音声と機械が生成した音声を区別することに焦点を当てています。

2. プライバシー保護型音声技術

本研究室は、ユーザーが安心して利用できる音声技術の構築に注力しています。音声データには多くの個人情報が含まれるため、その取り扱いには倫理的・技術的な配慮が不可欠です。私たちは、機密情報を保護しながら学習するプライバシー保護型AIにおいて、個人を特定できないよう音声を匿名化する技術を開発しています。これにより、ユーザーはAIシステムと安全にインタラクションすることができます。

3. 社会課題解決への応用

本研究で開発された技術は、補聴器やコミュニケーション障がい者支援システムなど、音声関連技術の高度化に実用化が期待されます。また、プライバシー保護技術は、医療など機密性が高い分野におけるAI活用を可能にし、社会に有益な実用化へと繋げます。

図1. プライバシー保護と多言語対応の音声AIシステム

主な研究業績

1. C. O. Mawalim, K. Galajit, J. Karnjana, S. Kidani, M. Unoki, “Speaker Anonymization by Modifying Fundamental Frequency and X-Vectors Singular Value”, Computer Speech and Language, Elsevier, vol. 73, 101326, 2022.
2. C. O. Mawalim, B. A. Titalim, S. Okada, and M. Unoki, “Non-Intrusive Speech Intelligibility Prediction Using an Auditory Periphery Model with Hearing Loss”, Applied Acoustics, vol. 214, 2023.
3. C. O. Mawalim, C. W. Leong, G. Sivan, H-H. Huang, and S. Okada, “Beyond accuracy: Multimodal modeling of structured speaking skill indices in young adolescents,” Computers and Education: Artificial Intelligence, Vol. 8, June 2025.

使用装置

スタジオコンデンサーマイク、高度なデジタル MEMS アレイ、ビデオカメラ、ポッドキャストスタジオマイク、Arduino プロトタイピングキット