本文へジャンプ

音声コミュニケーションによるHuman-AI
コラボレーティブインテリジェンスに向けて

サクティ研究室 SAKTI Laboratory
准教授:サクティ サクリアニ(SAKTI Sakriani)

E-mail:
[研究分野]
音声言語処理、機械学習
[キーワード]
多言語音声認識と合成、マシンスピーチチェーン、ゼロリソース音声テクノロジー、音声翻訳、パラ言語モデリング、音声対話システム、ディープラーニング、知識表現とモデリング

研究を始めるのに必要な知識・能力

人間と機械のコミュニケーションと話し言葉の処理の研究に情熱を持って取り組む学生を歓迎します。
コンピュータプログラミング(Pythonなど)と機械学習の経験があり、英語でのコミュニケーションに興味を持っている人をお待ちしています。

この研究で身につく能力

学生は、最先端の音声言語処理の知識を習得し、研究プロジェクトを行なう経験を積むことができます。さらに、観察、システム開発、問題解決、技術論文の閲覧、科学的プレゼンテーションのスキルを身に付けることができます。

【就職先企業・職種】 ICT企業、研究機関、大学教員

研究内容

人間と人間、人間と機械のコミュニケーションをサポートし、人間と機械の学習と協調知能を実現するための人工知能技術の研究と開発を目指しています。

研究分野とトピック:

音声認識と合成
自動音声認識(ASR)およびテキスト読み上げ合成(TTS)を使用して、聞き取りと話しができるテクノロジーを研究および開発します。考えられる研究トピックには、多言語/コードスイッチングASRとTTS、インクリメンタルASRとTTS、が含まれます。

マシンスピーチチェーン
この研究は、人間の発話知覚と発話生成を統合することに焦点を当てており、聞くことも話すこともできる技術を提供するだけでなく、話している間に聞くこともできます。考えられる研究トピックには、多言語/マルチモーダルスピーチチェーン、インクリメンタルスピーチチェーン、音声エントレインメントが含まれます。

ゼロリソース音声技術
幼児のような言語を学び、徐々に知識を構築することができる技術の開発に焦点を当てています。考えられる研究トピックには、ゼロリソース音声処理、教師なし/半教師あり深層学習、知識表現およびモデリングが含まれます。

音声翻訳
この研究は、テキストに翻訳されるのではなく、音声から音声に直接翻訳される人間のような同時音声解釈に焦点を当てており、言語情報とパラ言語情報の両方をカバーしています。考えられる研究トピックには、音声から音声への翻訳、パラ言語表現の翻訳が含まれます。

主な研究業績

  1. A. Tjandra, S. Sakti, S. Nakamura, "Machine Speech Chain," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 976-989, 2020
  2. Q.-T. Do, S. Sakti, and S. Nakamura, “Sequence-to-Sequence Models for Emphasis Speech Translation,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1873 - 1883, 2018
  3. S. Sakti, K. Markov, S. Nakamura, W. Minker, “Incorporating Knowledge Sources into Statistical Speech Recognition,” Springer, Boston (USA), Series: Lecture Notes in Electrical Engineering, Vol. 42, 2009.

使用装置

計算インフラストラクチャ(CPU、GPU)

研究室の指導方針

各学生は、修士論文/博士論文の研究プロジェクトを実行します。トピックは、ラボプロジェクトのテーマとともに学生の興味に基づいて決定されます。学生の能力を高めるために、以下を実施します。

  1. 1対1の会議に関する集中的な議論。
  2. 研究の進捗状況とラボミーティングに関するグループディスカッション。
  3. 研究実験の監督。
  4. 科学的な論文の執筆とプレゼンテーションのスキルを向上させるためのガイダンス。
メンバー間の活発な議論を奨励します。日本人学生と留学生の話し合いを深めるため、研究室で使用するプレゼンテーション資料はすべて英語で作成します(プレゼンテーションは日本語/英語で行うことができます)

[研究室HP] URL:https://www.jaist.ac.jp/is/labs/sakti-lab/

ページの先頭へもどる