知識を使って推論し
言葉の行間を読むマシンをつくる

井之上研究室　INOUE Laboratory
准教授：井之上 直也（INOUE Naoya）

E-mail：
［研究分野］
自然言語処理、自然言語理解、常識推論
［キーワード］
言語モデル、深層学習、人工知能、説明性、データサイエンス、推論、論述理解

研究を始めるのに必要な知識・能力

言葉を理解できる計算機を作りたいという熱い気持ちをもっていることが必須条件です。線形代数、確率統計、アルゴリズム、プログラミング、Linuxに関する知識や、英語での文献調査、文章執筆スキルがあるとよいですが、研究室配属後でも学べます。

この研究で身につく能力

日々の研究室活動では、言葉を計算機処理するために、世界で誰も試したことのない新しいアイデアを仲間とともに磨き、これを計算機上に実装し、そのアイデアの有効性を検証していきます。面白い発見があれば、積極的に国内・国際学会に投稿し、外部の研究者とやり取りしながら、アイデアをさらに磨いていきます。こうした活動を通して、自然言語処理と周辺分野の専門知識はもちろんのこと、どこでも役立つ一生モノのスキルが身につきます。メタ思考力（常にナゼを問う意識）、仮説を立て、それを検証・整理し議論を組み立てる力、文献調査力、プログラミング力、データ分析力、といったものがその一例です。アイデアを磨く過程で、自分の考えを他者に分かりやすくプレゼンするためのコツ、チームワーク、文章執筆力も育っていきます。

【就職先企業・職種】 研究開発職、情報通信業

研究内容

本研究室では、我々人間が日常的に使っている言葉を計算機処理するための方法を研究しています（「自然言語処理」と呼びます）。自然言語処理の研究は多岐に渡りますが、特に我々は、推論の力—書いていないことを知識によって補う力、行間を読む力を計算機に持たせる方法を研究しています。下記は研究テーマの一例です。

1. 論理的に考え説明できる文章読解モデル

　近年、深層学習の登場により自然言語処理は大きな進化を遂げましたが、未知の入力に対してさらに強くなるためには、論理的な推論から答えを導けることが重要です。また、様々な応用場面において、要求された問題に答えられるだけでなく、その答えに辿り着く過程を説明できることも重要です。こうしたことを実現できるモデルは何か？そのモデルをどのように機械学習するか？人の推論を模倣させる仕組みを作るには？などの問いに取り組みます。

図: 説明可能な文章読解モデルの自己学習 (業績1)

2. 自然言語理解のベンチマーク設計、データセットの構築

　研究の成果を測るためには、開発したモデルの性能を定量的に評価する必要があります。何をすれば「行間を理解した」ことになるのか？どのような数値指標で結果を評価すべきか？そのような「問題集」をなるべく安価で大規模に作るにはどうすればよいか？などの問いに取り組みます。

3. 論述の理解と評価

　行間を読むマシンの一つの応用先として、ディベートや小論文などの論述的な文章の理解や自動評価に取り組みます。論述的な文章は、そのトピックに関する背景知識を使って論理が組み立てられており、内容を真に理解するためには推論力が不可欠です。主張がどのようにサポートされているのか？論述をさらに改善するには？こうした分析のできる計算モデルの構築に取り組みます。
　上記テーマのほか、物語の言語解析、人と計算機の協業 (Human-in-the-loop)、画像・音声・物理情報など言語以外の情報を組み合わせたマルチモーダルな研究等、多様なテーマに取り組む予定です。本研究室は、2022年度から始まった新しい研究室で、全てがゼロから。ぜひ一緒に研究室を創り上げていきましょう！

主な研究業績

1. Naoya Inoue, Harsh Trivedi, Steven Sinha, Niranjan Balasubramanian and Kentaro Inui. Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP2021), 2021, pp.6064-6080
2. Naoya Inoue, Pontus Stenetorp and Kentaro Inui. R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), 2020, pp.6740–6750
3. Tatsuki Kuribayashi, Hiroki Ouchi, Naoya Inoue, Paul Reisert, Toshinori Miyoshi, Jun Suzuki and Kentaro Inui. An Empirical Study of Span Representations in Argumentation Structure Parsing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), 2019, pp. 4691–4698.

使用装置

超並列計算機 (CPU/GPUクラスタマシン)