知識を使って推論し
言葉の行間を読むマシンをつくる

井之上研究室　INOUE Laboratory
准教授：井之上 直也（INOUE Naoya）

E-mail：
［研究分野］
自然言語処理、自然言語理解、常識推論
［キーワード］
言語モデル、深層学習、人工知能、説明可能性、データサイエンス、推論、論述理解

研究を始めるのに必要な知識・能力

言葉を理解できる計算機を作りたいという熱い気持ちをもっていることが必須条件です。線形代数、確率統計、アルゴリズム、プログラミング、Linuxに関する知識や、英語での文献調査、文章執筆スキルがあるとよいですが、研究室配属後でも学べます。

この研究で身につく能力

日々の研究室活動では、言葉を計算機処理するために、世界で誰も試したことのない新しいアイデアを仲間とともに磨き、これを計算機上に実装し、そのアイデアの有効性を検証していきます。面白い発見があれば、積極的に国内・国際学会に投稿し、外部の研究者とやり取りしながら、アイデアをさらに磨いていきます。こうした活動を通して、自然言語処理と周辺分野の専門知識はもちろんのこと、どこでも役立つ一生モノのスキルが身につきます。メタ思考力（常にナゼを問う意識）、仮説を立て、それを検証・整理し議論を組み立てる力、文献調査力、プログラミング力、データ分析力、といったものがその一例です。アイデアを磨く過程で、自分の考えを他者に分かりやすくプレゼンするためのコツ、チームワーク、文章執筆力も育っていきます。

【就職先企業・職種】 研究開発職、情報通信業

研究内容

本研究室では、我々人間が日常的に使っている言葉を計算機処理するための方法を研究しています（「自然言語処理」と呼びます）。自然言語処理の研究は多岐に渡りますが、特に我々は、推論の力—書いていないことを知識によって補う力、行間を読む力を計算機に持たせる方法を研究しています。下記は研究テーマの一例です。

1. 論理的に考え説明できる文章読解モデル

近年、深層学習の登場により自然言語処理は大きな進化を遂げましたが、未知の入力に対してさらに強くなるためには、論理的な推論から答えを導けることが重要です。また、様々な応用場面において、要求された問題に答えられるだけでなく、その答えに辿り着く過程を説明できること（説明可能性）も重要です。こうしたことを実現できるモデルは何か？人の推論を模倣させる仕組みを作るには？などの問いに取り組みます。

図: 説明可能な文章読解モデルの自己学習 (業績1)

2. 自然言語理解のベンチマーク設計、データセットの構築

研究の成果を測るためには、開発したモデルの性能を定量的に評価する必要があります。何をすれば「行間を理解した」ことになるのか？どのような数値指標で結果を評価すべきか？そのような「問題集」をなるべく安価で大規模に作るにはどうすればよいか？などの問いに取り組みます（業績2）。

3. 論述の理解と評価

行間を読むマシンの一つの応用先として、ディベートや小論文などの論述的な文章の理解や自動評価に取り組みます。論述的な文章は、そのトピックに関する背景知識を使って論理が組み立てられており、内容を真に理解するためには推論力が不可欠です。主張がどのようにサポートされているのか？論述をさらに改善するには？こうした分析のできる計算モデルを学習・評価するためのデータセットの構築 (業績3)、及び解析モデルの研究に取り組みます。
上記テーマのほか、画像・音声・物理情報など言語以外の情報を組み合わせたマルチモーダルな研究、物語の言語解析、人と計算機の協業 (Human-in-the-loop)等、様々な研究分野において「推論」を徹底的に研究します。本研究室は、2022年度から始まった生まれたての研究室。ぜひ一緒に研究室を創り上げていきましょう！

主な研究業績

1. Naoya Inoue, Harsh Trivedi, Steven Sinha, Niranjan Balasubramanian and Kentaro Inui. Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP2021), 2021, pp.6064-6080
2. Naoya Inoue, Pontus Stenetorp and Kentaro Inui. R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), 2020, pp.6740–6750
3. Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh and Kentaro Inui. LPAttack: A Feasible Annotation Scheme for Capturing Logic Pattern of Attacks in Arguments. In Proceedings of the 13th Language Resources and Evaluation Conference (LREC2022), pp. 2446-2459, June 2022.

使用装置

超並列計算機 (CPU/GPUクラスタマシン)