Reportイベント報告
JAIST BOOST-SPRING SYMPOSIUM「生成AIで世界はこう変わる」第一部講演 レポート【3/5】
生成AIを進化させる鍵
ここからは、現在の生成AIの発展の背後にある研究的な背景についてお話しします。AIの研究に携わってる方は常識と思われるかもしれませんが、重要なポイントなのでご説明します。
「スケーリング則」と呼ばれるものがあり、これは、2020年ごろに発見された法則というよりは経験則に近いものです。生成AIの学習に使うデータと計算量とパラメータ数を増やすほど、無限にAIの性能が上がっていくというものです。「スケーリング則」によると、細かな技術的工夫ではなくて、ひたすら力業で、データ・計算量・AIをどんどん大きくすると、性能が勝手にどんどん上がっていくということが明らかになったのです。非常に端的に言うと、今の生成AIの世界は、単純なことをやれば性能は勝手にどんどん上がっていく、ただすごいお金が必要、そういう世界です。
もう一つ注目されているのが、「能力創発」と呼ばれる、比較的に最近見つかった説です。AI、特に最近の言語モデルといわれているGPTは、徐々に賢くなると考えがちですが、実際には昨日までできなかった能力が、ある時突然グンと上がるという現象が発見されています。これが「能力創発」と呼ばれているもので、以前のAIは、論理能力や文章問題を解くことができませんでした。しかし、サイズを上げて大規模な学習をしたところ、ある日突然、それまでできなかったことができるようになるだろうと研究者たちは考えています。この二つの説は、生成AI、スケーリング則という単語が生まれる前から同じような考え方がありました。そのため、現在の半導体（GPU）を大量に買い込んで、莫大な計算資源で学習して性能を上げる開発レースが行われているのです。
リチャード・サットン先生という私の研究分野である強化学習の大先生、長老みたいな方が書いた「Reinforcement Learning』という世界的な教科書、実は私が翻訳者の一人ですが、この中で、「AIの研究は計算を活用する一般的な方法が最終的には最も効果的である」と書かれています。それはムーアの法則に依存しているからということですが、「何か難しく考えて、自分がやりたい分野の専門家を連れて来て、ドメイン知識を組み込んで、すごいものを作ろうとする、しかし、そういうことは実は意外と役に立たないんじゃないか」と述べています。そうではなく、「ひたすら人工知能を拡大する計算資源にまかせて、人工知能の巨大化によって、自動的に解決方法が見つかる。こういうアプローチの方が多分機能するだろう。」と、2019年に述べています。この考え方は、実は当たっています。つまり、現在の人工知能研究というのは、どれだけお金をかけたかという開発レースになっていますが、これはアカデミア（大学や研究機関）にとってはおもしろくない話です。一方で、たったそれだけの単純なことで、すごい成果がどんどん出てきている、というのが生成AI開発の最先端の状況になります。
言語を極める生成AI―知能の限界を超える進化
現在の生成AIがどれぐらいのことができるのか、特に言語に関する部分に焦点を当ててお話しします。
2023年の時点で、生成AIは30近い言語を使用可能になっており、医師国家試験や司法試験にも合格できるレベルに達していることが確認されています。この時点で、どう考えても、地球上のどんな個人よりも賢いと思います。1000万文字ぐらいの文章であれば数秒で読めます。日経新聞の朝刊が約20万文字と言われていますので、日経新聞50部くらいであれば、数秒で読解できるという計算になります。もちろん読み飛ばしているわけではなく、すべての内容を正確に理解することができるのです。
さらに最近では、博士号を取得した人並みの推論能力にまで辿り着いています。そして2023年末には、数学の世界最高峰の賞であるフィールズ賞を獲っているような人達が本気で「これはAIには解けないだろう」と考える問題ですら、結構解けるようになってしまったということが、一番注目されている状況です。
生成AIの進化速度
ここに表示しているスライドは、昨年の夏に文部科学省の有識者会議で、文部科学省の担当者から「今までのAIの発展をまとめて欲しい」と依頼されて作成したものです。これは昨年の春から夏のたった数ヶ月の進展内容です。しかし、特に覚える必要はありません。なぜかと言うと、生成AIというのは数ヶ月経つと全く別の世界になるからです。
一方、こちらの内容は、昨年の9月から10月頃、のものです。先程出ましたような博士号取得者並みの推論能力を持つ生成AIが登場し、日本語に特化したものも数多く発表されました。しかし、それもですね、今では古いです。昨年の後半以降、講演の機会を色々といただいて、毎回スライドを準備しますが、スライドを準備するたびに、次の講演の頃には、スライドが古くなっているという状況が続いています。
