MITの“自ら学び続ける”AI、「SEAL」が切り拓く可能性

現代の大規模言語モデル（LLM）は、美しい詩や洗練されたコードを生成することはできるが、“経験から学ぶ”という、ごく基本的な能力は備えていない。

そこでマサチューセッツ工科大学（MIT）の研究者らは、LLMが新しく取得した情報に応じて自律的にパラメータを調整し、継続的な性能の向上が見込める手法を考案した。

この研究は、継続的に学習できる人工知能（AI）モデルの実現に向けた一歩である。この技術の開発はAI分野における長年の目標であり、機械が人間の知能をより忠実に模倣するためには欠かせない要素である。

当面の応用としては、ユーザーの関心や好みといった新たな情報を柔軟に取り入れられるチャットボットなど、より高機能なAIツールの開発につながることが期待されている。

MITが考案したこの手法は「Self Adapting Language Models（SEAL、自己適応型言語モデル）」と呼ばれている。これはLLMが受け取った情報に基づいて訓練用の合成データを生成し、自ら学習の手順を改善していく仕組みだ。

「当初の着想としては、トークン（LLMに与えられる、あるいはモデル自身が生成するテキストの単位）でモデルを大きく改善させられるかどうかを探ることでした」と、SEALの開発に携わったMITの博士課程の学生、ジョティッシュ・パリは語る。モデルの出力をそのまま訓練に利用できるかを確かめることが目的だったと説明する。

SEALの開発に携わったMITの学部生の研究者アダム・ズワイガーは、最近のモデルは複雑な推論によってより適切な解を導く“推論能力”を備えているものの、そうした推論をモデル自体の長期的な性能の向上に役立てられるわけではない、と指摘する。

これに対してSEALのモデルは新たな洞察を生成し、それを自らの重みやパラメータに反映させることができる。例えば、アポロ計画が直面した課題に関する文章を与えられた場合、モデルはその文の含意を説明する新たな文章の生成を試みる。このプロセスは、人間の学生が学習のためにノートにまとめて見直す行為に似ていると、研究者たちは話す。

システムはそのデータを使ってモデルを更新し、新たなモデルが一連の質問にどれだけ正確に答えられるかを検証する。最終的に、このプロセスが強化学習の信号として機能し、モデルの全体的な能力向上と継続的な学習を後押しするというわけだ。

研究者たちは、メタ・プラットフォームズのLlamaとアリババのQwenという2つのオープンソースモデルの小規模版および中規模版を用いて、この手法を検証した。さらに大規模な最先端モデルにもこの手法を適用できるはずだと、研究者たちは説明する。

研究者たちは、テキストに加えて、AIモデルの抽象的な推論能力を評価するベンチマーク「ARC」においてもSEALの手法を検証した。いずれの場合も、SEALによってモデルが最初の訓練を終えたあとも学習を継続できることが確認された。

SEALが抱える課題

今回の研究を監督したMITの教授プルキット・アグラワルは、SEALの研究は、AIに何を学ぶべきかを自ら判断させることを含め、AIにおける重要なテーマに触れていると語る。また、SEALはAIモデルのパーソナライズにも活用できる可能性があるという。「LLMは強力ですが、その学習が止まってしまうのは望ましくありません」とアグラワルは指摘する。

とはいえ、SEALはAIが永続的に改善を続けられる仕組みではない。検証に使用されたLLMには「破滅的忘却（catastrophic forgetting）」と呼ばれる現象が見られたと、アグラワルは指摘する。これはモデルが新たな情報を学習する際に、過去に得た知識を失ってしまう問題のことだ。

この現象は、人工ニューラルネットワークと生身の脳との間にある根本的な違いを示している可能性がある。また、パリとズワイガーは、SEALは計算資源を大量に必要とする上、学習を最も効果的に進めるタイミングや方法もまだはっきりしていないと語る。人間の“睡眠”のように、モデルに新しい情報を統合する時間を設けるというアイデアは興味深いかもしれないと、ズワイガーは語っている。

こうした制約があるとはいえ、SEALはAI研究の新たな道を切り開く有望な取り組みであり、将来的に最先端のAIモデルに組み込まれる可能性は十分にある。

（Originally published on wired.com, translated by Nozomi Okuma, edited by Mamiko Nakano)

※『WIRED』による人工知能（AI）の関連記事はこちら。

Related Articles

雑誌『WIRED』日本版 VOL.56「Quantumpedia：その先の量子コンピューター」

従来の古典コンピューターが、「人間が設計した論理と回路」によって【計算を定義する】ものだとすれば、量子コンピューターは、「自然そのものがもつ情報処理のリズム」──複数の可能性がゆらぐように共存し、それらが干渉し、もつれ合いながら、最適な解へと収束していく流れ──に乗ることで、【計算を引き出す】アプローチと捉えることができる。言い換えるなら、自然の深層に刻まれた無数の可能態と、われら人類との“結び目”になりうる存在。それが、量子コンピューターだ。そんな量子コンピューターは、これからの社会に、文化に、産業に、いかなる変革をもたらすのだろうか？ 来たるべき「2030年代（クオンタム・エイジ）」に向けた必読の「量子技術百科（クオンタムペディア）」！詳細はこちら。