「GPT-6 AstraがQwen3.5-0.8Bの重みを書き換えて数学性能を約6倍に改善した」との研究結果、ただし「誤解を招く」との批判も

2026年11月04日 12時30分 AI

マサチューセッツ工科大学(MIT)の研究チームが、AIモデル「GPT-6 Astra」を使って別のAIモデル「Qwen3.5-0.8B」の内部パラメーターを書き換え、数学問題の正答率を7.9％から48.1％に改善したと報告しました。追加学習を行わずに全体のわずか0.016％のパラメーターを変更したことによる成果ですが、研究の説明が誤解を招くとして批判する声も上がっています。

Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights

MITのコンピューター科学・人工知能研究所(CSAIL)に所属する武樋力哉氏らの研究チームは、2026年11月2日に「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」と題する研究報告を公開しました。

AIのニューラルネットワークは「重み」と呼ばれる大量の数値を使って情報を処理しています。一般的にAIモデルの性能を改善するには追加のデータを使って学習を繰り返し、重みを調整する必要があります。研究チームは大規模言語モデル(LLM)に重みを直接解析・編集させる「Weight-Space Programming(重み空間プログラミング)」という手法を提案しました。 研究チームはGPT-6 Astraを使い、ニューラルネットワークの重みから学習内容を推測したり、重みを書き換えて動作を改善したりする実験を実施しました。 最初の実験では「ブロック崩し」「Pong」「パックマン」「Freeway」の4種類のゲームを学習させたニューラルネットワークを用意しました。いずれも同じ構造で、1万7253個の重みを持っています。Astraに重みの数値とネットワークの入出力に関する情報を与えたところ、ゲーム名を教えていないにもかかわらず、4種類すべてを正しく特定できました。

別の実験では、車を操作して坂を越えるゲームを用意しました。従来の強化学習で訓練されたAIは、坂に向かって前進するだけで途中で停止してしまい、課題を達成できませんでした。そこでAstraにニューラルネットワークの重みと失敗時の動作を見せて修正を求めたところ、全体の3.5％の重みを書き換え、車をいったん後退させてから加速する動作に変更しました。修正後のAIは1024回の試行すべてで課題を達成したとのこと。

さらに研究チームは、ゲームのルールに基づいてAstraにニューラルネットワークの重みをゼロから作成させる実験も行いました。その結果、Astraが生成したネットワークは3種類のゲームすべてで、1億ステップの強化学習を行ったネットワークよりも高いスコアを記録しました。 研究チームは実験の規模を拡大し、AlibabaのAIモデル「Qwen3.5-0.8B」の性能改善にも挑戦しています。約8億個のパラメーターを持つQwen3.5-0.8Bには、推論中に同じ内容を繰り返してしまい、回答を完了できなくなる問題がありました。 AstraにはQwen3.5-0.8Bの重みを操作できるPython環境が与えられ、数学の練習問題を使ってモデルの動作を確認することが認められました。Astraは最大50回の評価機会を利用して問題を調べ、ニューラルネットワークの特定の層が書き込むある特定の方向に繰り返しの原因があると判断しました。

そして、約8億個のパラメーターのうち0.016％に相当する13万1072個の重みを変更しました。修正前のQwen3.5-0.8Bは数学問題のベンチマーク「MATH-500」で7.9％の正答率でしたが、修正後は48.1％まで改善しています。別の数学ベンチマーク「GSM8K」でも13.8％から67.1％に向上し、指示への追従能力を測定する「IFEval」のスコアも21.0％から62.3％に改善しました。

一方で、推論の繰り返しがほとんど発生しない「Gemma 3 270M」に対して同様の手法を試した実験では明確な性能改善は確認できなかったことから、研究チームは重みの編集は能力を覆い隠している障害を取り除くことはできても、モデルが持たない能力を加えることはできないと結論づけています。 研究チームは、Weight-Space ProgrammingによってAIモデルの追加学習に必要な計算資源を削減できる可能性があると指摘しています。また、将来的にはAIが自分自身の重みを解析・修正することで、AIの自己改善にも応用できると期待を示しました。 しかし、自然言語処理ライブラリ「spaCy」の開発者であるマシュー・ホニバル氏は、2026年11月3日に公開したブログ記事で、研究チームの成果の説明が「誤解を招く」と批判しました。

The 'Astra can read and write weights to improve Qwen' post is misleading · honnibal.dev

ホニバル氏は、研究チームが紹介する複数の実験で実際には異なる手法が使われていることを問題視しています。例えば、ゲームの種類を特定する実験では、Astraは重みの数値を直接読み取るだけで正解を導き出しています。車の動作を修正する実験でも、Pythonなどの外部ツールを使わずに重みを書き換えました。 これに対し、Qwen3.5-0.8Bの性能を改善した実験では、AstraがPythonプログラムを作成して重みを解析・編集しています。さらに、最大50回にわたり練習問題を解かせ、その結果を確認することも認められていました。ホニバル氏は「重みの数値を直接読み取る実験」と「プログラムを使って大規模なAIモデルを改善する実験」を同じ能力の証拠として扱うことに疑問を呈しています。 ホニバル氏は「Qwenの実験結果が実際に示しているのは、Astraが人間の機械学習エンジニアと同じような作業を考案し、実行できるということです」と指摘。人間の機械学習エンジニアがプログラムを書いてニューラルネットワークの重みを直接解析・変更することは日常的に行われており、Astraがまったく新しい手法を発見したわけではないとしています。 ホニバル氏はAstraがQwenの性能を改善した成果自体は評価しています。しかし、プログラムを使って重みを解析・修正する能力と、重みの数値を直接読み取ってその意味を理解する能力は別物であり、両者を混同させるような研究成果の説明には問題があると指摘しています。その一方で、ホニバル氏は「これらの作業を効果的に実行する方法を見つけ出したことは、決して無意味ではありません。1～2年前のAIモデルであれば、こうした作業はすべて失敗していたでしょう」とも述べ、Astraの能力向上については評価しました。 なお、研究チーム自身も、記事作成時点だとWeight-Space Programmingには処理できる情報量やツールの制約があり、実用化に向けて課題が残っていることを認めています。