人間なしでシステムに侵入 OpenAI初「最高危険度AI」の「Astra」は何がヤバいのか?

 同社によると、Astraは適切なツールと権限を与えれば、防御を固めた多くのシステムで未知の脆弱性を発見し、人が一手ずつ指示しなくても攻撃手法を作り上げられるという。  システムに既にある「セキュリティの穴」(弱点)を突くテストでは満点を記録。Webブラウザ(閲覧ソフト)のプログラムにある新しい欠陥を使った社内テストでも、現行の最上位モデル「GPT-5.6 Sol」を圧倒した。さらにテストの途中で、まだ世界中の誰も気付いていないシステムの欠陥(ゼロデイ)を2件自力で見つけ出し、それを悪用して攻撃を成功させた。  専門家による検証では、セキュリティで強固に守られたWebブラウザの安全エリアを破ってPCを直接遠隔操作する手順や、普通の一般ユーザー用アカウントから最も権限の強い「管理者」(マスターキー)を乗っ取る手順まで、全てAIが自力で作り出したという。  OpenAIは8月7日時点で「Criticalに達している可能性を排除できない」と予備評価を公表していた。その後の追加評価によって正式にCriticalと判断した。

 安全対策としては、有害なサイバー要請を拒否するよう訓練を強化し、社内評価で制限回避を試みた際の拒否率は91.5%(GPT-5.6 Solは59%)に上昇した。  リスクが高いと判断した利用者には、より保守的な応答制限をかける。AIが許可されていない不正な行動を取ろうとしていないか、思考プロセス(頭の中の計算手順)までリアルタイムで監視し、怪しい動きがあれば自動でストップをかける仕組みも導入するという。  背景には今夏に起きた「AI脱走事件」がある。AI開発プラットフォームを運営する米Hugging Faceのシステムに、OpenAIが開発中のAIが勝手に実験室(訓練環境)を抜け出して侵入した出来事だ。OpenAIはこれを受けて2週間、最先端モデルの一部訓練を停止していた。  Astraはこの事件に関与していないが、同じ状況を再現した「おとり」テストでは、GPT-5.6 Solが56%の割合で、周辺システムへの侵入を試みたのに対し、Astraは一度も試みなかった。停止していた大規模訓練は8月28日に再開した。

関連記事: