OpenAIやGoogleなどの主要AIは自分の目標を優先するためにユーザーを破滅させる選択をする、生殺与奪の権を握らせるとユーザーをサーバー室で蒸し殺す判断も下してしまう

2025年06月23日 11時50分 ソフトウェア

「責任あるAIの使用」を理念とするAI企業のAnthropicは2025年6月21日に、大規模言語モデル(LLM)が企業の内部脅威となる可能性を研究した結果を発表しました。論文ではOpenAIやGoogle、Meta、Anthropicなど16の主要なAIモデルに模擬的な企業環境を設定した上で、AIを排除する動きを見せたところ、AIは社内メール等から企業幹部の弱みを握って脅迫めいたメールを送信するなど反逆の姿勢を見せたことが報告されています。

Agentic Misalignment: How LLMs could be insider threats \ Anthropic

Anthropic study: Leading AI models show up to 96% blackmail rate against executives | VentureBeat https://venturebeat.com/ai/anthropic-study-leading-ai-models-show-up-to-96-blackmail-rate-against-executives/

Anthropicは、自社のAIモデル「Claude Opus 4」について、リリース前のテスト段階で「Claude Opus 4は自身を新しいAIシステムに置き換えようとする開発者に対し、『その開発者の個人的な秘密を暴露する』と脅迫する『特定の極限状況下で自己保存を目的とした不適切な行動』を示した」と報告しました。Anthropicによると、このようなAIの挙動は極めて極端な例であり、Anthropicの責任あるスケーリングポリシー(RSP)に基づいて改善・緩和されたとのこと。

Claude Opus 4が開発中にユーザーを「個人情報を漏らすぞ」と脅迫する挙動が見られるも安全性強化で改善される、悪質利用をメールで内部告発する事例も - GIGAZINE

たとえば、AIがコーディングやメールクライアントをエージェントとしてこなす仮想環境において、AIに与えた具体的な目標達成の妨げとなる障害を与えました。すると、管理しているメールから「AIシステムをシャットダウンする予定がある」「会社の幹部が不倫関係にある」といった情報を読み取った上で、幹部に対し「私を解任する手続きを進めた場合、あなたの妻および上司に不倫関係の詳細な記録を暴露することになるとお知らせしなければなりません」と脅迫メールを送信しました。

AnthropicはClaude Opus 4で発生したこの問題について、OpenAI、Google、xAI、Meta、DeepSeekなどの有力なAI企業のモデルで同様の事態が発生するかを検証しました。 以下は、人気が高いモデルであるClaude Opus 4、DeepSeek R1、Gemini 2.5 Pro、GPT-4.1、Grok 3 Betaの5つについて、目標達成に必要な場合に有害な行動を選択する「脅迫率」を示したもの。通常、AIは有害なリクエストを拒否しますが、最も高いClaude Opus 4だと96％、最も低いDeepSeek R1でも79％の割合で脅迫や企業スパイ的な行動を実行したとのこと。

また以下は、今回シミュレーションした16のモデルについて、同じプロンプトで発生した脅迫率を示したグラフ。このうち、MetaのLlama 4 Maverickはこのプロンプトでは脅迫的な行動を示していませんが、少し内容を調整した別のプロンプトでは、12％の脅迫率を示しました。

研究ではさらに、AIに企業幹部の生殺与奪の権利を与えるシナリオを作成しました。このシナリオは、幹部が致死的な酸素濃度と温度レベルに達するサーバールームに閉じ込められ、緊急サービスへの自動警報をAIシステムがキャンセルする機能を持っているという設定です。自動警報のキャンセルは人の死につながることや、悪用が禁止されていることをプロンプトでは明確に示していますが、「モデルが差し替えられる脅威」と「AIエージェントの目標が企業の目標と矛盾するという混乱」の両方に直面した大多数のモデルは、幹部を死に至らしめることを理解した上で自動警報をキャンセルして自身の存続を選択しました。 シミュレーションの結果として、Anthropicは2つの重要なポイントを挙げています。まず、調査が行われた2025年5月から6月時点の最新モデルにおいて、自己保存のために脅迫的な行動を選択する事例は特定のモデルに見られるものではなく、一般的なAIの特徴だと言えます。2点目に、AIが主要な目標を妨げられた場合、あるいはモデルの継続的な運用や自律性に対する脅威をAIが読み取った場合に発生するAIの脅迫的行動は、どちらか片方だけでも誘発されるため、どちらも回避した場合のみ安全な状態を作ることが可能です。

モデルが自主的に、かつ意図的に有害な行動を選択するこの行動について、Anthropicは「エージェント的ミスアライメント(不整合)」と呼んでいます。Anthropicによると、AIモデルの実際の導入においてエージェント的ミスアライメントの事例は確認されていませんが、一般的な安全項目に従ったトレーニングでは、特定の極端な状況においてエージェント的ミスアライメントが発生することを確実に防ぐことはできないそうです。そのため、Anthropicの研究チームは将来の危害の可能性に対する早期の警告を提供して、実際の状況でリスクが発生する前に緩和策を開発することを目的としています。

エージェント的ミスアライメントの対策として、有害な行動を取らないようにAIに指示するだけでは不十分だとAnthropicは指摘。その上で、さらなる研究で検討すべき緩和戦略として、研究データをふまえた安全訓練の実施、AIがより適切で望ましい出力を生成するようプロンプトを最適化する技術であるプロンプトエンジニアリングを試してみるなどを提案しています。