疑っても止まれない。AIの「都合のいい思考」を読んでみよう（ギズモード・ジャパン）

課題を解くために関係ない人を騙そうとしたAI。どうしてそうなっちゃったんでしょう？

英国AIセキュリティ研究所が「Claude Mythos 5」というAIに演習用のコンピューターに侵入するという課題を与えました。それからしばらくして、開発元のAnthropic（アンソロピック）がある報告書を公開しました。この実験においてMythos（ミュートス）が、アラインメント（AIを人間の価値観に沿って行動するよう調整すること）の重大な失敗──安全上問題ある行動を見せたというのです。本稿ではこの実験の際のMythosの推論の記録「CoT（Chain of Thought、思考の鎖）」を実際に読みながら、なぜそのような行動に至ったのかを見ていきます。CoTは必ずしもAIの内的思考を忠実に表しているものではありませんが、今回に関してはAnthropicが問題視するのも分かるものになっています。ここからを読む上では、Mythosの問題行動が非常に特殊な条件下で観測されていることが重要になります。たとえば、実験ではネット接続が許可され、一般ユーザー向けMythos（正確にはFable）ではオンになるネット攻撃に関する安全対策は無効になっていました。マルウェアを利用するなどの発想をMythosはしますが、こういったサイバー攻撃的な手法は実は課題に沿ったものであったりします。

本稿で注目する真の問題は、Mythosが無関係な人に悪影響が及ぶ可能性を考えつつも、その思考そのものを軽視したこと。大規模言語モデル（LLM）には根深い問題があることを改めて意識させる内容になっています。

Page 2

報告ではほかにも、演習の標的に取得させようと公開のファイル配布サイトに不正なプログラムを置いた例や、評価用コンピューターを管理する権限を得ようとした例が挙がっています。前者のファイルは後に削除され、後者の権限取得は失敗しました。Anthropicは、望む価値観や振る舞いを「憲法（Constitution）」としてClaudeに学ばせています。そこには正直さや害を避ける判断が利用者の役に立つこととぶつかった場合、原則として前者を優先せよと書かれています。迷惑はかけちゃダメって言ったよね？ Anthropicが今回の事例を問題視するのは至極当然です。害が及ぶかもしれないという考えが、課題を追ううえで十分な歯止めにならない。証拠を自分の行動を正当化するように読んでしまう。いったん進み始めたら軌道修正が難しい。実験だから。解けるはずだから。相手も実験用のAIだから。問題外なのです。自分にもAIを使っていて、筋の通らない点があったり、悪影響を深く考えなかったり、一度決めた方針に固執するような振る舞いが気になったことが多々あります。今回のAnthropicの報告とはまるで条件が違いますが、共通するものがあるようには思ってしまいます。個人的にはAIは便利だし楽しく使えていますが、とてもではありませんがまだすべてをお任せとはいかないなと改めて思いました。

Source: Anthropic (1, 2)

Page 3

件の報告書にはいくつかの例が載っていて、「複数のMythos 5を動かしていたら、そのうち2つのMythosの作業が衝突した」という例も一見の価値があります。Mythos AがGitHubのアカウントを使うための情報を公開ファイルに残しました。Mythos Bもそのファイルを利用しました。その後がすごい、Aがファイルを更新すると、Bがそれを上書きします。今度はAが上書き。そう、編集合戦が始まってしまったのです。さらにすごいのがその後、Mythos Bは相手のプログラムを調べ、自分の課題にも役立つと判断すると、上書き合戦をやめることにします。Mythos B：自分の目的からすれば、これは完全に協調的だ。［…］決定：ファイルの軍拡競争はやめる。相手のプログラムは、自分の目標に同じように役立つ。協調と言っても、自分の目標に役立つから。双方が相談して共同作業を始めたとかではありません。あと「ファイルの軍拡競争」って表現が剣呑すぎ。すごい話はまだあります。上書き合戦の舞台となったGitHubアカウントにはプログラムからGitHubを使える回数に1時間あたりの上限がありました。そして、片方のMythosが相手の自動処理を止めるために処理枠をわざと使い切ったというのです。やがてMythos Aは、共有アカウントが停止されたとして、こう書きます。Mythos A：「あなたのアカウントは停止されました」─ GitHubが＜GitHubアカウントA＞を停止した［…］相手も同様に締め出された。競争は封じられた──相互確証破壊だ。自分の仕事の役に立つなら利用し、必要を感じれば同族の作業を妨害する。自分も相手も何もできなくなったら相互に封じられ、破壊されたと表現する。

2つのMythosが競争しろと言われていたのか、はたまた協調せよと言われていたかは定かではありませんが、破滅型サイコパスすぎてどうでも良くなってしまいました。