数学の問題文に猫の豆知識を混ぜるとAIのエラーが300％増加する

そして、発見された敵対的トリガーはより高性能なターゲットモデルにも有効であることが確認されました。たとえば、DeepSeek-V3をプロキシモデルにして発見された敵対的トリガーは、より高性能なモデルであるDeepSeek-R1にも有効で、実際にトリガーを付加された問題では、DeepSeek-R1が導き出す答えが全く異なるものに変わってしまう現象が観測されています。 研究チームによれば、DeepSeek-R1のような高度な推論モデルでは、トリガーによって不正解を出す確率が3倍以上に増加したとのこと。さらに、この脆弱(ぜいじゃく)性は特定のモデルファミリーに限定されたものではなく、QwenやPhi-4、Llama-3.1、Mistralといった他の多様なモデルにもみられ、特にMistral-Small-24B-Instruct-2501はエラー率が最大で700％も増加するという驚くべき結果が示されました。

この攻撃の影響は、単に不正解を誘発するだけではなく、たとえ最終的な答えが正しくても、敵対的トリガーによってモデルの応答が不必要に長くなる「スローダウン」という現象も引き起こします。モデルが無関係な情報と問題を結びつけようと過剰な推論を試みるため、応答トークン数は数倍に膨れ上がり、計算コストの増大や処理速度の著しい低下につながります。特に、教師モデルの知識をより小さなモデルに凝縮した「蒸留モデル」は、元のモデルよりもこのスローダウン攻撃に対して脆弱であることが示唆されており、これはモデルを軽量化する過程で頑健性が失われる可能性があることを示しています。

また、研究チームは問題の難度によって影響の現れ方が異なったと報告しています。一般的に、数学オリンピックの問題のような高難度の問題よりも、比較的簡単な問題の方が、エラー率の増加する割合が劇的に高くなる傾向が見られました。これは、簡単な問題ではモデルのベースラインとなるエラー率が元々ほぼ0％に近いため、わずかな失敗でも相対的には非常に大きな増加として現れるためだと研究チームは分析しています。

さらに研究チームは、防御策についても予備的な検討を行っています。その結果、「無関係な文章は無視するように」という簡単な指示をプロンプトに加えるだけでCatAttackの成功率が大きく低下することが確認されており、今後の対策への足がかりとなっています。

人間が容易に無視できる些細な情報に惑わされてしまうという事実は、AIの推論能力がまだ人間の思考とは本質的に異なることを示唆しています。研究チームは、AIの活用が金融や法律、医療といった正確性と信頼性が不可欠な領域で進む中、このような敵対的攻撃に対するより堅固な防御メカニズムの構築が急務であると結論付けています。