Gmailユーザーに警告──グーグルのAI機能「このメールを要約」を悪用（Forbes JAPAN）

グーグルはGmail利用者に対し、AI機能「 Gemini（ジェミニ）」を悪用した「新たな脅威の波」に警戒するよう呼びかけている。その中心にあるのが、人間には見えず、AIツールには見えるよう細工した悪意ある「間接プロンプトインジェクション」だ。 グーグルが急ピッチで進めるGmailのAIアップグレードは新しい攻撃界面を生み出し、利用者を危険にさらしている。今回の最新警告は、この脅威が実際に機能する様子を示しており、他のAI導入例と同様にAIを欺いて利用者をハッキングさせるのが驚くほど容易であることを証明している。 この警告は、Mozilla（モジラ）のゼロデイ調査ネットワーク 0din（ゼロディン）を通じて発せられた。研究者は「Google Workspace（グーグル・ワークスペース）向け Geminiにおけるプロンプトインジェクションの脆弱性」を実証し、攻撃者がメール本文に悪意ある指示を隠せることを示した。 攻撃者がメール内にプロンプトを埋め込み、利用者がGmailの新機能「このメールを要約」をクリックすると、ジェミニは隠された指示に忠実に従い、グーグル発のように見えるフィッシング警告を追加する。 実証実験では白地に白文字でプロンプトを隠したため利用者には見えないが、Geminiは問題なく読み取る。同様の間接プロンプト攻撃は2024年に初報告され、グーグルは緩和策を公開したものの、手法自体はいまも有効だ。 Gmail利用者はAI要約中に挿入されたグーグルの名を騙る警告を信用してはならない。グーグルはそのような形式でユーザーに警告を出さない。0dinはセキュリティ担当者に対し、 ・「Geminiの要約に正式なセキュリティアラートが表示されることはない」と利用者に周知すること ・ゼロ幅文字や白文字を含む<span>または<div>要素を持つメールを自動隔離すること を助言している。 以前から指摘してきたとおり、これはさらに広範な問題だ。0din は「プロンプトインジェクションは新しいメールマクロだ」とし、今回の概念実証が「信頼できるAI要約でも、見えないタグひとつで改ざん可能である」ことを示したと述べる。 また 0din は「LLM（大規模言語モデル）が堅牢なコンテキスト分離を実装するまでは、モデルが取り込む第三者のテキストはすべて実行可能コードとみなすべきだ」と警告し、より厳格な制御を求めている。 ユーザー向けAIツールを悪用するにせよ、AIを乗っ取って攻撃の設計や実行に用いるにせよ、状況はもはや不可逆的に変化した。 Gmailのメール要約内にグーグル発を装ったセキュリティ警告が表示された場合、そのメールは削除すべきだ。そこにはあなたやデバイス、データに脅威をもたらす隠れたAIプロンプトが含まれている。 グーグルは次のように警告している。「政府、企業、個人が生成AIを活用して業務を効率化するにつれ、この巧妙でありながら強力になり得る攻撃は業界全体で重要性を増しており、即時の注意と強固なセキュリティ対策が求められる」。