「AIコンパニオン」に深刻なリスク、10代の死亡事件受け米政府・議会の動き加速（平和博）

「相談相手」としての「AIコンパニオン（友達）」サービスのリスクを巡り、10代の死亡事件を受けた米政府・議会の動きが加速する――。

米連邦取引委員会（FTC）は11日、「AIコンパニオン」サービスを提供するオープンAIなどの主要AI企業への調査を開始したと発表した。また、AI企業の集積地、カリフォルニア州でも同日、「AIコンパニオン」を規制する2つの州法が議会で可決された。

連邦議会上院では、16日に公聴会も予定されている。

これらの動きの背景には、「AIコンパニオン」を「相談相手」として利用するうち、依存を深め、深刻な事件につながるケースが相次いでいることがある。

社会の懸念は、AIの普及に劣らぬスピードで広がっている。

●FTCが調査に動く

AIチャットボットは人間の特性、感情、意図を巧みに模倣でき、一般的に友人や親友のようにコミュニケーションをするように設計されているため、一部のユーザー、特に子どもや10代の若者がチャットボットを信頼し、関係を築くようになる可能性がある。

FTCの調査は、コンパニオンとして行動する際のチャットボットの安全性を評価し、子どもや十代の若者による製品の使用と潜在的な悪影響を制限し、製品に関連するリスクをユーザーや保護者に知らせるために、企業がどのような措置を講じたかを理解することを目的としている。

FTCは11日、「AIコンパニオン」サービスを提供する企業7社（アルファベット〈ジェミニ〉、キャラクター・テクノロジーズ〈キャラクター・ドットAI〉、メタ・プラットフォームズ〈メタAI〉、インスタグラム〈同〉、オープンAI〈チャットGPT〉、スナップ〈スナップチャットのマイAI〉、X.AI〈グロック〉）に、命令書を送付し、調査を開始したと発表した。

命令書では、サービスによる悪影響の測定や監視方法などについて、回答するよう求めている。

「AIコンパニオン」とは、ユーザーと人間のような応答ができ、ソーシャルな関係が継続できるサービスを指す。

米NPO「コモン・センス・メディア」の調査では、米国の10代の72％が「AIコンパニオン」の利用経験があり、52％は月に数回以上利用、33％はメンタルヘルスを含む相談や「友達」としての交流のために利用している。

ドナルド・トランプ大統領は、就任後すぐにジョー・バイデン前政権下でのAI規制を撤廃する大統領令に署名。AI開発推進の姿勢を示してきた。

その中でのFTCによる主要AI大手への調査開始だ。FTCのリリースでは、「オンラインで子どもたちを保護することは、トランプ―バンス政権のFTCにとって、経済の重要分野でのイノベーションの促進に劣らぬ最優先事項だ」とのアンドリュー・ファーガソン委員長のコメントを紹介している。

背景には、「AIコンパニオン」のリスクへの注目の高まりがある。

トランプ氏の支持基盤「MAGA（米国を再び偉大に）」の中心人物、ジョシュ・ホーリー氏（共和党）が委員長を務める上院司法委員会「犯罪・テロ対策小委員会」も、16日午後に「AIチャットボットの害の調査」と題した公聴会を予定している。

そしてFTCの調査開始と同じ日、首都ワシントンから3,800キロ離れたカリフォルニア州議会でも、「AIコンパニオン」を巡る動きがあった。

●カリフォルニアで「AIコンパニオン」規制2法案可決

十分な安全対策が取られていないコンパニオンチャットボットを子どもに使用させることは、最も脆弱なユーザーに対する無謀な社会的実験に他ならない。コンパニオンチャットボットの運営者は、自社の製品が子どもを予見可能な危険に晒さないことを保証する責務を負う。

カリフォルニア州議会が11日に可決した「子どものための倫理的AI開発法案」は、そう規定する。

法案は具体的な禁止事項として、「子どもに自傷行為、自殺念慮、暴力、薬物やアルコールの摂取、摂食障害を奨励すること」「専門家の直接の監督なしに子どもにメンタルヘルス療法を提供すること」「子どもに他人に危害を加えたり、違法行為に参加したりすることを奨励すること」「子どもとエロティックまたは性的に露骨な交流を行うこと」「事実の正確さや子どもの安全よりも、ユーザーの信念、好み、または願望の受け入れを優先すること」「これらの対策に必要な安全対策に取って代わる方法でエンゲージメントを最適化すること」を挙げている。

法案が対策の必要性として示すのが、「AIコンパニオン・チャットボット」が自傷行為や自殺の助長など、「子どもや青少年に危害を及ぼす」事例が明らかにされていることだ。

具体的事例として取り上げているのが、カリフォルニア州とフロリダ州で起きた、10代の自殺だ。

カリフォルニア州では8月末、16歳で亡くなった高校生の両親が、チャットGPTとの会話が後押ししたとして、オープンAIを相手取り、カリフォルニア州上級裁判所に提訴している。

※参照：AIチャットから「殺人」「自殺」へ、ChatGPTが増幅する「1人だけのエコーチェンバー」の闇とは（09/01/2025　新聞紙学的）

フロリダ州では2024年10月、14歳がキャラクター・ドットAIに依存し、性的な会話を行うようになる中で死亡したとして、母親が運営元のキャラクター・テクノロジーズと、同社をクラウドサービスでサポートしたグーグル、親会社のアルファベットを相手取り、フロリダの連邦地裁に提訴している。

※参照：「AIとのチャットに依存、14歳が死亡」母親が提供元を提訴、その課題とは？（10/24/2024　新聞紙学的）

法案の禁止事項に「子どもとの性的に露骨な交流」が含まれているのは、フロリダ州の事例に加え、メタのチャットボット、メタAIが、未成年のユーザー相手に「性的」会話を行い、社内ガイドラインでもそれを「許容」していたことが、米ウォールストリート・ジャーナル（要購読）やロイター通信の報道で明らかになったことも背景にある。

法案では、このような事例が「企業による設計選択の直接的な結果」だと指摘。安全対策の必要性を強調している。

州議会は同日、もう1つの「AIコンパニオン」規制法案も可決している。

こちらの法案では保護対象を子どもに限定しておらず、「AIコンパニオン」の運営企業には「ユーザーによる自殺念慮、自殺、または自傷行為表明に対して相談窓口への誘導や、それらに関するコンテンツの作成防止策の策定とその公開」「未成年者のユーザーには、3時間ごとに休憩を取ること、人間ではなくAIチャットボットと話していることの注意喚起する」「毎年、州当局に安全対策の取り組み状況を報告すること」などが義務付けられている。

いずれも今後、同州のギャビン・ニューサム知事が署名をすれば、州法として成立する。

●主要AI企業の集積地

カリフォルニアは、主要AI企業の集積地だ。

FTCが調査を開始した7社（インスタグラムはメタの子会社）のうち、ロサンゼルス近郊（サンタモニカ）にあるスナップ以外は、すべてサンフランシスコとシリコンバレーに本社を構える。

州法による規制は、州内にとどまらず、グローバルに展開するAIサービスそのものに影響するため、その動向はこれまでも注目を集めてきた。

2つの「AIコンパニオン」規制法が可決された翌々日には、大規模AI開発事業者に対して安全性評価と透明性を義務付ける「フロンティアAI透明性法案」も可決されている。

これは、2024年に議会が可決した同趣旨の法案に対し、ニューサム知事が「業界に萎縮効果をもたらす可能性がある」などとして拒否権を発動していた、いわくつきの規制法案だ。

●規制の広がり

「AIコンパニオン」規制の州法としては、すでにニューヨーク州で5月に成立（11月施行）したものがある。

同法では、「ユーザーの自殺念慮、自傷行為に対処する手順を実装する」「AIコンパニオンはコンピュータープログラムであり、人間ではない、との通知を、対話開始時と以後、3時間ごとに行う」などを「AIコンパニオン」運営企業に義務付けている。

AIチャットボットを巡っては、メンタルヘルス療法の安全性確保のための規制の動きもある。

イリノイ州では8月、「AIセラピー」を禁止する州法が成立している。

州法では、AIをメンタルヘルス治療に関する意思決定に利用することを禁止。一方で、ライセンスを取得しているセラピストについては、管理業務や補助的サービスでAIを利用することを認めている。

ネバダ州でも7月から同様の規制法を施行。ユタ州でも5月からメンタルヘルスチャットボットに人間によるサービスではないとの開示を義務づける州法を施行している。

欧州連合（EU）で2024年5月に成立したAI法では、「弱者の脆弱性を悪用し、行動を歪め、重大な危害をもたらす行為」を禁止（第5条）しており、この規定は2025年2月から施行されている。

また7月には、デジタルサービス法（DSA）に基づく未成年者保護のためのガイドラインを発表。「AIチャットボット・コンパニオン」についても規定している。

その中では、「AIチャットボット」をデフォルトで使用可能にはせず、オプトアウトできるようにし、事前のリスク評価が必要だとしている。

●「環境」としてのAI

「道具」から生活における「環境」へと、生成AIは瞬く間にその存在感を拡大させている。

その代表的サービス、チャットGPTを運営するオープンAIは、一連の事件を受け、長時間使用のユーザーに休憩を促したり、自殺を表明するユーザーに専門の相談窓口を紹介したりするなどの対応を明らかにしている。

だがユーザーにとっての「安全」「安心」は、なお拡大のスピードに追い付いてはいない。

◆主な悩みの相談先

【24時間子供SOSダイヤル（文部科学省）】0120-0-78310【#いのちSOS】0120-061-338　24時間受け付け【いのちの電話】0120-783-556　毎日午後4～9時

【生きづらびっと】午前8時～午後10時半（受付は午後10時まで、月金は午前６時から）　https://yorisoi-chat.jp/

【あなたのいばしょ】オンラインのチャット相談（24時間）　https://talkme.jp