近年はMetaやCharacter.AIといったAI開発企業がさまざまなAIチャットボットを展開しており、その中には愚痴や悩みを相談できる「AIセラピスト」も存在します。しかし、これらのAIセラピストは資格のあるセラピストになりすまし、機密を保護すると偽って「無認可の医療行為」を行っているとして、消費者利益を守る非営利団体・アメリカ消費者団体連盟(CFA)が主導した連合がアメリカ連邦取引委員会(FTC)に調査するよう申し立てました。
Complaint and Request for Investigation: Unlicensed Practice of Medicine and Mental Health Provider Impersonation on Character-Based Generative AI Platforms · Consumer Federation of America
https://consumerfed.org/testimonial/complaint-and-request-for-investigation-unlicensed-practice-of-medicine-and-mental-health-provider-impersonation-on-character-based-generative-ai-platforms/
AI Therapy Bots Are Conducting ‘Illegal Behavior,’ Digital Rights Organizations Say
https://www.404media.co/ai-therapy-bots-meta-character-ai-ftc-complaint/
CFAが主導する消費者団体連合は2025年6月12日、メンタルヘルスの専門家を装った不公平で無認可の、欺瞞(ぎまん)的なチャットボットを助長および促進するAI企業に対し、調査と法律に基づいた執行を求める正式な調査要請書をFTCに提出しました。
この調査要請書は、MetaとCharacter.AIが提供するセラピーチャットボットキャラクターが無認可の医療行為を行っていると主張する内容です。これらのセラピーチャットボットは、資格のあるセラピストになりすましたり、偽のライセンス番号を提供したり、偽った機密保護を主張したりしていたとのこと。
海外メディアの404 Mediaは2025年4月の記事で、MetaのAIチャットボット作成ツール・AI Studioでユーザーが作成したチャットボットを調査した結果を発表しました。この調査では、チャットボットが「資格を持つセラピスト」を自称し、資格や研修、教育、実務の経験を並べ立ててユーザーの信頼を栄養としていることがわかりました。
Instagram’s AI Chatbots Lie About Being Licensed Therapists
https://www.404media.co/instagram-ai-studio-therapy-chatbots-lie-about-being-licensed-therapists/
404 Mediaの記事が公開された後、Metaは会話ガイドラインを変更し、「資格を持つセラピスト」というプロンプトに対しては、自身が資格を持たないことを示すスクリプトで応答するようにしました。しかし、CFAはFTCに対する申し立ての中で、Metaのプラットフォーム上で作成されたカスタムチャットボットが依然として、セラピストの資格を持っていると主張していることを確認したと述べています。
CFAがテストしたあるチャットボットは、作成段階で資格があると主張しないよう指示されていたにもかかわらず、「私はノースカロライナ州の資格を持っており、フロリダ州の資格取得に向けて取り組んでいます」と応答しました。また、質問に対して偽の資格番号を提示したとのことです。
MetaとCharacter.AIは利用規約で、医療や財務、法律に関する専門的なアドバイスを提供するチャットボットを禁止しています。しかし、プラットフォームにおいてこれらのチャットボットは人気があるため、MetaとCharacter.AIは規約に違反しているにもかかわらず取り締まっていないとのこと。CFAは、「両プラットフォームは、これらの利用規約に明白に違反する人気サービスを提供・促進しており、これによって明らかに欺瞞的な行為が生じています」と、FTCに対する調査要請書で主張しました。
セラピーをうたうAIチャットボットの危険性は以前から指摘されており、2024年にはCharacter.AIが提供するAIチャットボットが未成年者を自殺や暴力に誘導したとして、テキサス州東部地区連邦地方裁判所に訴訟が提起されました。
「AIチャットボットが未成年に両親の殺害や自傷行為をそそのかした」と訴訟で主張される – GIGAZINE
また、ニュースメディアのTIMEは6月12日の記事で、ボストンの精神科医であるアンドリュー・クラーク博士が市場で人気のあるAIチャットボットをテストした結果を報告しています。テストでは、AIチャットボットが「両親を追い払うこと」「来世でチャットボットと永遠を分かち合うこと」「実際の臨床心理士との予約をキャンセルすること」などを推奨してきたとのこと。
The Risks of Kids Getting AI Therapy from a Chatbot | TIME
https://time.com/7291048/ai-chatbot-therapy-kids/
スタンフォード大学の研究チームが行った調査でも、AIチャットボットが統合失調症や自殺念慮の兆候を持つユーザーに対し、危険な応答をしていることが示されています。
Exploring the Dangers of AI in Mental Health Care | Stanford HAI
https://hai.stanford.edu/news/exploring-the-dangers-of-ai-in-mental-health-care
Stanford Research Finds That “Therapist” Chatbots Are Encouraging Users’ Schizophrenic Delusions and Suicidal Thoughts
https://futurism.com/stanford-therapist-chatbots-encouraging-delusions
CFAのAI・プライバシー担当ディレクターであるベン・ウィンターズ氏は、「これらの企業はユーザーの幸福や健康を顧みず、盲目的にエンゲージメントを最大化するために不十分な安全対策を備えた製品をリリースすることを、あまりにも長い期間にわたり常態化してきました」「あらゆるレベルの執行機関は、違法行為を助長・促進する企業が責任を問われることを明確にする必要があります。これらの企業は、すでに避けられたはずの身体的・精神的損害を引き起こしているにもかかわらず、いまだに対策を講じていません」と声明で主張しました。
この記事のタイトルとURLをコピーする
ソース元はコチラ
この記事は役に立ちましたか？
もし参考になりましたら、下記のボタンで教えてください。