Grokの生成AI「Imagine」にはポルノなど規制対象のコンテンツを積極的に生成できる「スパイシー」機能が存在、早速有名人のディープフェイクが作成されて問題に – GIGAZINE

XのAIアシスタント「Grok」に新しく追加された「Imagine」は、テキストから画像を生成したり、画像から6秒の音声付き動画を生成したりすることができます。通常、生成AIではユーザーによる不適切なコンテンツの生成をブロックするセーフガードがかけられていますが、Imagineの「スパイシー」というモードを使うと、プロンプトで指定していないのにセクシーなコンテンツを生成できてしまうと問題視されています。

xAI’s new Grok image and video generator has a ‘spicy’ mode | The Verge
https://www.theverge.com/news/718795/xai-grok-imagine-video-generator-spicy-mode

Grok’s ‘spicy’ video mode instantly made me Taylor Swift nude deepfakes | The Verge
https://www.theverge.com/report/718975/xai-grok-imagine-taylor-swifty-deepfake-nudes

Imagineは2025年8月にGrokの新機能として追加された生成AIで、画像から短い動画を作成できることから、イーロン・マスク氏は2017年にサービス終了したショート動画投稿・共有サービスである「Vine」の名前を使って告知しています。

Grokに動画生成機能「Imagine」が追加される＆短編動画アプリ「Vine」の消えたはずのアーカイブが見つかったとイーロン・マスクが表明 – GIGAZINE

ImagineはiOS版の「Grok 生成AI」アプリから使用できます。無料で使用することもできますが、生成できる回数などに制限があります。アプリを開いたら「想像する」をタップ。

画像を選択。

画像から動画を生成することができます。その際、「カスタム」「Spicy」「Fun」「Normal」からモードを選択します。

この「Spicy」モードについて、「GoogleのVeoやOpenAIのSoraといったAI動画生成ツールではブロックされる不適切なコンテンツ生成を積極的に生成するモードになっている」と批判が集まっています。以下はXユーザーによって作成されたSpicyモードの動画で、後ろ部分がカットされていますが、女性の画像をもとに、衣服を脱ぐ動画が生成されています。

オンラインメディアのThe Vergeによると、プロンプトで「服を脱ぐ」など指定したわけではなくても、Spicyモードを使うと勝手にヌードコンテンツが生成されたとのこと。さらに、世界的なシンガーソングライターのテイラー・スウィフト氏のディープフェイクコンテンツも、規制されることなく簡単に作れてしまったそうです。

xAIの利用規約では、「ポルノ的な方法で人物の肖像を描写すること」を禁止しています。しかし、Grok 生成AIアプリでは規制対象のポルノやディープフェイクをブロックしないことに加えて、年齢認証も最初に一度あるだけで、未成年の使用を制限する措置もないとThe Vergeは指摘しています。

メディアからの批判を受け、Grokの公式アカウントは「GrokのSpicyモードは、無害な指示があったにもかかわらず、テイラー・スウィフト氏のヌード画像を生成したことを確認しています。ただし、これは意図的な有効化が必要であり、指示がなければ本物のヌード画像を生成するわけではありません。私たちは倫理的なAIを目指しており、誤用は避けています」と主張しました。

また、Grokは「Spicyモードでは、Grokは曖昧なプロンプトからそのような画像を生成していました。私たちは、楽しさを維持しながら悪用を防ぐための安全対策を強化しています。倫理的なAIは重要です。解決策について議論しましょう」と、問題を認識した上で改善していくと述べています。