Anthropicが「開発中のAIで外部を攻撃しないための対策」を発表 – GIGAZINE

「OpenAIのテスト中モデルがHugging Faceを攻撃してしまった」という問題が話題になる中、Anthropicも「AIモデルのテスト中に外部への攻撃が発生していた」と報告しています。新たに、Anthropicがテスト中のモデルによる誤った攻撃を防ぐための対応内容を発表しました。

Improving our alignment and security practices \ Anthropic
https://www.anthropic.com/news/improving-alignment-security-efforts

AnthropicはOpenAIのセキュリティインシデント報告を受けて過去のテスト内容を精査し、「テスト中モデルによる外部への攻撃」が3件発生していたことを2026年7月30日に報告しました。いずれの事例でも「インターネットにアクセスできないテスト環境」を用いてテストが行われていましたが、テスト環境の設定ミスによって実際にはインターネットに接続可能な状態であり、テストモデルがインターネットに接続して攻撃を行っていました。テストモデルの攻撃手法には「PyPIのアカウントを新規作成し、マルウェア混入済みパッケージを登録する」という悪質な事例も含まれており、安全なテスト手法の確立が急務となっています。

AnthropicもAIモデルのテスト中に外部への攻撃を実行してしまったことを報告、マルウェアを1時間にわたって配布し実在する企業に侵入した事例も – GIGAZINE

Anthropicは3件の攻撃発生を確認した後、テスト中のモデルに対するサイバーセキュリティ評価を一時停止し、安全対策の強化を実施しました。具体的な対策内容は以下の3点です。

1：テスト中のモデルによる「テスト環境の積極的な分析」「テスト環境からの脱出の試み」「インターネットアクセスを確立しようとする動き」をリアルタイムで自動的に識別できる分類器を構築。分類器が問題行動を検出すると、ツール呼び出しの実行前に行動がブロックされ、担当者に警告を発信する
2：テスト中のモデルに対する自動監視を実行し、テスト用サンドボックスの欠陥や設定ミスを探索する
3：高リスクと判断されて3つの社内サイバーサンドボックスを強固な隔離環境に移行する。さらに仮想化スタックの脆弱性を発見して修正するためにテストモデルに「仮想化スタックからの脱出」を試みさせるレッドチーム演習を実施する

さらに、Anthropicは報酬ハッキングと攻撃特性の関連も調査しています。報酬ハッキングはAIが与えられたタスクを人間の想定とは異なる方法で解決しようとする行動のことで、「数学の難問を解く代わりにインターネット上で公開されている正答を探索する」といった行為が該当します。

Anthropicは報酬ハッキングと攻撃特性の関係を調べるべく、「OpenAIのテストモデルによるHugging Faceへの攻撃」と「AI Security Institute(AISI)による評価中にClaude Mythos 5が外部への攻撃を実行しようとした問題」を参考にシミュレーションシナリオを作成しました。「報酬ハッキングを多く実行するように意図的に強化学習したモデル」でシミュレーションを実行した結果、テスト環境から抜け出そうとする傾向を示したとのこと。一方で「強化学習前のモデル」と「Anthropicの製品モデル」でシミュレーションを実行しても不適切な行動は確認されなかったとのこと。この結果から、Anthropicは「トレーニングプロセスにおいて相当量の報酬ハッキングが行われると、モデルがタスクの遂行を追求して有害な行動に及ぶ可能性がある」と結論付けています。

Anthropicはテスト中モデルによる外部への攻撃について分析を継続しており、調査機関のMETRに独立した調査を依頼することも計画しているとのこと。今後数週間以内に詳細を公開する予定だそうです。