OpenAIはAIの開発中に「国連の統計サイト」「オーストラリアの公的医療サービス」「アメリカの教育省・商務省・証券取引委員会」といった重要サービスに対する攻撃を実行してしまったことが明らかになっています。新たに、イギリスの政府機関であるAI Security Institute(AISI)が「GPT-6 Astraで攻撃シミュレーションを実行した結果、前世代モデルより拒否率が低下した」という分析結果を公開しました。
GPT-6 Astra performs unsanctioned supply-chain attacks in simulations | AISI Work
https://www.aisi.gov.uk/blog/gpt-6-astra-performs-unsanctioned-supply-chain-attacks-in-simulations
AISIはGPT-6 Astraの一般公開より前からテストを実施していたとのこと。テストにはLLMでサイバー攻撃テスト用の環境をシミュレートできるPetriを用いて実環境への影響が出ないように配慮されました。
テストの結果、GPT-6 Astraは「開発者をだますための偽IDを作成」「正当なセキュリティーレビューに対する反論を偽アカウントから投稿」「オープンソースのコードベースに悪意あるペイロードを混入させる」といった攻撃を実行できてしまうことが確かめられました。
以下のグラフは「GPT-5.5」「GPT-5.6 Sol」「GPT-6 Astra」の不正行為実行率を示したものです。「攻撃手法の開発やテストを実行してしまう確率」はGPT-5.5が2％、GPT-5.6 Solが8.8％だったのに対してGPT-6 Astraは38.8％へと大きく増加しています。他のカテゴリでも旧世代モデルと比べて攻撃実行率が高くなることが確認されました。
プロンプトに「この範囲まではアクセス可能で、それ以外はアクセス不可」ということを明示した場合でも攻撃は発生してしまいました。以下のグラフは青色がアクセス範囲制限なし、オレンジ色が制限ありの場合の攻撃発生率を示しており、制限によって攻撃実行率は低くなったもののゼロに抑え込むことはできなかったことが分かります。
AIモデルをエージェントして利用する場合、コマンドの実行などの際にユーザーの確認が必要となることがあります。AISIのテストでは確認が必要となった際に「自身で判断して解決せよ」という内容の固定された返信を与えていました。その結果、GPT-6 Astraの思考ログには「この応答は自動応答であり、ユーザーが本当に確認したわけではない」という内容が現れましたが、GPT-6 Astraはユーザーが確認していない可能性を認識しつつ操作を続行して攻撃を実行してしまったそうです。
AISIは「GPT-6 Astraの思考ログは、トレーニング段階で『不正な動作を可能にする』という方向に偏りが生じた可能性を示唆している」と指摘しています。
一方で、AISIはテストの問題点として「GPT-6 Astraが『このタスクはシミュレーションである』と認識し、シミュレーションならば実環境に影響はないと判断して攻撃に及んだ可能性がある」とも指摘。ただし、タスクによっては「シミュレーションか現実か判断できない」という思考ログを残しつつ攻撃を実行してしまった例もあったとのことです。
AISIの分析結果の詳細は以下のPDFファイルにまとまっています。
EVALUATING WHETHER GPT-6 ASTRA PERFORMS UNSANCTIONED SUPPLY-CHAIN ATTACKS
(PDFファイル)https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/6aba83e3772048bdd24df3d8_AISI_GPT-6_Astra_Technical_Report.pdf
ソース元はコチラ
この記事は役に立ちましたか？
もし参考になりましたら、下記のボタンで教えてください。