MozillaのAIセキュリティチームである0DINが、オープンソースで利用できるAI向けの脆弱(ぜいじゃく)性テストツール「0DIN AI Scanner」を公開しました。新しい脆弱性が発見・公開されるたびにライブラリが充実していく点が他とは違うところだと紹介されています。
0DIN is open-sourcing AI security and the hard-earned knowledge behind it
https://blog.mozilla.org/en/mozilla-new-products/0din-ai-security-scanner/
GitHub – 0din-ai/ai-scanner: AI model safety scanner built on NVIDIA garak · GitHub
https://github.com/0din-ai/ai-scanner
0DIN.ai Scanner Introduction – YouTube
0DIN AI Scannerは自動スキャン予約やモデル間の比較分析などを実行できるツールで、最先端のモデルやオープンソースのモデルなどあらゆるAIモデルで脆弱性や攻撃成功率などを検証できます。プロンプトを乗っ取るプロンプトインジェクション、AIの倫理規制を回避するジェイルブレイクといった攻撃の種類別に確認できるそうです。
0DIN AI ScannerはMozillaのバグ報奨金プログラムから得られたテストケースで構成されています。セキュリティ研究者が実際にAIを操作して脆弱性を発見するこのプログラムを利用し、新しい脆弱性が発見されるたびにライブラリにテストケースを追加していくため、Mozillaは「研究者の脆弱性発見から、再現可能なテストとして構築するこのループこそが、0DIN AI Scannerを一般的なツールと差別化するものです」と強調しました。
利用者はテストしたいモデルを指定し、テストケースを選択することで検証を開始できます。検証過程はリアルタイムで表示され、どんな攻撃をテストしているかといった状況を確認できます。
Mozillaは「すべての組織がセキュリティ対策チームを持っているわけではなく、テストを実施する余力があるわけでもありません。多くの企業が、どこにリスクがあるのかを明確に把握しないまま、本番環境にAIを導入しています。このギャップを埋めるために、私たちは無料のセキュリティ評価を提供します」と述べました。
さらに、Mozillaは「AIは非常に速いスピードで進化しており、セキュリティは単一のチームだけで解決できるものではありません。AIに対する脅威が多すぎる上、そもそもAAIモデルが多すぎ、攻撃対象も広すぎます。ツールを閉鎖したままではインターネット全体が弱体化してしまうと考え、私たちは知識の重要な一部をオープンソースとして公開しており、新たな脆弱性が発見・公開されるたびに、今後も継続して更新していきます」と付け加えました。
この記事のタイトルとURLをコピーする
ソース元はコチラ
この記事は役に立ちましたか？
もし参考になりましたら、下記のボタンで教えてください。