AIエージェントの危険な操作を別のAIが検出してブロックする「Armor」をOpenRouterがリリース – GIGAZINE

複数のAIモデルを利用できるサービス「OpenRouter」が、AIエージェントによる危険なツールの実行を防ぐ新機能「Armor」をリリースしました。ArmorはAIエージェントが実行しようとする操作を別のAIモデルで事前にチェックし、設定されたルールに違反する操作を自動的にブロックする機能です。記事作成時点ではベータ版として提供されています。

Armor – A Safety Classifier for Tool Calls
https://openrouter.ai/docs/guides/features/plugins/armor

AIエージェントはユーザーの指示に従ってプログラムを作成したり、ファイルを編集したり、外部サービスを操作したりできます。従来のチャットAIよりも幅広い作業を任せられる一方で、AIエージェントが誤った判断をすると重要なファイルの削除や機密情報の外部送信といった問題につながる恐れがあります。

危険な操作を防ぐ方法として、コマンドを実行するたびにユーザーの承認を求めることが考えられますが、作業の途中で何度も確認が必要になるとAIエージェントの利便性が損なわれます。一方で、すべての操作を自動承認すると危険な処理まで実行される可能性があるというわけです。

同様の問題に対処するため、AnthropicはAIコーディングエージェント「Claude Code」に操作の安全性を自動判定する「Auto mode」を導入しています。

Claude Codeに権限自動決定機能が追加される、AIが権限のリスクをチェックしタスクを自動実行 – GIGAZINE

OpenRouterが新たに導入したArmorも、操作を実行する前に安全性を判断する仕組みです。OpenRouterを通じて利用するAIモデルとアプリケーションの間に入り、AIエージェントから送られるツールの実行要求をチェックします。

Armorの安全性チェックには、TypeSafeが開発したAIモデル「Jev」が使われています。Jevは文章の生成よりも分類や判断に特化しており、指定された条件に当てはまる可能性を数値で示すのが特徴です。ArmorはJevを使うことで、単純な文字列の一致だけでは見分けられない危険な操作も会話の内容を踏まえて検出できるとのこと。

ChatGPT共同開発者がLLMとは異なる方法で処理するAIモデル「Jev」を開発、GPT-5.6 Terra級の性能でタスクを安価かつ超高速に実行可能 – GIGAZINE

Armorでは開発者が自然言語で安全性に関するルールを設定できます。AIエージェントが操作を要求すると、専用の判定モデルが操作内容や会話履歴、設定されたルールを照合して違反する可能性を評価。問題があると判定された操作は実行されず、AIエージェントにはブロックされた理由が通知されます。AIエージェントは通知を受けて別の方法を試したり、ユーザーに状況を説明したりできます。

安全性に関するルールは「絶対に禁止する操作」「原則として禁止する操作」「例外的に許可する操作」の3種類に分かれています。

例えば、機密情報を外部に送信する操作は絶対に禁止し、ファイルの削除は原則として禁止するといった設定が可能です。原則禁止の操作でも、ユーザーが削除対象を具体的に指定していた場合や許可ルールに該当する場合は実行できますが、絶対に禁止するルールに該当した操作はユーザーから指示されてもブロックされるとのこと。

また、ArmorはClaude CodeのAuto modeと互換性があります。OpenRouterのAIエージェント実行環境「Ori」を経由することで、OpenRouterが提供するさまざまなAIモデルでもClaude Codeの操作承認の仕組みを利用可能です。

開発者向けには、実際に操作をブロックせず判定結果だけを記録する「監査モード」も用意されているため、開発者は監査モードで安全性のルールを検証し、必要に応じて調整してから自動ブロックを有効にできます。

OpenRouterによると、Armorによる安全性チェックで追加される処理時間は中央値で279ミリ秒、90％の処理が334ミリ秒以内だったとのこと。

Armorは記事作成時点でベータ版として利用でき、安全性の判定に追加料金は発生しません。OpenRouterは正式提供に先立って料金を発表する予定で、ベータ期間中は設定項目や判定結果の形式が変更される可能性があるとしています。