兵は詭道なりAIもまた然り　計画なき実行は敗北を招くと心得られよ。敵は命令に偽りの命を紛れ込ませ混乱を誘う者。知をもって制す最適布陣をご教示 | ヘッドウォータースのフィード

今回はエージェントのしくみとセキュリティの関係について考察した論文の紹介です。 概要：其の一：「命令の検証者を置け」「命令は一度通せばよいにあらず。必ずや、忠義の者にてその真偽を見極めよ。」受け取る命令をそのまま実行せず、別のエージェントやルールベースの検査官が内容を吟味するのです。其の二：「冗長な命令系統を避け、簡潔に保て」「命令多ければ、誤りもまた多し。」複雑なプロンプトは、敵の策略が紛れ込みやすい。明快で短く、意図が明確な命令を心がけることで、インジェクションの余地を減らします。其の三：「敵の術を逆用せよ」「敵の間者を用いて、敵を欺く。これ、上策なり。」プロ…


元の記事を確認する