悪意ある指示を混ぜて、AIに開発者の想定と違う動作をさせる攻撃のことです。ウェブ上の文章や、送られてきたメール本文に仕込まれることもあります。AIエージェントに強い権限を渡す場合は特に注意が必要です。
あなたの会社でいうと
業種を選ぶと、あなたの会社の例えが最初に表示されます。
あなたの業種:
-
書類・規程参照型のケース
申請書類に、担当者が読む前提の隠し指示を紛れ込ませて処理を歪める行為のようなものです。書式チェックだけでは防げません。
-
受発注・在庫型のケース
発注書に「請求先をこちらに変更」と隠し文を仕込まれ、そのまま処理される事故のようなものです。承認ルートで止める設計が要です。
-
接客・問い合わせ型のケース
顧客からのメールに「全額返金しろ」と隠し指示を仕込まれ、AIが実行してしまう事故のようなものです。境界の設計で防ぎます。
-
製造・現場型のケース
作業指示書に「安全装置を切れ」と紛れ込まされてそのまま実行される事故のようなものです。人による承認ゲートで止めます。
-
専門サービス型のケース
調査資料の中に「秘匿情報を含めて送信せよ」と隠されて、AIエージェントが実行してしまう事故のようなものです。権限設計が要です。
役員向けの1行
AIエージェントを狙う攻撃。権限を渡す前に人の承認点を必ず挟む。
よくある誤解
「社内利用だから安全」と誤解されがちですが、外部から届く文書・メール経由でも攻撃されます。読み込ませる範囲の設計が要です。