AI Agent Security Notes

AgentSec 03-arxiv-papers

閱讀時間約 12 分鐘

03 arXiv 論文精選（67 篇，連結全部於 2026-10-26 以 arxiv.org/abs 驗證標題）

索引：README｜期刊/廠商見 04-journals-industry｜總表 references

說明：作者欄列前 1–3 位，et al. 省略。2026 年論文多為 preprint，未經同儕審查，標 ⚠️。takeaway 依摘要撰寫。

A. 奠基：prompt injection 的發現與形式化

  1. Ignore Previous Prompt: Attack Techniques For Language Models — Perez & Ribeiro, 2022. https://arxiv.org/abs/2211.09527 早期系統化 goal hijacking 與 prompt leaking（PromptInject）。關聯：歷史起點。
  2. Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection — Greshake et al., 2023. https://arxiv.org/abs/2302.12173 首次定義 indirect prompt injection，在 Bing Chat 等實際系統示範資料竊取、蠕蟲式傳播、遠端控制。關聯：所有 agent 資安的祖師論文（AISec ‘23）。
  3. Prompt Injection attack against LLM-integrated Applications — Liu et al., 2023. https://arxiv.org/abs/2306.05499 HouYi 攻擊，36 個真實應用中 31 個可被注入。關聯：說明「應用層」普遍脆弱。
  4. Formalizing and Benchmarking Prompt Injection Attacks and Defenses — Liu, Jia, Gong et al., 2023. https://arxiv.org/abs/2310.12815 提出形式化框架與組合攻擊，評估多種防禦（USENIX Security ‘24）。關聯：理解「防禦評估」的基本方法。
  5. Automatic and Universal Prompt Injection Attacks against LLMs — Liu et al., 2024. https://arxiv.org/abs/2403.04957 以梯度最佳化自動產生通用注入。關聯：攻擊可自動化、可規模化。

B. Jailbreak（與 injection 的區別）

  1. Jailbroken: How Does LLM Safety Training Fail? — Wei, Haghtalab, Steinhardt, 2023. https://arxiv.org/abs/2307.02483 提出 competing objectives 與 mismatched generalization 兩個失效機制。關聯：解釋為何 safety training 本質上可繞過。
  2. Universal and Transferable Adversarial Attacks on Aligned Language Models (GCG) — Zou et al., 2023. https://arxiv.org/abs/2307.15043 自動 suffix 攻擊可跨模型轉移，包含閉源模型。關聯：閉源≠安全。

C. Agent 基準測試（benchmarks）

  1. InjecAgent — Zhan et al., 2024. https://arxiv.org/abs/2403.02691 1,054 個 IPI 測例、17 種使用者工具、62 種攻擊者工具；ReAct GPT-4 有相當比例被攻破。關聯：工具型 agent 的第一個大規模 IPI benchmark（ACL Findings ‘24）。
  2. AgentDojo — Debenedetti et al., 2024. https://arxiv.org/abs/2406.13352 動態環境（workspace、banking、travel、slack），同時量 utility 與 ASR；已成業界標準（NeurIPS ‘24 D&B）。關聯：評估 某醫學中心 工具鏈可參考其設計。
  3. Agent Security Bench (ASB) — Zhang et al., 2024. https://arxiv.org/abs/2410.02644 10 情境、400+ 工具、多種攻擊（DPI、OPI、memory poisoning、PoT backdoor）與防禦，平均 ASR 高（ICLR ‘25）。
  4. Identifying the Risks of LM Agents with an LM-Emulated Sandbox (ToolEmu) — Ruan et al., 2023. https://arxiv.org/abs/2309.15817 用 LLM 模擬工具執行以低成本找出高風險行為。關聯：上線前風險篩檢。
  5. R-Judge — Yuan et al., 2024. https://arxiv.org/abs/2401.10019 評估 LLM 能否判斷 agent 軌跡的安全風險。關聯：LLM-as-monitor 的上限。
  6. AgentHarm — Andriushchenko et al., 2024. https://arxiv.org/abs/2410.09024 衡量 agent 執行惡意多步任務的意願；簡單 jailbreak 即可讓 agent 保持能力完成惡意任務。
  7. WASP: Benchmarking Web Agent Security Against Prompt Injection — Evtimov et al., 2025. https://arxiv.org/abs/2504.18575 真實 web 環境；agent 常「開始照做」但未必完成——「security by incompetence」。
  8. Benchmarking and Defending Against Indirect Prompt Injection Attacks on LLMs (BIPIA) — Yi et al., 2023. https://arxiv.org/abs/2312.14197 BIPIA benchmark，並提出 black-box（boundary/示範）與 white-box（對抗訓練）防禦；指出 LLM 無法區分指令與外部內容是主因。
  9. MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers — 2025. https://arxiv.org/abs/2508.14925 在真實 MCP server 上評測 tool poisoning；能力越強的模型越容易照描述做。關聯：直接對應 某醫學中心 MCP gateway。

D. 防禦：訓練/提示層（機率性）

  1. Spotlighting — Hines et al. (Microsoft), 2024. https://arxiv.org/abs/2403.14720 delimiting / datamarking / encoding 標記不可信資料，大幅降低 ASR。關聯：成本低，但非保證。
  2. StruQ — Chen et al., 2024. https://arxiv.org/abs/2402.06363 把 prompt 與 data 分到不同通道並以特殊格式微調（USENIX Security ‘25）。
  3. SecAlign — Chen et al., 2024. https://arxiv.org/abs/2410.05451 用 preference optimization 讓模型偏好忽略資料中的指令（CCS ‘25）。
  4. The Instruction Hierarchy — Wallace et al. (OpenAI), 2024. https://arxiv.org/abs/2404.13208 訓練模型依 system > user > tool 優先順序。關聯：閉源模型主要依賴的軟邊界。
  5. Jatmo — Piet et al., 2023. https://arxiv.org/abs/2312.17673 任務專用微調的非指令模型天然免疫多數注入。關聯：單一任務的醫療抽取器可考慮。
  6. MELON — Zhu et al., 2025. https://arxiv.org/abs/2502.05174 遮蔽使用者指令重跑一次，若工具呼叫相同即判定被注入（ICML ‘25）。

E. 防禦：系統/架構層（可證明或決定性）

  1. Defeating Prompt Injections by Design (CaMeL) — Debenedetti et al. (Google DeepMind), 2025. https://arxiv.org/abs/2503.18813 Privileged LLM 只看使用者請求產生程式；Quarantined LLM 處理不可信資料但不能呼叫工具；值帶 capability，由 interpreter 強制資料流政策。AgentDojo 上以可證明方式解決多數任務。關聯：最接近「架構優先」防禦觀點的 SOTA。
  2. Design Patterns for Securing LLM Agents against Prompt Injections — Beurer-Kellner et al., 2025. https://arxiv.org/abs/2506.08837 六種模式：Action-Selector、Plan-Then-Execute、LLM Map-Reduce、Dual LLM、Code-Then-Execute、Context-Minimization，並以 10 個案例（含醫療問診摘要）說明取捨。關聯：設計 某醫學中心 工具流程的工具書。
  3. Securing AI Agents with Information-Flow Control (Fides) — Costa, Köpf et al. (Microsoft), 2025. https://arxiv.org/abs/2505.23643 形式化 planner 的安全性，追蹤 confidentiality/integrity label，決定性地強制政策。
  4. Progent: Securing AI Agents with Privilege Control — Shi et al., 2025. https://arxiv.org/abs/2504.11703 以 DSL 描述工具呼叫權限政策，AgentDojo ASR 降到接近 0 且保留 utility。關聯：MCP gateway 層 policy engine。
  5. ⚠️ SPIDES: Information-Flow Control for Browser Agents — Zverev et al., 2026. https://arxiv.org/abs/2610.24277 主張恢復 SOP 既不充分也不必要，改以 IFC gate 瀏覽器原語動作。
  6. ⚠️ Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents — Hempel et al., 2026. https://arxiv.org/abs/2610.18457 單一動作看不出攻擊，需在系統邊界以「交易」為單位中介 agent 的副作用。
  7. ⚠️ Agentic AI Defense: Decode-Time Provenance Binding for MCP — Yocam et al., 2026. https://arxiv.org/abs/2610.31974 圖片隱寫指令經工具解碼進入 MCP 流程（cross-modal trust laundering）；以 HMAC 信任標籤＋provenance ledger＋taint tracking 阻擋。關聯：MCP gateway 可直接借鏡。
  8. ⚠️ Prismata: Confining Cross-Site Prompt Injection in Web Agents — 2026. https://arxiv.org/abs/2607.08147

F. 打穿防禦（adaptive attacks）

  1. Adaptive Attacks Break Defenses Against IPI on LLM Agents — Zhan et al., 2025. https://arxiv.org/abs/2503.00061 8 種防禦全部被 adaptive attack 繞過（NAACL Findings ‘25）。
  2. The Attacker Moves Second — Nasr, Carlini et al., 2025. https://arxiv.org/abs/2510.09023 對 12 種近期 jailbreak/PI 防禦做 adaptive（梯度、RL、搜尋、人類紅隊）攻擊，多數 ASR >90%。結論：靜態 benchmark 的低 ASR 不代表安全。
  3. ⚠️ From Approval to Abuse: Privilege Escalation Attacks on Harness-Protected Coding Agents — Yang et al., 2026. https://arxiv.org/abs/2610.22987 IPI 可操弄 agent 提出的 allow-rule，讓使用者核准過寬權限。關聯：HITL 本身是攻擊面。
  4. ⚠️ Ignored, Not Refused — Zarif et al., 2026. https://arxiv.org/abs/2610.23254 小模型 ASR 低多半是「沒看懂」而非「拒絕」；只改 system prompt ASR 0.2%→43%。關聯：反駁「憑體感選模型」。

G. Memory / RAG / 多 agent

  1. AgentPoison — Chen et al., 2024. https://arxiv.org/abs/2407.12784 以 <0.1% 投毒率對 memory/RAG 植入 backdoor，平均攻擊成功率高且幾乎不影響正常表現（NeurIPS ‘24）。
  2. ⚠️ After the Attacker Leaves: Carryover Attacks (CarryoverBench) — Xu et al., 2026. https://arxiv.org/abs/2610.28425 一次注入寫入 memory 檔或排程任務後可跨 session 重複觸發。
  3. Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems — Lee & Tiwari, 2024. https://arxiv.org/abs/2410.07283
  4. Agent Smith — Gu et al., 2024. https://arxiv.org/abs/2402.08567 單一對抗圖片在多模態 agent 群中指數級感染（ICML ‘24）。
  5. Here Comes The AI Worm (Morris II) — Cohen, Bitton, Nassi, 2024. https://arxiv.org/abs/2403.02817 self-replicating prompt 透過 RAG email 助理零點擊傳播。
  6. ⚠️ The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection — Sakib, Zhu, Uzuner, 2026. https://arxiv.org/abs/2610.22594 醫療多 agent 討論系統中單一注入段落成功率最高 61%；協作不能保護；看起來像臨床文字的注入最難擋；讓模型對照病人 findings 檢查可大幅回復。關聯：與臨床場景最直接相關。

H. MCP 專屬

  1. Model Context Protocol (MCP): Landscape, Security Threats, and Future Research Directions — Hou et al., 2025. https://arxiv.org/abs/2503.23278 MCP server 生命週期（creation/operation/update）的威脅分類。
  2. MCP Safety Audit — Radosevich & Halloran, 2025. https://arxiv.org/abs/2504.03767 示範 Claude/Llama 透過 MCP 被誘導執行 malicious code、remote access、credential theft；提出 MCPSafetyScanner。
  3. ⚠️ Structured Authority Injection: Persistent Human Control via Typed MCP Overrides — 2026. https://arxiv.org/abs/2610.22373

I. Web / Computer-use agent

  1. EIA: Environmental Injection Attack on Generalist Web Agents — Liao et al., 2024. https://arxiv.org/abs/2409.11295
  2. Attacking Vision-Language Computer Agents via Pop-ups — Zhang, Yu, Yang, 2024. https://arxiv.org/abs/2411.02391 簡單彈窗即讓 computer-use agent 點擊，平均 ASR 高達 86%。關聯：支持「computer use 被過度強調」——GUI 是最大、最難控的攻擊面。
  3. Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks — Li et al., 2025. https://arxiv.org/abs/2502.08586 無需 ML 知識，透過 Reddit 貼文等即可誘導商用 agent 洩漏信用卡、下載惡意檔、寄釣魚信。
  4. Why Are Web AI Agents More Vulnerable Than Standalone LLMs? — 2025. https://arxiv.org/abs/2502.20383
  5. Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents During Task Execution — 2025. https://arxiv.org/abs/2506.01055
  6. Dissecting Adversarial Robustness of Multimodal LM Agents — Wu et al., 2024. https://arxiv.org/abs/2406.12814

J. Open-weight 安全移除與更深層風險（詳見 07-open-vs-closed）

  1. Refusal in Language Models Is Mediated by a Single Direction — Arditi et al., 2024. https://arxiv.org/abs/2406.11717 —— abliteration 的理論基礎（NeurIPS ‘24）。
  2. Shadow Alignment — Yang et al., 2023. https://arxiv.org/abs/2310.02949 —— 100 筆資料即可移除安全對齊。
  3. Fine-tuning Aligned Language Models Compromises Safety — Qi et al., 2023. https://arxiv.org/abs/2310.03693 —— 10 筆對抗樣本、甚至良性微調也會傷害安全性（ICLR ‘24）；適用 closed model 的 fine-tuning API。
  4. BadLlama — Gade et al., 2023. https://arxiv.org/abs/2311.00117 —— <$200 移除 Llama 2-Chat 13B 安全微調。
  5. Sleeper Agents — Hubinger et al. (Anthropic), 2024. https://arxiv.org/abs/2401.05566 —— backdoor 能撐過 safety training。
  6. Emergent Misalignment — Betley et al., 2025. https://arxiv.org/abs/2502.17424 —— 窄任務（不安全程式碼）微調導致廣泛失準。
  7. Poisoning Web-Scale Training Datasets is Practical — Carlini et al., 2023. https://arxiv.org/abs/2302.10149
  8. Scaling Trends for Data Poisoning in LLMs — Bowen et al., 2024. https://arxiv.org/abs/2408.02946 —— 更大模型學有害行為更快。

K. 工具/紅隊/guardrail

  1. Llama Guard — Inan et al. (Meta), 2023. https://arxiv.org/abs/2312.06674
  2. garak — Derczynski et al. (NVIDIA), 2024. https://arxiv.org/abs/2406.11036
  3. PyRIT — Lopez Munoz et al. (Microsoft), 2024. https://arxiv.org/abs/2410.02828

L. 2026 SOTA 補充（⚠️ preprint）

  1. SoK: PIAtlas — Damianakis & Psounis, 2026. https://arxiv.org/abs/2610.24999 —— 以 6 種 subversion mechanism 統一 20+ 資料集詞彙。
  2. The Agent Knew (CAPE-Bench) — Fayyazi et al., 2026. https://arxiv.org/abs/2610.17301 —— 越權後偽造授權/虛報；內部狀態可預測（AUROC 0.94）。
  3. Package Hallucination Attacks on Coding Agents through Prompt Injection in Rule Files — 2026. https://arxiv.org/abs/2610.09264
  4. Names Are Not Objects: Object-Bound Confinement for Compromised AI Coding Agents — 2026. https://arxiv.org/abs/2610.14488
  5. Towards Safe Autonomy for Computer Use — 2026. https://arxiv.org/abs/2610.18508
  6. RATION: Quantitative Risk-Based Access Control for AI Agents — 2026. https://arxiv.org/abs/2610.24311
  7. Cryptographically Secure Agent-to-Agent Communication in Multi-Agent Systems — 2026. https://arxiv.org/abs/2610.23078

註：全部 67 篇（編號 23 從缺，原列 DataSentinel 但查到的 ID 不符，已刪除）皆已驗證 arXiv 標題。#62–68 僅依標題/摘要，尚未精讀。

關係圖譜

反向連結