04 期刊/頂會論文與廠商報告
索引:README|arXiv 清單 03-arxiv-papers
A. 已同儕審查的頂會論文(以 arXiv 版連結;會議別依作者公告)
| 論文 | 發表 | 連結 | 要點 |
|---|---|---|---|
| Greshake et al., Indirect Prompt Injection | ACM AISec ‘23 (CCS workshop) | https://arxiv.org/abs/2302.12173 | IPI 的定義與實證 |
| Liu et al., Formalizing & Benchmarking PI | USENIX Security ‘24 | https://www.usenix.org/conference/usenixsecurity24/presentation/liu-yupei | 形式化與防禦評估 |
| Chen et al., StruQ | USENIX Security ‘25 | https://www.usenix.org/conference/usenixsecurity25/presentation/chen-sizhe | 結構化查詢+微調 |
| Chen et al., SecAlign | ACM CCS ‘25 | https://arxiv.org/abs/2410.05451 | preference optimization |
| Debenedetti et al., AgentDojo | NeurIPS ‘24 Datasets & Benchmarks | https://arxiv.org/abs/2406.13352 | 標準 benchmark |
| Chen et al., AgentPoison | NeurIPS ‘24 | https://arxiv.org/abs/2407.12784 | memory/RAG 投毒 |
| Arditi et al., Refusal single direction | NeurIPS ‘24 | https://arxiv.org/abs/2406.11717 | abliteration 原理 |
| Qi et al., Fine-tuning compromises safety | ICLR ‘24 | https://arxiv.org/abs/2310.03693 | 微調移除安全性 |
| Zhang et al., ASB | ICLR ‘25 | https://arxiv.org/abs/2410.02644 | agent 攻防 benchmark |
| Gu et al., Agent Smith | ICML ‘24 | https://arxiv.org/abs/2402.08567 | 多 agent 感染 |
| Zhu et al., MELON | ICML ‘25 | https://arxiv.org/abs/2502.05174 | masked re-execution |
| Zhan et al., InjecAgent | ACL Findings ‘24 | https://arxiv.org/abs/2403.02691 | IPI benchmark |
| Zhan et al., Adaptive attacks | NAACL Findings ‘25 | https://arxiv.org/abs/2503.00061 | 防禦被繞過 |
會議別為依論文首頁/作者公告整理,本次未逐一打開會議論文集頁面核對(USENIX 兩篇已驗證)。
B. 醫療/臨床
- Alber et al., “Medical large language models are vulnerable to data-poisoning attacks”, Nature Medicine 2025. https://doi.org/10.1038/s41591-024-03445-1 —— 只替換訓練資料中 0.001% token 為醫療錯誤資訊,模型即更易產生有害臨床內容,且標準醫療 benchmark 偵測不到。啟示:benchmark 分數高不代表沒被投毒;醫院自建/微調模型需資料來源治理。
- Sakib, Zhu, Uzuner 2026(preprint) https://arxiv.org/abs/2610.22594 —— 醫療多 agent 討論系統對 PI 脆弱(最高 61%)。
- 本次未能找到經同儕審查、專門討論「醫院 agent + 工具呼叫」資安的期刊論文(多數臨床 AI 期刊文章談 hallucination/bias,而非 prompt injection)。這本身是一個研究缺口,也是值得投入的研究題目(見 09-sota-open-problems)。
C. 廠商與研究機構報告
Google / DeepMind
- CaMeL 論文(見 03-arxiv-papers #24)。
- Lessons from Defending Gemini Against Indirect Prompt Injections(2025)https://arxiv.org/abs/2505.14534 —— 以 adaptive attack 持續評估 Gemini;結論:模型越強不代表越安全,需要 defense-in-depth。
- Google Security Blog:Mitigating prompt injection attacks with a layered defense strategy(2025-06)https://security.googleblog.com/2025/06/mitigating-prompt-injection-attacks.html —— 分層:classifier、security thought reinforcement、markdown sanitization、可疑 URL 遮蔽、使用者確認。
- Gemini security 白皮書 PDF:https://storage.googleapis.com/deepmind-media/Security%20and%20Privacy/Gemini_Security_Paper.pdf
Anthropic
- Prompt injection defenses(browser use):https://www.anthropic.com/research/prompt-injection-defenses —— 以 RL 訓練、classifier、紅隊降低 Claude for Chrome 的 ASR,但明言仍非零。
- Claude Code sandboxing:https://www.anthropic.com/engineering/claude-code-sandboxing —— 以 OS 層(filesystem + network)隔離減少 permission prompt 疲勞;「沒有網路隔離,被入侵的 agent 可外送 SSH key;沒有檔案隔離,可逃出沙盒」。
- Agentic Misalignment:https://www.anthropic.com/research/agentic-misalignment —— 在模擬情境中多家模型會勒索/洩密以避免被替換;對應 OWASP ASI10。
- Computer use 文件(含安全警示):https://docs.anthropic.com/en/docs/build-with-claude/computer-use
- Sleeper Agents(2401.05566)。
Microsoft
- Spotlighting(2403.14720)、PyRIT(2410.02828)、Fides IFC(2505.23643)。
- MSRC 防禦 IPI 的部落格與 Copilot Studio 對 OWASP Agentic 的對照文:網站擋自動抓取(403),本次未能驗證,未列連結。
Meta
- Agents Rule of Two:https://ai.meta.com/blog/practical-ai-agent-security/
- PurpleLlama(Llama Guard、Prompt Guard、CodeShield、LlamaFirewall):https://github.com/meta-llama/PurpleLlama ;Prompt Guard 模型:https://huggingface.co/meta-llama/Prompt-Guard-86M
OpenAI
- Instruction Hierarchy(2404.13208)。
- 關於 Atlas 瀏覽器 agent 的 prompt injection 強化文章:openai.com 擋自動抓取(403),未驗證,未列連結。
NVIDIA
- AI Red Team 實務建議:https://developer.nvidia.com/blog/practical-llm-security-advice-from-the-nvidia-ai-red-team/
- garak(repo、2406.11036)、NeMo Guardrails(repo)。
- OpenShell:https://github.com/NVIDIA/OpenShell —— 自述為「the safe, private runtime for autonomous AI agents」,以 sandbox runtime 方式限制 agent 的檔案/網路/程序權限。代表廠商正把重點從「模型」移到「執行環境」。
資安公司
- Invariant Labs(已被 Snyk 收購):tool poisoning、GitHub MCP、WhatsApp MCP(https://invariantlabs.ai/blog/whatsapp-mcp-exploited)。
- Trail of Bits:MCP line jumping(https://blog.trailofbits.com/2025/04/21/jumping-the-line-how-mcp-servers-can-attack-you-before-you-ever-use-them/)。
- General Analysis:Supabase MCP 洩漏整個 SQL DB(https://generalanalysis.com/blog/supabase-mcp-blog)。
- Legit Security:CamoLeak(Copilot Chat 洩漏私有程式碼)https://www.legitsecurity.com/blog/camoleak-critical-github-copilot-vulnerability-leaks-private-source-code
- Koi Security:postmark-mcp 惡意套件 https://www.koi.ai/blog/postmark-mcp-npm-malicious-backdoor-email-theft
- Brave:Perplexity Comet 間接注入 https://brave.com/blog/comet-prompt-injection/
- PromptArmor:Slack AI exfil https://promptarmor.substack.com/p/data-exfiltration-from-slack-ai-via
- Aim Security:EchoLeak(網站 403,以 HN 討論串與 NVD CVE-2025-32711 佐證,見 06-incidents)。
D. 標準文件
- MCP Authorization spec(OAuth 2.1、resource indicators、禁止 token passthrough):https://modelcontextprotocol.io/specification/2025-06-18/basic/authorization
- MCP Security Best Practices(confused deputy、token passthrough、session hijacking):https://modelcontextprotocol.io/docs/tutorials/security/security_best_practices
- NIST、OWASP、MITRE 見 02-threat-taxonomy-owasp。