04 期刊/頂會論文與廠商報告

索引:README|arXiv 清單 03-arxiv-papers

A. 已同儕審查的頂會論文(以 arXiv 版連結;會議別依作者公告)

論文發表連結要點
Greshake et al., Indirect Prompt InjectionACM AISec ‘23 (CCS workshop)https://arxiv.org/abs/2302.12173IPI 的定義與實證
Liu et al., Formalizing & Benchmarking PIUSENIX Security ‘24https://www.usenix.org/conference/usenixsecurity24/presentation/liu-yupei形式化與防禦評估
Chen et al., StruQUSENIX Security ‘25https://www.usenix.org/conference/usenixsecurity25/presentation/chen-sizhe結構化查詢+微調
Chen et al., SecAlignACM CCS ‘25https://arxiv.org/abs/2410.05451preference optimization
Debenedetti et al., AgentDojoNeurIPS ‘24 Datasets & Benchmarkshttps://arxiv.org/abs/2406.13352標準 benchmark
Chen et al., AgentPoisonNeurIPS ‘24https://arxiv.org/abs/2407.12784memory/RAG 投毒
Arditi et al., Refusal single directionNeurIPS ‘24https://arxiv.org/abs/2406.11717abliteration 原理
Qi et al., Fine-tuning compromises safetyICLR ‘24https://arxiv.org/abs/2310.03693微調移除安全性
Zhang et al., ASBICLR ‘25https://arxiv.org/abs/2410.02644agent 攻防 benchmark
Gu et al., Agent SmithICML ‘24https://arxiv.org/abs/2402.08567多 agent 感染
Zhu et al., MELONICML ‘25https://arxiv.org/abs/2502.05174masked re-execution
Zhan et al., InjecAgentACL Findings ‘24https://arxiv.org/abs/2403.02691IPI benchmark
Zhan et al., Adaptive attacksNAACL Findings ‘25https://arxiv.org/abs/2503.00061防禦被繞過

會議別為依論文首頁/作者公告整理,本次未逐一打開會議論文集頁面核對(USENIX 兩篇已驗證)。

B. 醫療/臨床

  • Alber et al., “Medical large language models are vulnerable to data-poisoning attacks”, Nature Medicine 2025. https://doi.org/10.1038/s41591-024-03445-1 —— 只替換訓練資料中 0.001% token 為醫療錯誤資訊,模型即更易產生有害臨床內容,且標準醫療 benchmark 偵測不到。啟示:benchmark 分數高不代表沒被投毒;醫院自建/微調模型需資料來源治理。
  • Sakib, Zhu, Uzuner 2026(preprint) https://arxiv.org/abs/2610.22594 —— 醫療多 agent 討論系統對 PI 脆弱(最高 61%)。
  • 本次未能找到經同儕審查、專門討論「醫院 agent + 工具呼叫」資安的期刊論文(多數臨床 AI 期刊文章談 hallucination/bias,而非 prompt injection)。這本身是一個研究缺口,也是值得投入的研究題目(見 09-sota-open-problems)。

C. 廠商與研究機構報告

Google / DeepMind

Anthropic

Microsoft

  • Spotlighting(2403.14720)、PyRIT(2410.02828)、Fides IFC(2505.23643)。
  • MSRC 防禦 IPI 的部落格與 Copilot Studio 對 OWASP Agentic 的對照文:網站擋自動抓取(403),本次未能驗證,未列連結。

Meta

OpenAI

  • Instruction Hierarchy(2404.13208)。
  • 關於 Atlas 瀏覽器 agent 的 prompt injection 強化文章:openai.com 擋自動抓取(403),未驗證,未列連結。

NVIDIA

資安公司

D. 標準文件