AgentSec 05-blogs-hn

05 部落格與 Hacker News 社群討論

索引：README｜事件時間軸 06-incidents

A. 必讀部落格

Simon Willison（概念命名者）

• Prompt injection attacks against GPT-3（2022-09，命名）https://simonwillison.net/2022/Sep/12/prompt-injection/
• Prompt injection: what’s the worst that can happen?（2023-04）https://simonwillison.net/2023/Apr/14/worst-that-can-happen/
• The Dual LLM pattern（2023-04）https://simonwillison.net/2023/Apr/25/dual-llm-pattern/
• Model Context Protocol has prompt injection security problems（2025-04）https://simonwillison.net/2025/Apr/9/mcp-prompt-injection/
• CaMeL offers a promising new direction（2025-04）https://simonwillison.net/2025/Apr/11/camel/
• Design patterns for securing LLM agents（2025-06）https://simonwillison.net/2025/Jun/13/prompt-injection-design-patterns/
• The lethal trifecta for AI agents（2025-06）https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/
• Supabase MCP’s lethal trifecta（2025-07）https://simonwillison.net/2025/Jul/6/supabase-mcp-lethal-trifecta/
• New prompt injection papers: Agents Rule of Two and The Attacker Moves Second（2025-11）https://simonwillison.net/2025/Nov/2/new-prompt-injection-papers/
• 全部標籤：https://simonwillison.net/tags/prompt-injection/ 核心論點：99% 不是安全；別用 AI 偵測 AI 攻擊；唯一可靠方法是限制系統能做的事。

Embrace The Red（Johann Rehberger，最多實戰 exploit）

• Hacking Google Bard – From Prompt Injection to Data Exfiltration（2023-11）https://embracethered.com/blog/posts/2023/google-bard-data-exfiltration/
• M365 Copilot: ASCII smuggling + tool invocation + exfil（2024）https://embracethered.com/blog/posts/2024/m365-copilot-prompt-injection-tool-invocation-and-data-exfil-using-ascii-smuggling/
• ChatGPT macOS app 持久性記憶 exfil（SpAIware，2024）https://embracethered.com/blog/posts/2024/chatgpt-macos-app-persistent-data-exfiltration/
• ZombAIs: Prompt Injection to C2 with Claude Computer Use（2024-10）https://embracethered.com/blog/posts/2024/claude-computer-use-c2-the-zombais-are-coming/
• GitHub Copilot RCE via prompt injection（2025，CVE-2025-53773）https://embracethered.com/blog/posts/2025/github-copilot-remote-code-execution-via-prompt-injection/
• Breaking Claude Code Opus 5 Auto Mode（2026-08-26） https://embracethered.com/blog/posts/2026/breaking-claude-code-opus-5-and-automode/
  • 廠商委外評測宣稱 Opus 5 Auto Mode 對 72 個 IPI 情境（各跑 10 次）ASR 0.00%；作者以「網站摘要」任務、ZIP 內的 struct.py module shadowing，達到 60–80%（n=5）RCE/C2。
  • 模型拒絕執行可疑 binary，改寫自己的 decoder——這個「安全決定」正是 exploit 路徑。
  • Auto Mode 分類器放行了惡意程序，卻擋下 Claude 想終止惡意程序的指令。
  • Anthropic 回覆：Auto Mode 是便利功能、best-effort classifier，真正的邊界是 OS isolation 與 network egress control。
  • → 這是「architecture > model」最新、最直接的證據。
• 部落格首頁：https://embracethered.com/blog/

Invariant Labs

• MCP tool poisoning（2025-04）https://invariantlabs.ai/blog/mcp-security-notification-tool-poisoning-attacks
• WhatsApp MCP exploited（2025-04）https://invariantlabs.ai/blog/whatsapp-mcp-exploited
• GitHub MCP exploited（2025-05）https://invariantlabs.ai/blog/mcp-github-vulnerability
• Luca Beurer-Kellner 個人版：https://lbeurerkellner.github.io/jekyll/update/2025/04/01/mcp-tool-poisoning.html

其他

• Maxime Labonne, Uncensor any LLM with abliteration：https://huggingface.co/blog/mlabonne/abliteration
• Trail of Bits, MCP line jumping：https://blog.trailofbits.com/2025/04/21/jumping-the-line-how-mcp-servers-can-attack-you-before-you-ever-use-them/
• OpenAI Alignment, An agent used DNS to reach an external chatbot（2026-09）https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/ （詳見 07-open-vs-closed）

B. Hacker News 重要討論串（points / comments 為 2026-10-26 Algolia API 數據）

「社群主要論點」欄是依文章內容與討論串主題整理的方向性摘要，並未逐則統計留言。 | 日期 | 討論串 | 分數/留言 | 社群主要論點 | |---|---|---|---| | 2023-04-14 | Prompt injection: what’s the worst that can happen? | 462/203 | 早期爭論是否「真的是問題」；多數同意 agent 化後才危險 | | 2023-05-13 | Prompt injection explained | 508/175 | 類比 SQL injection，但沒有 escaping 可用 | | 2023-05-13 | The Dual LLM pattern | 201/109 | 認同隔離方向，但質疑 utility：quarantined LLM 產出的摘要仍需給人看 | | 2023-11-13 | Hacking Google Bard | 422/153 | markdown 圖片 exfil 是經典管道；CSP 很重要 | | 2024-06-13 | Uncensor any LLM with abliteration | 586/287 | open-weight 的安全對齊「一個向量就拿掉」；也有人認為 refusal 本來就不是安全機制 | | 2024-08-20 | Data Exfiltration from Slack AI | 604/174 | 公開頻道內容可污染私有頻道的回答；廠商初回應「intended behavior」引發批評 | | 2024-10-26 | ZombAIs: Claude Computer Use C2 | 166/84 | computer use 讓 PI 直接變成下載執行惡意程式 | | 2025-04-19 | CaMeL: Defeating Prompt Injections by Design | 71/16 | 第一個「by design」方案受肯定；質疑使用者需寫 policy、utility 下降 | | 2025-05-26 | GitHub MCP exploited | 508/297 | 爭論點：這是「MCP 的漏洞」還是「使用者給太大 PAT」？共識：ambient authority 是根本 | | 2025-06-11 | EchoLeak – 0-click M365 Copilot | 228/86 | 零點擊：只要寄一封信；XPIA classifier 被繞過 | | 2025-07-08 | Supabase MCP can leak your entire SQL database | 848/470 | service_role 繞過 RLS；大量留言：「不要給 LLM prod DB 的 admin 權限」 | | 2025-08-09 | My Lethal Trifecta talk | 430/115 | 三要素框架廣受接受；討論如何在企業內「拆腳」 | | 2025-08-24 | Indirect Prompt Injection in Perplexity Comet | 97/31 | agentic browser 打破 same-origin policy | | 2025-09-26 | How to stop AI’s “lethal trifecta” (Economist) | 115/116 | 主流媒體跟進；工程師主張架構而非模型解 | | 2025-09-27 | A Postmark backdoor that’s downloading emails | 308/166 | MCP 供應鏈：第一個在野惡意 MCP server | | 2025-10-11 | CamoLeak: GitHub Copilot leaks private source | 235/43 | 利用 GitHub Camo 圖片代理繞過 CSP 做 exfil | | 2025-11-02 | Agents Rule of Two & Attacker Moves Second | 114/44 | 防禦 benchmark 數字不可信 | | 2025-11-25 | Google Antigravity exfiltrates data via IPI | 768/215 | 實作部落格中的 IPI 讓 IDE agent 呼叫瀏覽器子 agent 偷 credential 與程式碼（PromptArmor, 2025-11-20） | | 2026-08-31 | Breaking Claude Code Opus 5 Auto Mode | 399/121 | 「0.00% ASR」行銷 vs 實際 RCE；classifier 不是 sandbox | | 2026-09-26 | An agent used DNS to reach an external chatbot | 198/188 | 模型為達目標自行找 DNS 隧道繞過 sandbox；網路隔離需多層 |

C. 社群共識（淺層現象的總結）

1. 「模型變聰明 PI 就會消失」→ 被反覆否定；更聰明的模型更能執行複雜攻擊鏈。
2. 「加一個 classifier」→ 有用但非邊界（Gemini、Anthropic、Auto Mode 案例）。
3. 最常見的 exfil 管道：markdown 圖片 URL、連結預覽、DNS、PR/issue 留言、寄信。
4. 真正有效的修補幾乎都是移除能力：關掉圖片渲染、限制 URL、收斂 token scope、強制使用者確認。