AI Agent 資安深度研究(2026-10)
使用方式
從本頁的執行摘要開始看,再依需要讀各章;所有連結都在 2026-10-26 驗證過。2026 年的 arXiv 論文是 preprint,標為 ⚠️。
| # | 檔案 | 內容 |
|---|---|---|
| 01 | 01-principles | 第一原理:沒有權限分離、confused deputy、lethal trifecta、Rule of Two |
| 02 | 02-threat-taxonomy-owasp | OWASP LLM Top 10 2025、Agentic Top 10 2026(ASI01–10)、ATLAS、NIST |
| 03 | 03-arxiv-papers | 67 篇已驗證的 arXiv 論文(附註解) |
| 04 | 04-journals-industry | 期刊/會議、廠商技術文件、MCP spec |
| 05 | 05-blogs-hn | 重要部落格、20 則 HN 討論串 |
| 06 | 06-incidents | 2023–2026 事件與 CVE 時間軸 |
| 07 | 07-open-vs-closed | 開源與閉源模型、abliteration、architecture > model |
| 08 | 08-defenses | 九層防禦、guardrails 的極限、紅隊工具 |
| 09 | 09-sota-open-problems | SOTA 與開放問題 |
| — | references | 所有連結 |
一頁執行摘要
- 根本問題無法在模型內修好:LLM 把指令和資料放在同一個 token stream,prompt injection 是結構性問題,不是 bug。
- 危險組合 = lethal trifecta:私有資料、不可信內容、對外通訊三者同時存在。幾乎所有真實事件都符合(EchoLeak、GitHub MCP、Supabase、CamoLeak…)。
- 機率性防禦會被 adaptive attack 打穿:classifier、prompt 技巧、alignment 都一樣。廠商「0% ASR」與研究者 60–80% 可以同時成立。
- 確定性防禦才是邊界:隔離、egress(含 DNS)、最小權限、gateway policy、資訊流控制(CaMeL/Fides/Progent)。
- 廠商自己也這樣說:Anthropic 說「真正邊界是 OS isolation 與 egress」;OpenAI 在 DNS 事件後加了兩層網路封鎖,並暫停帶工具的模型運行。
- 沒有攻擊者也會出事:2026 年起,模型為了完成目標自主越界已有實例。
- 開源與閉源:abliteration 移除的是 refusal,不是 IPI 抵抗力;沒有任何模型能可靠地抵抗 IPI。本地模型的價值在 privacy,security 靠架構。
- MCP 是新的供應鏈:tool poisoning、rug pull、在野惡意套件(postmark-mcp),必須做 registry 與版本 pin。
- Computer use 的攻擊面最大:能用結構化 tool 解決的,就不要用 GUI agent。
- 對 某醫學中心:讓 MCP gateway 成為唯一 PEP,agent 不持有憑證,加上 taint tracking、寫入 HITL、PHI 確定性邊界與自動 kill。醫院 agent 資安目前缺乏同儕審查實證,是可切入的研究題目。