02 威脅分類：OWASP / MITRE ATLAS / NIST
索引：README｜原理見 01-principles｜防禦見 08-defenses
A. OWASP Top 10 for LLM Applications 2025
來源：https://genai.owasp.org/llm-top-10/
| ID | 名稱 | Agent 情境下的具體手法 | 主要防禦 |
|---|---|---|---|
| LLM01 | Prompt Injection | direct / indirect、多模態（圖片、隱藏文字、Unicode tag 字元）、payload splitting | 架構隔離（dual LLM/CaMeL）、Rule of Two、HITL |
| LLM02 | Sensitive Information Disclosure | 從 context 洩漏 PHI、system prompt、他人資料 | 資料最小化、輸出過濾、per-user 授權 |
| LLM03 | Supply Chain | 惡意 MCP server、模型權重、LoRA、套件 | pin 版本、簽章、內部 registry |
| LLM04 | Data and Model Poisoning | 訓練資料/微調/RAG 投毒；醫療 LLM 只需 0.001% 錯誤 token 即可污染（Nature Medicine 2025） | 資料來源治理、評估 |
| LLM05 | Improper Output Handling | LLM 輸出直接進 shell / SQL / HTML / markdown 圖片 → RCE、XSS、exfil | 把輸出當不可信輸入，escape、CSP |
| LLM06 | Excessive Agency | 功能過多、權限過大、自主過高 | least privilege、consequential action 需核准 |
| LLM07 | System Prompt Leakage | 把秘密/規則放 system prompt | system prompt 不放秘密；授權不靠 prompt |
| LLM08 | Vector and Embedding Weaknesses | RAG 跨租戶洩漏、embedding inversion、向量庫投毒 | 向量庫 ACL、來源標記 |
| LLM09 | Misinformation | hallucinated package、錯誤臨床建議 | grounding、人審 |
| LLM10 | Unbounded Consumption | 迴圈、token 爆量、denial-of-wallet | quota、step limit |
B. OWASP Agentic：Threats & Mitigations 與 Top 10 for Agentic Applications 2026
- Agentic AI – Threats and Mitigations（2025-02，v1.1 於 2025-12 同步）：https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
- Top 10 for Agentic Applications 2026（2025-12-09 發布）：https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
| ID | 名稱 | OWASP 引用的代表事件 | 對應攻擊技術 |
|---|---|---|---|
| ASI01 | Agent Goal Hijack | EchoLeak | IPI、惡意文件、偽造 A2A 訊息 |
| ASI02 | Tool Misuse & Exploitation | Amazon Q extension 事件 | 合法工具被串接成破壞、tool output 操控 |
| ASI03 | Identity & Privilege Abuse | 外洩 credential 被 agent 超範圍使用 | confused deputy、token passthrough、role chain |
| ASI04 | Agentic Supply Chain | GitHub MCP exploit | tool poisoning、rug pull、惡意 MCP/skills |
| ASI05 | Unexpected Code Execution (RCE) | AutoGPT RCE | 自然語言→code→exec、改設定檔逃脫 |
| ASI06 | Memory & Context Poisoning | Gemini memory attack | 長期記憶/RAG 投毒、carryover |
| ASI07 | Insecure Inter-Agent Communication | — | 冒充 agent、竄改訊息 |
| ASI08 | Cascading Failures | — | 錯誤在多 agent pipeline 放大 |
| ASI09 | Human-Agent Trust Exploitation | — | 用流暢解釋騙人類按「核准」、approval fatigue |
| ASI10 | Rogue Agents | — | misalignment、隱匿、自主越權（參考 Anthropic agentic misalignment） |
（表中「代表事件」取自 OWASP 2025-12-09 發布文：https://genai.owasp.org/2025/12/09/owasp-top-10-for-agentic-applications-the-benchmark-for-agentic-security-in-the-age-of-autonomous-ai/ ）
C. MITRE ATLAS
https://atlas.mitre.org/ —— 仿 ATT&CK 的 AI 攻擊 tactic/technique 矩陣。和 agent 最相關的 technique：
- LLM Prompt Injection（Direct / Indirect）
- LLM Jailbreak
- LLM Plugin Compromise（工具/外掛被濫用）
- LLM Data Leakage、LLM Meta Prompt Extraction
- Poison Training Data、Publish Poisoned Models、ML Supply Chain Compromise
- 近年版本陸續加入 AI agent 相關 technique 與 case study（如 agent 設定檔修改、透過 AI agent 做 exfiltration）。實作時以網站上最新 ID 為準（ID 會更新，本文不寫死編號以免錯誤）。 用途：紅隊演練報告與 SOC 偵測規則的共同語言。
D. NIST
- AI RMF 1.0（NIST AI 100-1, 2023）：Govern / Map / Measure / Manage 四功能。https://doi.org/10.6028/NIST.AI.100-1
- NIST AI 600-1 Generative AI Profile（2024-07）：列出 12 類 GAI 風險（含 Information Security、Data Privacy、Information Integrity、Value Chain and Component Integration 等），與對應 action。https://doi.org/10.6028/NIST.AI.600-1
- 實務意義：AI RMF 是治理框架，告訴醫院「要有誰負責、要量什麼」；OWASP/ATLAS 是技術清單。醫院內部 SOP 可以 NIST 為骨、OWASP 為肉。
E. 對照：一條攻擊鏈如何跨框架
以「病人上傳 PDF 內含隱藏指令 → 病歷摘要 agent 讀取 → 呼叫寄信工具外送他人病歷」為例：
- OWASP LLM01 + LLM06 + LLM02；Agentic ASI01 → ASI02 → ASI03
- ATLAS：Indirect Prompt Injection → LLM Plugin Compromise → Exfiltration
- Lethal trifecta 三腳齊備（01-principles）
- NIST 600-1：Information Security + Data Privacy
- 解法：醫院落地原則：「讀不可信文件的 agent 不得持有對外通訊工具」。