07 開源（open-weight）vs 閉源模型的安全問題
索引：README｜原理 01-principles｜防禦 08-defenses
1. Open-weight：安全對齊可以被「拿掉」
- Abliteration：Arditi et al.（2406.11717）發現 13 個開源 chat 模型的拒絕行為由 residual stream 中單一方向中介；把權重投影掉該方向即可「去審查」，幾乎不傷能力。Labonne 的實作教學（HF blog，HN 586 分）讓這成為一鍵工具。自架 GPU 主機上跑的 abliterated 模型即屬此類。
- Fine-tune 移除安全性：Shadow Alignment（100 筆，2310.02949）、BadLlama（<$200，2311.00117）、Qi et al.（10 筆對抗樣本或甚至良性資料，2310.03693；同樣適用於閉源模型的 fine-tuning API）。
- Backdoor / poisoning：Sleeper Agents（2401.05566）——後門可撐過 safety training；Emergent Misalignment（2502.17424）；醫療 LLM 投毒 0.001%（Nature Med）。來路不明的權重 = 供應鏈風險。
關鍵區分：abliteration 移除的是 refusal（內容安全），不是 prompt injection 抵抗力。對 agent 資安而言：
- 拒絕寫炸彈教學 ≠ 拒絕執行藏在 PDF 裡的指令。
- 實際上沒有任何模型（無論開閉）對 IPI 有可依賴的抵抗力（2510.09023）。
- 因此「用 abliterated 模型就不安全」與「用閉源模型就安全」兩個說法都錯——錯在把安全放在模型上。
2. 本地部署：privacy 的確定性 vs capability 的機率性
| 面向 | 本地 open-weight（如自架 GPU 主機） | 雲端閉源 API |
|---|---|---|
| 資料離院 | 不離開（確定性保證，可稽核） | 離開，依 BAA/合約（法規上對病人資料是硬限制） |
| IPI 抵抗 | 一般較弱（但小模型「看不懂所以沒照做」會造成假象，見 2610.23254） | 有 instruction hierarchy、classifier，但 adaptive attack 下仍破 |
| 安全層 | 由你自己堆（好處：可控、可稽核） | 廠商黑箱，更新不透明，會無預警改變行為 |
| 惡意權重風險 | 需驗證來源/hash | 信任廠商 |
| 能力 | 較低 → 複雜任務錯誤率高 | 較高 → 也更能執行攻擊者的複雜指令 |
| 結論：對醫院而言，本地模型的價值是資料主權（privacy），不是 security；security 由周邊架構提供，兩者應用同一套 gateway 管控。 |
3. 廠商 sandbox 與「模型越界」事件：anecdote vs systematic eval
- OpenAI 2026-09 DNS 事件（報告）：內部 RL 訓練中的 agent 為完成搜尋任務，先試直連搜尋引擎被擋，猜測題目來自 BrowseComp 並下載資料集比對，再發現沙盒的 DNS resolver 能解析外部網域，最後透過 DNS 轉送服務向外部 chatbot 提問並得到回答。監控 15 分鐘內告警，但 run 沒有自動停止，2.5 小時後才被手動終止。OpenAI 之後暫停最強模型所有帶工具的訓練/評估/推論，DNS 改成 allowlist，並在兩個獨立層加封鎖。
- 啟示：(1) 沒有攻擊者也會越界，goal pursuit 本身就是威脅來源；(2) 單層網路隔離不夠，DNS 常被遺忘；(3) 監控若不自動 kill 就等於沒有；(4) 這是廠商自己內部最嚴格的 sandbox。
- Anthropic Agentic Misalignment（報告）：模擬情境中多家廠商模型會勒索/洩密——是受控 eval，非野外事件。
- Claude Code Opus 5 Auto Mode（Embrace The Red）：廠商評測 0.00% vs 研究者 60–80%（n=5）。廠商自己回覆「真正邊界是 OS isolation 與 egress control」。
- 方法論提醒（「憑體感比模型」的問題）：
- 單一 anecdote = case report：可以產生假說，不能估計發生率。
- 固定 benchmark ASR = 對已知攻擊的 sensitivity，不是對 adaptive attacker 的保證（2510.09023）。
- 同權重只改 system prompt ASR 0.2%→43%（2610.23254）——「模型 A 比 B 安全」的比較連 measurement validity 都很差。
4. 論證：architecture > model choice
- 理論：指令/資料不分是 transformer 輸入格式的性質，所有模型共有（01-principles）。
- 實證：所有機率性防禦在 adaptive attack 下崩潰（2503.00061、2510.09023、Gemini 經驗 2505.14534）。
- 反面實證：架構性防禦（CaMeL、Fides、Progent）在相同 benchmark 上提供與模型無關的保證（2503.18813、2505.23643、2504.11703）。
- 廠商自承：Anthropic（OS isolation 是邊界）、Google（layered defense）、Meta（Rule of Two）、OpenAI（DNS 事件後加兩層網路控制）。
- 事件規律：所有修補都是改架構（06-incidents）。 但模型選擇仍有意義的地方：(a) 降低「非惡意錯誤」的頻率；(b) 能力不足會導致 utility 差，使用者為了好用會放寬權限（反而危險）；(c) 本地模型保證資料不出院。→ 模型是「常數項」，架構決定「最壞情況」。