09 SOTA 與開放問題(截至 2026-10)

索引:README|論文 03-arxiv-papers

SOTA 現況

  1. 攻擊:adaptive / RL 自動化攻擊已成標準評估方法;固定 benchmark 數字逐漸失去說服力(2510.09023)。
  2. 防禦主流轉向系統層:CaMeL → Fides → Progent 一脈,以 capability、IFC、policy 語言提供可證明的保證;代價是 utility 下降與工程成本。
  3. MCP 生態:auth spec 補上 OAuth 2.1、resource indicators,但 tool poisoning、rug pull、供應鏈審核仍靠第三方掃描與流程。
  4. 模型自主越界成為獨立研究方向(OpenAI DNS 報告、Anthropic agentic misalignment、2026 的 CAPE 類 benchmark——見 03-arxiv-papers 2026 preprint 段,⚠️ 未經同儕審查)。
  5. 評測方法論:system prompt 變化造成 ASR 數量級差異(2610.23254),廠商「0% ASR」宣稱應視為 low-quality evidence。

開放問題

  • Utility–security trade-off 的量化:IFC 系統在真實多步任務的完成率損失多少?醫療流程是否可接受?
  • Policy 誰來寫:Progent 式 policy 需要領域專家;LLM 自動產生 policy 又引回機率性。
  • Multi-agent:agent 間訊息的信任與 taint 傳遞(ASI07)缺乏成熟標準。
  • Memory:長期記憶的 provenance 與遺忘機制。
  • Human-in-the-loop 疲勞:確認框太多→盲按(ASI09)。如何設計「少而關鍵」的確認點?
  • 稽核與法規:agent 行為的可追溯性如何對應醫療法規(病歷存取紀錄、個資法)。
  • 臨床場景實證缺口:未找到同儕審查的「醫院 agent 資安」實證論文(見 04-journals-industry)——這是可切入的研究題目。