從 Prompt Injection 到 Autonomous Failure:OWASP Top 10 揭示 Agentic AI 安全模型已徹底改寫
過去保護的是「模型輸出(Model Output)」;現在必須開始保護「自主行為(Autonomous Behavior)」。當 AI 開始能自己規劃、自己調工具、自己執行任務時,傳統的 LLM 安全模型已經不夠用。 一場新的安全危機:AI 已不只是回答問題 # 如果還把大型語言模型(LLM,Large Language Model)理解成「一個會回答問題的聊天機器人」,那麼可能低估了未來兩年的系統風險。
2023 年的 AI 系統,多半是這樣運作:
flowchart LR A([User Prompt]) --> B[LLM] --> C([Answer]) style A fill:#1F2937,stroke:#4B5563,color:#FFFFFF style B fill:#2563EB,stroke:#3B82F6,color:#FFFFFF style C fill:#1F2937,stroke:#4B5563,color:#FFFFFF 最嚴重的問題,大多停留在 Prompt Injection(提示詞注入攻擊)、Hallucination(幻覺,模型產生錯誤但看似合理的輸出)、資料洩漏、Jailbreak(越獄,繞過模型安全限制)。模型會亂講,但通常不會真的造成現實世界影響。
然而 2025–2026 的企業 AI 系統,已經開始長成另一個樣子:
flowchart TD A([User Request]) --> B[Planner Agent] B --> C[(Memory / RAG)] B --> D[Tool Calling] D --> E[Code Execution] D --> F[Other Agents] E --> G([Real-world Actions]) F --> G style A fill:#1F2937,stroke:#4B5563,color:#FFFFFF style B fill:#2563EB,stroke:#3B82F6,color:#FFFFFF style C fill:#1F2937,stroke:#4B5563,color:#FFFFFF style D fill:#D97706,stroke:#F59E0B,color:#FFFFFF style E fill:#D97706,stroke:#F59E0B,color:#FFFFFF style F fill:#D97706,stroke:#F59E0B,color:#FFFFFF style G fill:#DC2626,stroke:#EF4444,color:#FFFFFF AI 不再只是「生成文字」。它開始可以自主拆解任務(Planning)、呼叫 API(Tool Use)、執行 Shell / SQL / Python、存取企業資料、與其他 Agent 協作、擁有長期記憶(Memory)。