AI 有害流程分析

现在广为流传的玩笑——MCP 中的 S 代表“安全”——代表了一个非常真实的问题。当智能体通过工具调用或 API 调用彼此通信时，它们可能很快遭遇被称为致命三威胁的情况：访问私有数据、接触不可信内容，以及能够进行外部通信。具备这三项的智能体极易受到攻击。由于 LLM 倾向于遵循输入中的指令，包含向不可信源导出数据指令的内容很容易导致数据泄露。一种新兴的缓解风险技术是 有害流程分析，它通过检查智能体系统的流程图来识别潜在不安全的数据路径，以便进一步调查。虽然仍处于早期阶段，但有害流程分析代表了若干有前景的方法之一，用于检测智能体系统和 MCP 服务器日益暴露的新攻击向量。