聊天模型回答一个问题，错误通常停留在文字里；AI Agent 若能发送邮件、修改文件或下单，错误就会改变外部世界。代理的价值来自行动能力，风险也来自同一个地方。
理解 Agent 不需要先记住所有框架。最重要的是看清一个循环：观察当前状态，选择下一步，调用工具，读取真实结果，再决定继续、求助还是停止。缺少任何一环，系统都可能把猜测当成事实。
## 先分清工作流与代理
固定工作流的步骤由开发者预先定义，例如提取发票字段、校验总额、写入数据库。代理则根据任务和中间结果动态决定步骤，适合无法提前穷举路径的问题。
能用工作流解决的任务，不必强行增加自主性。固定路径更容易测试、解释和回滚。只有当任务需要根据环境变化探索，例如跨多个资料源研究或修改未知代码文件时，代理才显示优势。
Anthropic 的实践总结也强调，从简单增强模型和组合工作流开始，复杂度只有在可测地改善结果时才值得增加。
## 工具接口决定代理能做对什么
模型不是直接操作世界，而是通过工具。工具名称、参数、返回值和错误信息越清楚，代理越容易正确选择。
一个含糊的“管理账户”工具可能同时包含查询、修改和删除，风险很高。拆成只读查询、受限更新和单独删除，并给每个动作明确前置条件，能减少误用。
返回值也应包含真实状态。工具调用成功不等于目标完成，系统需要检查生成的文件、数据库记录或页面状态，而不是仅看到 HTTP 200 就宣布完成。
## 权限要按任务临时授予
代理不应默认拥有用户全部权限。更稳妥的是最小权限、短期凭证和作用域限制。读取某个项目不代表可以读取所有项目，创建草稿也不代表可以直接发送。
高影响动作需要确认点，例如转账、公开发布、删除和不可逆修改。确认界面要展示具体对象与变化，不能只问一句“是否继续”。
沙盒可以隔离代码执行和文件操作，但沙盒本身也要测试网络、路径和资源限制。代理发现绕过方式时，系统应把它当成失败，而不是聪明表现。
## 记忆不是越多越好
上下文窗口保存当前任务，外部记忆保存跨会话信息。二者都可能混入过期事实、错误总结和不该长期保留的敏感内容。
记忆需要来源、时间和作用域。用户明确偏好可在授权后保存，任务中的临时草稿则应结束后清除。检索记忆时，系统应优先当前事实，并允许用户查看和删除。
摘要会压缩上下文，也会丢失限制条件。长期任务应保存关键决策与原始证据链接，而不是只留下模型自己写的故事。
## 停止条件是系统设计的一部分
代理可能重复搜索、在两个工具间循环，或不断改写已经合格的结果。必须设置最大步骤、时间、成本和失败重试次数。
更重要的是语义停止条件：完成标准是什么，何时证据不足，哪些情况必须向用户提问。开放任务可以让代理提出计划，但每一步仍需由环境结果推进，而不是靠内部确信。
错误恢复也要区分可重试与不可重试。网络瞬断可以退避重试，权限不足则应停止并说明；重复提交订单绝不能被当成普通重试。
## Agent评测要看轨迹，不只看答案
多步骤系统可能用错误方法碰巧得到正确结果，也可能在中间造成不必要修改。评测应保存完整轨迹：每次模型输出、工具参数、返回状态、文件变化和人工确认。
测试任务需要明确初始环境和成功条件。代码代理可以用测试和 diff 评分，客服代理可检查最终状态、事实引用与升级路径。每个任务应运行多次，因为一次成功不能代表稳定。
除了成功率，还要看副作用、步骤数、工具错误、人工接管、成本和尾部延迟。上线前的固定回归集与线上抽样回放应共同存在。
## 防提示注入要从信任边界入手
代理读取网页、邮件和文档时，会遇到由外部作者写入的指令。模型可能把资料内容误当成系统命令，这就是提示注入的一类来源。
系统应区分指令与数据，给外部内容低信任标记，限制它触发高权限工具。敏感动作应依据用户原始意图和明确策略，而不是网页里的一句话。
检索与工具输出还要做最小化，只把任务需要的信息交给模型。把整个邮箱或文件系统无差别塞进上下文，会扩大泄露和混淆面。
## 好代理让边界清楚可见
可靠 Agent 不必表现得全能。它应让用户知道正在做什么、使用哪些工具、哪些步骤需要确认，以及哪里缺少证据。失败时给出当前状态和可恢复路径，比生成一段自信解释更重要。
代理系统的核心工程问题始终是可控行动：工具是否清楚，权限是否最小，状态是否验证，轨迹是否可测，停止是否可靠。模型能力会快速变化，这些原则仍决定它究竟是有用助手，还是一个把语言错误扩散到现实的自动化脚本。
## 参考资料