AI 创业团队最容易画出一张华丽的技术路线图：多模型路由、知识图谱、智能体集群、自动微调和私有化部署一应俱全。真正上线后，却可能发现用户的问题只需要一个稳定的检索流程和清晰的确认按钮。
路线规划的起点不是模型清单，而是一项高频、昂贵、容易验证的任务。技术的职责是缩短这个任务的闭环，并在用户、数据和流量变化时保持可靠。
## 第零阶段：先用人工完成十遍
选择一个窄场景，例如把客户访谈整理成可追踪需求，或从设备日志中定位候选故障。团队成员亲自完成至少十个真实案例，记录输入、步骤、判断、异常和最终采用结果。
这一步会暴露模型看不到的隐性工作：资料散落在哪里，哪个字段必须向用户追问，哪些结果需要主管确认，错误能否撤销。没有人工基线，自动化只能优化想象中的流程。
建立最简单的价值指标，例如每个任务节省的有效分钟、一次通过率和用户最终采用率。生成字数、调用次数和聊天轮数不代表价值。
## 第一阶段：做可丢弃的原型
原型只证明一个核心假设。用托管模型、简单数据库和人工审核，把真实输入走通到真实输出。暂时不追求多租户、复杂权限和极致扩容，但要保存每次输入、模型版本、提示、输出和人工修改。
把失败样本做成第一版评测集。五十到两百个经过确认的案例，往往比一份抽象需求文档更能指导选择模型。每个案例写明理想结果、不可接受错误和评分方法。
先比较“无 AI 人工流程”“单次模型调用”和“模型加检索或工具”三种基线。很多产品并不需要训练新模型，只需要把正确资料在正确时机送入上下文。
## 第二阶段：选择最短可行架构
如果任务主要依赖公开知识和语言转换，提示加通用模型可能够用。若答案必须依据内部资料，加入带来源的检索。若模型需要查询库存、创建工单或计算价格，使用结构化工具接口。
只有在稳定任务上积累了足够高质量样本，并且提示、检索和工具仍达不到门槛时，再评估微调。训练基础模型通常不适合早期团队，因为数据、算力和评测成本远高于表面训练费用。
为模型保留替换接口。业务层定义统一输入输出，供应商适配放在边界。不要让产品数据结构直接长成某个模型的响应格式，否则一次升级就会牵动全栈。
## 第三阶段：先评测，再提速
每次改变模型、提示、检索参数或工具描述，都运行同一套离线评测。指标按任务拆分：字段提取看准确率，摘要看事实覆盖，代理任务看成功率、错误动作和平均步骤。
OpenAI 的 Evals 接口把评测标准与数据源配置为可重复运行的对象；无论使用哪家模型，核心思想都是把“感觉更好”改成版本间可比较的结果。
评测集要不断加入线上新失败，但保留一部分长期不变的核心样本。只追着最新错误改，会让旧能力悄悄回退。
质量达到最低门槛后，再优化延迟和成本。先删除不必要的上下文、缓存稳定资料、并行独立调用，再考虑小模型路由。所有路由都必须回到同一评测集验证。
## 第四阶段：把人放在高风险动作前
模型生成建议和模型执行动作是两种产品。发送邮件、修改订单、删除数据或提交付款之前，应展示目标、参数和影响，让用户确认。
工具权限按任务最小化。一个只需查询库存的助手，不应同时拥有改价能力。写操作使用幂等键、预览和审计记录，重试时避免重复执行。
定义模型不确定或工具失败后的路径：追问用户、转人工、保存草稿或停止。一个明确停止的系统，比带着错误假设继续行动更可靠。
## 第五阶段：建立生产可观测性
传统服务监测 CPU、错误率和延迟；AI 产品还要记录模型版本、token、检索命中、工具调用、用户纠正和任务结果。日志中的敏感数据应最小化，并使用内部任务 ID 串联过程。
给每个请求保存可追踪标识。供应商超时、输出变化或用户投诉时，团队能够复现当时的版本与路径。模型应使用固定版本或明确升级窗口，新版本先跑回归再接少量流量。
Google 的生产机器学习资料强调，真实系统中模型代码只是很小一部分，周围还有数据验证、配置、自动化、服务和监测。原型到产品的距离，主要就藏在这些部分。
## 第六阶段：用单位经济约束架构
计算一次成功任务的完整成本，包括模型、向量检索、存储、工具 API、人工复核和失败重试。单次调用便宜，不代表任务便宜；代理循环十次后才成功，成本会快速放大。
同时观察毛利与质量。换成小模型若节省一半推理费，却让人工复核翻倍，整体经济性可能更差。按客户类型和任务难度切片，找到最适合自动化的部分。
容量规划从真实流量曲线出发。日均请求很低但集中在早晨十分钟，峰值并发比平均值更重要。设置预算上限、队列和降级模式，避免一次异常循环耗尽额度。
## 一条四阶段路线
探索期交付人工流程图、五十个样本和一个价值指标。验证期交付单点原型、离线评测与十名真实用户的任务结果。
试运行期加入检索或工具、人工确认、完整日志、失败回退和单位成本。增长期才建设多模型路由、自动评测、灰度发布、容量管理和按需微调。
每个阶段都设置退出条件。例如四周后任务采用率仍低，就重新选择问题；评测达标但使用率低，就修流程而不是继续换模型；单位经济无法成立，就缩短上下文或改变服务边界。
AI 创业的技术优势很少来自一次选中“最强模型”。更持久的优势是把真实失败变成数据，把数据变成评测，再把评测变成可回滚的工程决策。路线图因此不是一条直线，而是一组有证据的下一步。
## 参考资料