模型选型决策：什么时候 Prompt/RAG/工作流/Fine-tune
用一棵决策树选技术方案，清楚每档代价，并学会跟算法提需求时说人话、对齐预期
- 掌握 Prompt→RAG→Agent工作流→Fine-tune 的决策顺序
- 说清每档在成本、上线速度、维护难度、数据量上的代价
- 学会跟算法提需求时怎么对齐预期
先想清楚：打车、地铁还是开车
技术选型像选出行方式：近就打车（Prompt 改改最快），路远且要查线路就坐地铁（RAG 查知识库），要自己执行一系列动作就开车（Agent/工作流），天天固定一条线、还要养成专属风格才值得买车（Fine-tune）。没有最好的方式，只有最匹配当前问题、代价又最划算的方式。
一棵决策树：从便宜到重
按下面顺序逐级升级，能在上一档解决就别跳到下一档——越往下越贵、越慢、越要数据。
问题只是指令不清、格式不对、风格不对，改提示词就能解决。零额外成本、当天可上线。先把这档榨干。
模型不知道你们公司的私有资料/产品文档，不是它不会写，是它没资料。接 RAG 把知识库检索进来让它基于资料回答。
任务需要查订单、调接口、走多步、拿工具结果再决策，纯对话模型做不到，要编排工作流/Agent 让它能调工具。
只有当你有大量高质量标注数据、且要把某种固定风格/格式/行为深度固化到模型里时，才值得微调。成本最高、上线最慢、维护最重，别一上来就微调。
每档的代价对比
成本：Prompt 最低，Fine-tune 最高。
上线速度：Prompt 当天，RAG/工作流按周，Fine-tune 按月。
维护难度：Prompt/RAG 改文字和知识库即可，微调要持续喂数据、重训、再评测。
数据量要求：前两档几乎不要数据，微调要成规模的高质量标注数据。
选型时三个量要一起权衡，别只看效果：效果（准确率/采纳率）、成本（每次调用花多少钱、烧不烧得起）、延迟（用户等几秒能接受）。同样一个需求，用最大的模型效果最好，但一次调用贵几分钱、用户等 5 秒，量大了根本跑不起；换小模型效果降一点，但便宜又快，批量上反而更划算。PM 的工作不是选「最聪明」的，是选「效果够好、成本扛得住、延迟能接受」的那个平衡点。
效果：抽检 200 条看采纳率够不够成本：算一次调用多少钱 × 预估日活 × 30 天，月成本能不能接受延迟：用户能等几秒？聊天类超过 3 秒就开始流失三个里先卡死延迟和成本这两条红线，再在里面挑效果最好的。
什么时候不该用 AI：规则更可靠
决策树的第一步不是选哪档 AI，而是先问「这件事到底要不要 AI」。如果规则就能解决——比如金额校验、状态机流转、固定格式转换——用代码 if/else 又快又准又便宜，上大模型反而引入幻觉和延迟。AI 适合的是「输入开放、没有明确规则、需要理解语义」的问题；凡是能写死规则的，别为了显得技术先进硬上 AI。
该用规则的：金额不能为负、订单状态只能按固定顺序流转该用 AI 的：用户问题千奇百怪、没有固定答案、要理解自然语言拿不准就先上规则，跑不通再考虑 AI。
模型降级策略：大模型挂了怎么办
生产环境不能把宝全压在一个大模型上。要设计降级链：主调用大模型 → 超时/报错时自动切小模型 → 小模型也挂就走规则兜底或固定话术。用户最好别感知到模型挂了。就像网站有 CDN 备份一样，AI 产品也要有「大的不行用小的、小的不行用规则」的退路，否则一次模型服务抖动就全站白屏。
第一层：大模型（效果最好，慢且贵）第二层：小模型/便宜模型（快，效果略降）第三层：规则兜底/固定话术（最差但绝不挂）每层之间自动切换，别让用户看到报错页。
跟算法提需求怎么说人话
别丢一句“你帮我做个更聪明的客服”。要说清四件事：目标是什么、什么算好（可测标准）、边界和红线在哪、现在的 badcase 长什么样。把验收标准和例子给足，算法才能和你对齐预期，而不是互相猜。
你要做一个“基于公司内部产品手册回答员工问题”的助手，手册经常更新。最合适的第一选择是？
财务系统要校验「退款金额不能超过原订单金额」，最合适的做法是？
资深工程师加餐
底层原理 · 大厂视角 · 工程经验，点卡片展开
提示词就是 AI 功能的「代码」，改一个词都可能让效果波动。应把 prompt 纳入版本库、记录每次改动对应的评测分数，改动先在评测集回归、再小流量灰度，而不是线上直接覆盖。配合 A/B 与线上 badcase 标注，才能回答「这次改动到底变好了还是变差了」。把 prompt 当玄学随手改，是 AI 产品最常见的工程事故来源。