第 15 章 上线与迭代

智能体产品的上线不止一个发布动作，要走一段三步路线，影子期、试点、放量，每步一道门，门是双向的，出了事按严重程度往回走；三步走完，产品从研发节奏换成运营节奏，之后的日常是迭代。第 6 章讲过智能体的行为会漂移，供应商换了底层模型、数据源改了口径、用户的问法变了花样，产品行为跟着变，团队常常最后一个知道，因此上线要同时准备两件事，怎么把产品安全地送出去，以及送出去之后怎么照看它，缺了后一件，送出去的就是一个没人盯的黑盒。15.1 讲三步路线的走法，15.2 立北极星加四条护栏的度量体系，15.3 讲可观测性看板，15.4 讲数据回流飞轮，15.5 讲灰度与对照的在线验证，15.6 案例线给出第一个季度的完整决策记录。

15.1 上线路线的三步，影子、试点、放量

三步路线的共同逻辑，是把一次上线拆成三次可退的机会，每步测一件事，影子期测能不能、试点期测用不用、放量测敢不敢。第 11 章 11.4 立过三道门的形式，每道门出什么题、谁评分、门槛怎么从基线里算出来；本节补路线这一半，三步各停多久、每一步的决策标准、什么情况下往回走。

影子期测的是能不能。智能体在真实环境里跑真任务，产出只给内部人对照，用户一概不见，8.2 的档位表里这是 L0。周报产品的做法第 6 章见过，它跑它的初稿，小周照常写他的，周一早上两份并排对，数字、方向、深浅逐项比。过线的凭据是连续的记录，任务集通过率连续几轮稳定过线，加上双份对照暴露的差距清单一轮轮收敛。单轮高分说明不了什么，多半是运气，同一版系统跑两轮分数自身就有波动，这是 6.3 讲过的。停留时长按风险定，只读的问答，一两周就能得出结论；带写操作、动钱动数据的，以月计。影子期要付一笔双份的成本，这笔成本在周报产品上已经算过，对照着看比核对一份多花一倍工夫。这笔成本买的是放行依据，差距清单收敛到什么程度、哪几类问题还在反复，都是下一道门的材料。影子期也不是越久越稳，成本每周都在付，差距清单要是一轮轮不收敛，问题就不在观察周数，在修复，该带着清单退回开发协作站改完再来；到了定好的时长还得不出结论，这本身就是结论。

试点期测的是用不用。真用户、真数据、小范围，产品以 L2 草稿人审的身份第一次见人，初稿交出去，人核过才算数。看点从评测换成三个数，真实用户采纳不采纳，人审驳回多不多，一单成本多少。这三个数没有一个能从评测里来，都得等产品进了真实使用才知道。试点有一个天然的陷阱要先点明，试点用户是挑出来的友好用户。第一批用上新产品的多是内部骨干、深度参与者、本来就盼着它成的人，他们的容忍度和反馈质量都高于将来的普通用户，所以试点期的数字天然偏乐观，读数时当底线看，不当预期看。对策是把圈缩到最小，先放一家店、一个部门、一条流程，反馈到手，再放第二家。停留时长跟着业务周期走，不是定一个日历天数，周报这类按周运转的产品，至少过两个完整的周，头一周用户在新奇期，第二周才回到日常；6.4 立过的正路在这里兑现，把发布做小，先拿第一批真反馈，回头把评测补扎实。还有一条纪律要立住，试点中途不大改。坏案例记台账进回流，不当场动手修；中途改了版本，前面的读数就断了可比性，三个数要从头再攒。

试点结束不是自动放量，中间隔着一页纸的放量决策，要填四个空。数字，连续几轮评测过线，加上试点期三个数稳住了；成本，一份产出的成本算不算得平，算法在第 12 章；线，哪类结论绝不自动发出，硬线在第 14 章；退路，出了事怎么降档、怎么回滚，演练做没做过。四空填齐再放大，缺一空，上线就没有保护。还有两根轴要分开动，档位是一根，范围是另一根，11.4 讲过，升档凭数字，放量走灰度，一根一根来。放量后的采纳也不按直线预期，新东西的用量起步慢，中段上升，新鲜感退了有一波回落，后期再回稳，容量和预期按这个形状定，不要拿头两周的涨幅外推全年的量（口径见本章参考资料）。

三步路线上有一种状态拖得最长，名字叫试点炼狱，试点期人人叫好，推广的时候推不动，项目就停在那里，进退两难。行业里给组织的人工智能成熟度分过级，低成熟度的组织普遍卡在这个状态，试点在局部成功了，扩展到全组织时失败，项目在一个个部门里反复立项、反复中止（口径见本章参考资料）。原因出在产品侧的有三样。第一样，试点成了一场靠特别照顾维持的演示，专人供料、友好用户、场景经过挑选，试点期的运转条件跟放量后完全不同，照顾一撤，运转立刻变样。第二样，度量没立住，试点结束时说不出采纳多少、驳回多少、一单多少钱，汇报里只有故事，没有数，决策会开成了印象分评审。第三样，成本没算平，第 12 章讲过的失败方式，试点惊艳，一放量月账单比月收入高。出路只有一条，试点从第一天起就按放量后的规矩运转，数据管道用真实的，人审按稳态口径记工时，用户圈子里放进普通用户，试点的每个数字都按放量的口径对得上。至于组织侧的原因，一线的抵触、中层的顾虑、高层的期望管理，第 16 章正面讲。

每道门都有成本，影子期是双份的人力，试点期是双轨的核对，门要设在风险与成本最划算的位置。门又是双向的，过门前进，出事退回，重大事故一票回退，不必逐级往下走。三步走完，产品的运转从研发节奏换成运营节奏，第一件事是立看板，15.2 展开。

15.2 度量体系，北极星与护栏

上线后的度量体系由一颗北极星指标加四条护栏组成，北极星答产品成没成，四条护栏各管一个侧面，放量、升档、推广的决定，都要过一遍这四条再决定。两层度量分工清楚，第 11 章的任务集判版本好坏，上线后的看板看日常健康，真实流量每天在发生什么；第 6 章承诺过，度量看板和可观测要在上线之前装好，影子期本身就要产出数据，双份对照的记录就是看板上的第一批曲线。

北极星指标（north star metric）11.3 立过标准，一句话讲得清，汇报不用解释。周报产品的北极星早在 7.4 就定了，周报初稿可用率，它就是任务完成率在这条产品线上的样子，初稿拿去能当底稿、改动不超过两三处、不动结论方向。选它当北极星，因为它直接连着价值，可用率过线，小周一个半工作日的归因活就真的省下来，那份 720 元的工时对价也就到手。北极星只能有一颗，两颗等于没有，汇报时哪颗不理想就拿另一颗辩解，团队优化时哪颗都不认真对待。北极星从业务里挑，不从指标库里挑，问法是这门生意靠什么活，周报产品靠小周真拿初稿省下工时，星就是初稿可用率；换一个产品，答案可能是错误批准数，可能是挽回的损失，11.3 举过医疗复核的例子。北极星管方向，护栏管下限，指标会不会以不该有的方式赢，这个问题的答案就在四条护栏里。

采纳率管的是用户真用不用它。可用率量的是产出质量，采纳率量的是用户行为，初稿交到小周手里，他拿它当底稿，还是整段重写。采纳率是价值的前置指标，质量再高，人不用，省下的工时就是零。它的分母要立清楚，给了多少次机会、采纳了多少次，机会按周算、按任务算，口径写下来，不然后面的曲线没法比。

人审率管的是那道关口要花多少人力。两个口径一起看，全检的比例占多少，每单摊多少分钟人审。第 12 章末尾立过这条，人审率是产品指标，不只是质量指标，更是容量指标，一百份乘每份十五分钟就是每周二十五小时，钱挣得回来，人力腾不出来。人审率的曲线往上走，先不要急着归因，要分开看，质量退化会推高它，用量增长也会推高它，两种原因两种处理，质量退化走 15.4 的回流修源头，用量增长按 12.5 的分档把稳定片区降为抽检。

单位成本管的是成本这一空。第 12 章算过一单任务的全成本，模型费、人审、摊销三行，上线后这三行变成看板上的周曲线，第 13 章的成本例会盯的就是它。它对着价值看回收，一份周报的全成本对着七百出头的工时对价，中间的差就是这门生意的空间；它也对着用量看走势，成本要随用量可预测地涨，涨得没数，放量就是赌博，这是 12.4 放量门那一空的原文。

满意度管的是人心。显式的评分和点评要收，但不要全信，问卷给分碍于面子普遍偏高；真正诚实的是行为，拿到答案换个问法再问一遍，说明头一个回答没用；连着追问三四次，那多半是困惑，不是热情；反过来，问得越来越勤、拿周报当聊天素材，就是真用起来了。问卷评分与实际行为不一致时，以行为为准。

五颗指标单独看都不作数，组合就是信号。有三组危险组合值得记住。完成率高、采纳率低，测试集能过、用户不认可，说明测试集跟现实脱节了，问法迁移、题目过期、评分要点松，问题在度量不在产品，回 11.2 翻任务集的分布。采纳率高、人审率涨，用得越多，要核对的越多，容量瓶颈在路上，要么质量在退化，要么该分档放权了，12.5 的分档方案在这一刻用上。单位成本降、完成率跟着降，是省钱省到了质量头上，降档降过了头，失败率高的便宜档摊上重试返工，未必比一次做对的贵档省钱，这个对比 12.2 算过，13.5 也警告过。第 11 章讲过的古德哈特定律在线上加倍生效，指标一旦成了考核，就有人钻空子，按完成率考核，他们就把难单转给人、只挑简单的接。防法还是那两条，指标成组互相牵制，定期顺着答卷抽查指标背后的动作。

看板立起来之后只有一个用法，每周对一次。例会开场五分钟，五颗指标过一遍，谁的曲线动了，问一句为什么，答不上来的那格就是本周要处理的问题。指标的定义本身要当成产品文档管，分母是什么、口径是什么、谁报数、多久刷新，写下来进版本管理。口径悄悄一漂，前后两条曲线就没法比，这种劣化不出声，等发现时半年的数据已经断了层。度量看板能答好不好，答不了它在干什么；后一件事归另一块看板，15.3 展开。

15.3 可观测性，上线后看得见它在干什么

可观测性回答度量看板答不了的问题，度量看结果，可观测看过程。看板能说出这周可用率掉了五个点，说不出某一单任务当夜发生了什么，跑了哪些步骤、翻了哪些表、数是从哪一步开始抄错的；产品经理迟早会遇到这样的单子，店长在群里说昨晚周报有个数跟后台对不上，要回答的第一个问题，不在错在哪，在它那晚到底干了什么。回答后一种问题，靠的是可观测性，第 6 章立下的那句话在这里落地。

可观测性的地基是一份完整的运行记录。智能体每做一单活，系统把它从头到尾记下来，转了几圈，每圈调了什么工具、拿回什么材料，花了多少词元，哪一步改了主意。工程侧把这份记录叫轨迹和链路，链路是一单任务的完整全程，轨迹是它一步步的决策过程。产品经理不用自己动手建这套东西，但要提三个产品需求。第一，按用户和会话可查，给一个店长的名字、一个周一的早上，他名下每一单活都能点开。第二，轨迹可回放，点开之后看到的顺序和材料，就是智能体当时看到的顺序和材料，11.3 给裁判配界面时立过同一条规矩，看到的跟真实发生的差得越远，判断越不可靠。第三，脱敏和留存，轨迹里存着用户的原始数据，它本身就是第 14 章讲过的用户数据，留存多久、谁能看、怎么删，那些规矩一条不少地管到它。采样的口径产品经理知道就行，出错的运行全量留，正常的按比例抽，出了事故临时全开，预算不花在噪声上（口径见本章参考资料）。

可观测看板上挂的东西有三样。第一样是过程量，圈数、工具调用的成败、每单耗时、词元消耗，这些数字走在结果指标前面，供料的管道坏了，可用率的曲线要晚好几天才跟着恶化，圈数那根线当天就上升，这些数字就是先行信号（口径见本章参考资料）。第二样是第 12 章立过的成本画像，每类任务一行、九个空的那页纸，当时说过它会挂上看板，此刻兑现，画像里的平均圈数、最差圈数，跟线上的实际圈数摆在一起，偏差一眼可查。第三样是问法分布，用户这周问了什么、跟上周比变了多少，问法迁移是行为漂移的头一个来源，这根线是 15.4 回流的原料。

告警怎么实现是工程的活，但产品经理要懂它怎么设计，不然分不清什么该半夜叫人、什么该白天排队。一条共同原则，盯模式，不盯绝对阈值。错误散着报是噪声，聚成片才报，按用户类型或问题主题聚拢的那种错误，指向的是系统性问题；成本跟上周同一时段比，高出一半才报，单纯的流量变大不算异常。成本异常有三种样子，尖峰，一夜翻倍，多半指向一次具体变化，几小时内要查清；渐进，每天涨一点，哪一天看都不起眼，几周滚成大数，比尖峰更难抓；最隐蔽的第三种，总量不动，单位产出的成本持续变差，同一件事花的词元越来越多，效率在退化（口径见本章参考资料）。

告警响了之后的三步，是产品经理的处置动作，一步都不能省。第一步分诊，问题归哪一类，数据、工具、提示词、模型、需求，11.6 分诊会的五类直接搬来用，分到哪类，工单派给谁。先分诊再动手，最忌讳的是看见错就改提示词，供料坏了去改提示词，错的原因还在，提示词越改越长，反倒改出新的风险，11.6 讲过提示词只加不删会前后冲突。第二步回滚，按严重程度排处置，单例坏案例记台账进回流；某一类错误成片出现，把那一类降档，全检恢复、暂停自动跑、必要时退回影子；重大事故一票回退，这道门 11.4 立过，是双向的。回退开关在放量门上演练过，谁有权触发回退、触发之后谁接手，写进值班表。第三步通报，对内，团队当周知道发生了什么、归了哪类、谁在修；对外，影响触达了用户的，10.5 的更正三件套走一遍，版本记录、已读提醒、影响盘点。事后复盘的口径有一条纪律，事实先写，解释后写，行动最后写；上线后的复盘不是庆功会，也不是追责会，它是一份半年后翻出来还能用的学习记录（口径见本章参考资料）。

两块看板缺一不可，各缺一块各有后果。只有度量看板，知道出了事，不知道出在哪，修复全靠猜，猜错了改提示词，小问题拖成大问题。只有可观测看板，每一单都看得见，说不出哪一单该看，看板成了日志浏览器，数据越多越没人看。两块合起来，处理 10.5 那种事故就有了完整的路径，看板定位这周哪类问题在涨，链路把那一单从头到尾调出来，分诊归类，动开关，通报收尾。两块看板的分工，一块说哪里不对劲，一块让人看清那里到底发生了什么。

15.4 数据回流飞轮，把错误变成资产

数据回流飞轮把线上错误变成资产，一圈四步，收、归、题、序。第 10 章 10.5 走的是一次事故的应急回路，这一节把它变成制度；第 10 章末尾说过，归因错了两次，收场换回四样进项，其中一样是两道现成的测试题，飞轮就是这个循环的日常化。

第一步收，把线上的错误收进池子。驳回的初稿、改动超过两三处的稿子、用户绕开它另找人做的单子、告警抓到的异常、裁判标了疑的答卷，全部进池。收的口径是产品定的，也是工程替代不了的，就是什么算坏。驳回算，改动一处算不算，两处呢，店长没点投诉但问法变了，算不算。这些边界写下来，就是回流池的准入规则。隐式信号也要收，15.2 讲过的行为读法在这里用上，换问法再问、中途走人、连着追问，都是没说出口的差评。

第二步归，双周分诊会归因。11.6 那场会的三步直接用，先分诊，数据、工具、提示词、模型、需求五类，分到哪类工单派给谁；再核对，失败类别跟北极星交叉着看，哪一类失败正在拖累可用率，就先修哪一类；后排序，这轮修哪三个、不修哪两个，连同不修的理由写下来。

第三步题，错题转测试题。回流的新题不直接进基线集，先进探索集，攒着验代表性，11.2 立的纪律，基线集是版本比较的锚点，天天变就不可比；探索集收新失败，验明确实有代表性，再并进基线集。题卡上三样照旧，输入、期望行为、来源日期。这一步还有一个来源最容易漏，好案例也回流。答错的转成测试题人人想得到，答得好的那几单同样是资产，某类问法它一直答得稳，就把这份稳定固化下来，好的输出样例进提示词当示例，好的处置路径写进产品定义当默认动作。

回流的准入同时要防另一头，池子不是垃圾桶，门槛放得太低，改一处措辞这类小改动也灌进池，分诊会就陷在琐碎里，真正要紧的模式反而淹没。还有一件日常的活归产品经理管，收的动作要有节奏，每周固定抽一小段，把两周攒下的坏案例归拢进池，11.2 讲过攒题的道理，与其月底批量补，不如每周收一点，题是活的；10.1 那本不确定性台账在线上继续当回流池的前身。

第四步序，排出下一轮的迭代优先级。这一步有个现成的四步工作流可以对照，领域专家审阅线上产出、给失败分类；产品经理交叉对照指标与失败，定一个带数字的绩效目标，比如在这个数据集上把某一类失败率压掉八成；工程师按类做紧凑迭代，改提示词、换方法；最后产品经理对照过往生产数据审改动，决定上线（口径见本章参考资料）。这个循环的两头都握在产品经理手里，起点是定目标，终点是批准上线。照这四步走完的真实样板，是一家给医疗保险公司做治疗必要性复核的系统，北极星定成错误批准数，总体准确率一个项目周期从九成五做到九成九，工程师拿到的每条任务都带起点、目标和验收办法（口径见本章参考资料）。

飞轮转不转，有三个判据，任务集在增长，新题一轮轮进来；版本之间分数可比，基线集没乱动；回归没退，新版本没把原来对的改坏。转速跟着双周迭代走，一圈两周。飞轮不转的产品长什么样，行业里到处见得到，坏案例在群里聊两天就沉底，任务集停在第一版，产品出了问题靠再跑一次碰运气，半年后回看，上线那一版就是最终版。第 3 章讲过智能体持续进化的天性，飞轮把这份天性接进了制度，产品就不会停在上线时的那一版。

15.5 在线验证，灰度与对照

在线验证的方法是灰度加对照实验，分工一句话，任务集测历史，线上测当下。第 13 章讲换型时用过灰度这道门，这一节把它当产品日常的方法展开，大改动怎么上，小改动怎么上，以及智能体产品的对照实验比传统产品难在哪、对策是什么。

灰度分两步。第一步影子并跑，新版本在后台处理同一批请求，只记录、不生效，用户看到的始终是旧版本；对照攒够了，再把一小部分流量切给新版本，这一步叫金丝雀，11.4 介绍过。灰度阶段没有标准答案可对，盯的是代理信号，第 13 章讲换型时点过这三样，用户驳回的多了没有，同一个问题反复追问的多了没有，转人工的多了没有。三样都是通过率在真实流量里的代理，读的时候带上单位成本一起看，成本同降就是真省。判据看业务结果，不看文本相似度，11.4 立的纪律在这里照用，新旧两份周报字面上多像，说明不了任何问题。影子并跑有代价，推理成本翻倍，每个请求跑两遍，所以并跑要圈定时间窗，挑有代表性的时段，跑完就撤（口径见本章参考资料）。切流量的比例没有标准数，标准是每一格都留得出回退的路，从一小部分起，代理信号稳了再加一格，每加一格都是一次小规模的重新验证，异常一来，退回上一格就是一步之内的事。

对照组实验，通行的叫法是 A/B 测试。传统做法是把用户随机分成两组，同一段时间，一组用旧版一组用新版，比指标。智能体产品照这个做法直接套，会遇到三样特殊的情况。第一样，行为漂移让对照更难，也让对照更重要。同一版本自己周周都有波动，6.3 讲过的波动不因为上了线就消失，两版的差异必须大于各自的波动。对策是拉长对照期，看均值连同波动一起看，11.3 立的连跑口径搬到线上，单周比出的小差异当噪声处理，连续几周同向的差异就是效果。第二样，判据会互相冲突。新版输出变短了，成本降了，满意度可能跟着降；把话说满提升了打分，驳回率可能上升。所以实验开跑前先定主判据，其余指标当护栏，成组读，15.2 的联动读法整段适用。第三样，流量不同质。拿到新版的如果恰好是活跃用户或友好用户，量出来的差异里混着用户的差异，不是版本的差异。B 端产品还有个更硬的现实，样本太少。三家店做不了随机分组，这种时候硬上 A/B 无非是摆样子，诚实的做法是时间对照加影子并跑，前后各取两周，同期让新旧并跑对照，明说这不是严格实验，结论当参考看（口径见本章参考资料）。

灰度和实验的读数还有一条共同的纪律，头几天不作数。任何改动上线的第一周，数字都会动，用户出于新鲜多试几下，或出于不适应少用几下，两个方向的失真都存在。等新鲜感过去、用量回到日常水位，之后的曲线再进对照；观察期从放量稳定那天起算，不从切换那天起算，B 端的量本来就小，再让首周噪声占掉一半观察期，实验等于白开。

还有一个纪律从第 6 章用到现在，在线验证里它最容易破，就是一次一变量。模型和提示词捆着换，出了差异分不清是谁的贡献，13.2 讲换型时专门拆过这两步。实验设计同理，一轮只验一个改动。

什么改动值得开在线验证，什么不值得，有一条成本线。值得开的是三类，换模型，13.2 的三道门自带灰度；大的提示词改动，动行为段的那些；降档，13.2 讲过降档也是换型。不值得开的是小改动，改一个词、调一处格式，任务集回归过了直接上，为一个词开两周并跑，成本跟问题不成比例。实验读完还有一条纪律，读不出差异不等于没有差异，多半是样本不够，把实验记录下来，流量攒够了再判，不要当场宣布新版更好。

在线验证管的是每一次更替的安全，飞轮转得越快，这道门越不能省。上线后的五件事到此齐了，三步路线管怎么上，度量管看什么，可观测管怎么查，飞轮管怎么长，在线验证管怎么换，五件事合起来，就是第 6 章周期图里运营迭代那一站的日常。这套日常过一个季度长什么样，案例线拿第一个季度的记录来回答。

15.6 【案例线进十】周报产品的第一个季度

这一节是周报产品第一个季度的决策记录，每一步记三样，门口看的数、门内发生的事、出门的决策；数字照案例线的规矩全用示意值，决策的算法是真的。进这一站时三样东西已经就绪，11.5 的评测计划过了验收门，三颗指标的门槛定死，数字零差错一票否决、可用率连续两轮八成、归因方向连续两轮八成五；12.5 的成本算完，一份周报的全成本三行算清；14.5 的高危线画定，财务口径和合规表述的结论永远全检。时点按 6.5 的表，第 13 周起是第一个季度。还有一段前情要对上，开发协作末段，产品已经按 L0 提前跑过几周对照，10.5 的第一次错误就是在那段对照里拦下的；第 13 周起的三步路线，是把那段没立门的对照收进制度，按门规重新起算。

影子两周，第 13 到 14 周。三家店的真数据进管道，产品跑 L0，它出它的初稿，小周照常写他那份、照常署名发，周一早上两份并排对，对照一份按半小时记，正是 12.5 算过的那笔双份成本。任务集全量三十四道，两周各跑一轮。门内的事，第一周就来了一件，ST003 的排班表接口迟到，初稿在缺一张料的状态下照常写完，人效那段写得条理完整，料根本没有到。双份对照把它抓了出来，分诊会上归工具类，缺料的时候该做的是标注缺料、等料补跑，不是凭剩下的料硬写，这是 10.2 第四类失败的另一种表现，材料不在，它也要凑一个完整的说法。修复归工程，管道里加一道料到位的检查，料不齐，初稿挂起，界面明说缺哪张。第二周清单收敛，两轮任务集过线，三颗指标站上门槛。出门的决策，过影子门，升 L2，进试点。六份对照记录归档，它们是日后分档的依据。

试点一月，第 15 到 18 周。第一周只放 ST001 一家，最小圈；数字稳了，第二周起三家全量。初稿正式进小周的核对页，五条清单过完，他署名发出。10.5 对老陈的承诺在这时兑现，涉及 ST001 的归因段，发出前推到老陈手机上过一眼。第一个月他改过一处，把写字楼客流下降那条里的说法改成了楼里公司搬走，他在楼下守了三十年，这一改就是一次店长知识回流，改动的记录按 11.6 的规矩留痕进池子。门内的三个数记下来，一个月十份初稿，八份改动不超过两三处直接当底稿，一份改了五处，一份整段重写，采纳的口径八成；整份驳回一份，数字核对拦的，拦下它正是这道关口的职责；单件成本回到稳态口径，模型费加十五分钟核对，影子期翻倍的那笔对照费到此结束。十份的样本小，八成这个数本身说明不了精度，看的是连续四周方向一致，加上任务集全量同期没有回退，两条证据都稳，数字就能用。双周分诊会同步开起来，试点期留下的改动记录第一次按节奏进会，两道新题进探索集。出门的决策，过试点门，约放量评审。

放量评审，第 19 周周一，一页纸四个空。数字这一空，试点三个数加任务集连续过线，填进去。成本这一空挂的是 12.5 的算法，试点期一份全成本 845 元算的是验证期的成本，其中一次性开发与评测集的固定投入摊下来占九成八，不算单位经济学的成败；常态口径按三行走，对着 720 元的工时对价，模型费和人审是变动的那两行，放量后才看单位经济学的成败。线这一空抄 14.5 的高危线原文，财务口径和合规表述的结论永远全检，后面的分档永不碰这两类。退路有第 17 周那次真演练支撑，假设归因错误成片出现，演练降档回全检、必要时退回影子，更正三件套走一遍流程；演练暴露了一个没人想到的问题，回退开关写进了配置，谁有权触发回退没写下来。当场决定，值班顺序加一名，回退权限归当周值班的产品负责人，回退之后小周接核对全检。出门的决策，放量，三件事同时放，周报转稳态并立分档规矩、店长问答第二单上线、两块看板转日常。

放量一月，第 19 到 22 周，三件事各走各的路。周报这边，三家店的量分档省不出钱，12.5 那笔二十五小时的容量成本要等推广后才省得出来，这个月立的是规矩，常规周抽检，异动周全检，高危线结论永远全检；抽检不省事，攒的是习惯，规矩立住了，推广那天不需要临时学。第二场回退演练排进第 21 周，专演降档回全检，回退照第 17 周定下的值班表走了一遍。店长问答这边，只读的 L1，影子只跑了一周就过门，只读风险低，6.4 的分档表里它本来就在最轻那一档；问题集用 11.5 攒下的那十几道起步，裁判老陈本人。首月跑了六十余次，取数题占大头，为什么和怎么回事的归因题两成上下，13.5 设计的分诊规则当场得到验证，取数题廉价档直答，归因题走主力档带工具。老陈问得越来越勤，这是 15.2 讲的行为信号，比任何问卷都可靠。第三件事是两块看板转日常，例会开场五分钟过五颗指标。转日常的第三周，看板抓到一次真实异常，某店那周的模型费尖峰，翻了一倍。可观测看板一调，圈数从平均五圈涨到九圈，链路里看得出它在原地打转，损耗表的接口改了字段，取回的段变长，模型一圈一圈地做无用功。分诊归工具类，提示词一个字没动，接口修复后圈数回到原位。12.2 说过的那句话在这里兑现，成本曲线涨得反常，多半是别处先出了问题。对内在例会说清，没触达用户，不启动更正。

季度末，第 26 周前后，复盘按 15.3 的口径写，事实在前，解释在后，行动最后。事实一行行记，北极星可用率连续六轮双周全量过线，线上十份里八份当底稿；人审从全检走向常规周抽检；单件成本守住 12.5 定的线，模型费那一行没超出画像的最差圈数口径；任务集三十四道长到四十道，线上回流十一道、六道验明代表性转正进了基线集；提示词从第 9 版走到第 15 版，六轮迭代一轮一处；回退演练两次，真回退零次。解释挑两条说透，季度里遇上的两类大问题，管道缺料和接口改字段，没有一类是模型的错，三道门和两块看板把它们挡在了用户看不见的地方；老陈那一眼，从道歉时的一句承诺，长成了第二单产品的第一道关口。行动单独列一页。L3 候选，常规周自动发，本季不迈这一步，8.5 留的远期路，规矩是数字说了算，四十道题、六轮记录还不够把发出这个动作交出去；全区推广的组织问题，第 16 章 16.5 展开；定价与续费的商业答卷，第 17 章 17.5 回答；管理层月度复盘照旧被动收结果，4.6 那条不自动化的判定维持原判，这一环明确留白。

第一个季度收在这里。产品从能用走到了日常离不开，小周的周一从写一整天变成核对半小时，老陈打烊后多了一个随口能问的入口。案例线还剩两站，都在第四部分，推广要过组织的关，生意要过商业的关。这一章的方法，三步路线、两块看板、一个飞轮、一道验证门，任何一个智能体产品上线时都能原样搬走。

本章小结

• 15.1 三步路线。影子期测能不能，双份对照、只记录不发、过线要连续，只读停一两周、带写以月计；试点期测用不用，真用户真数据最小圈，看采纳、驳回、单件成本三个数，试点用户偏友好，数字当底线不当预期；放量门四空，数字、成本、线、退路，填齐再放大，出事一票回退。逃出试点炼狱只有一条路，试点从第一天按放量后的规矩运转。
• 15.2 度量体系。北极星居中答产品成没成，只能一颗，从业务里挑，周报线是初稿可用率；四条护栏，采纳管用户真用不用、人审管核对负担和容量、单位成本管成本与回收、满意度评分与行为对读；三组危险组合，完成高采纳低是测试集脱节，采纳高人审涨是容量告急，成本降完成降是降档过头；看板每周对一次，指标定义进版本管理。
• 15.3 可观测性。轨迹与链路让每个会话可查，产品提三个需求，可查、可回放、脱敏留存；看板挂三样，过程量先行、成本画像对偏差、问法分布供回流；告警盯模式不盯绝对阈值，成本异常分尖峰、渐进、单位产出恶化三种；出问题三步，分诊、回滚、通报，复盘事实先于解释先于行动；度量看结果、可观测看过程，两块看板缺一不可。
• 15.4 数据回流飞轮。收、归、题、序四步一圈，收的口径（什么算坏）、修的优先级两头都在产品手里；好案例也回流，稳的问法固化成示例与默认动作；转不转三判据，任务集在长、分数可比、回归没退，一圈两周。
• 15.5 在线验证。灰度先影子并跑再金丝雀切小流量，盯驳回、追问、转人工三个代理信号，成本同降就是真省；对照实验防三样，拉长期看波动、先定主判据、认清流量不同质，样本太少用时间对照加并跑并明说不是严格实验；一次一变量，大改开验证，小改回归过就上，读不出差异不等于没有差异。
• 15.6 案例线一季度。影子两周遇上缺料硬写，修复是料不齐初稿挂起；试点一月八份当底稿、采纳八成、老陈那一眼兑现承诺；放量门四空填齐，三件事同放；放量月一次模型费尖峰，链路捞出接口改字段的病因；季度末任务集三十四道长到四十道、六道转正、提示词六轮、真回退零次。

第三部分到此收官，成本算得清，供给换得起，红线画得定，上线走得稳，产品在真用户手里活了下来。下一部分讲产品外面的事，组织怎么把它用起来，生意怎么把它做起来。

试一试

1. 给自己的产品画两块看板，没有现成产品就拿案例线的周报接着画。左屏是结果指标，北极星哪一颗，用一句话讲得清的标准挑；四条护栏各配一条产品动作，采纳的分母、人审的两个口径、单位成本的三行、满意度的行为信号，每颗指标写清谁报数、多久刷新。右屏是过程透视，出了问题要查什么，按会话调链路要能看到哪几样，圈数、工具调用、材料、词元；哪三根过程量的线要画在结果指标前面。画完自查一条，两块看板上有没有一颗指标、一根线，是出了问题也无从下手的那种，有就补对应的查询入口。
2. 给 15.1 的三道门定出数字，影子门连续几轮、过线多少；试点门三个数各定一条稳住的线；放量门四空逐空填空，退路那一空写清谁有权触发回退、触发之后谁接手。写不出数字的那道门，就是将来出事的那道。
3. 拿团队最近一个坏案例走一遍飞轮四步，按收的口径判断它进不进池子；分诊归到五类里的哪一类，工单派给谁；写成一道题卡，输入、期望行为、来源日期三样写齐，标明进探索集还是基线集；在下一轮迭代优先级里给它排个位，排不上就写下不修的理由。
4. 给下一个版本选验证方式，先过一次一变量这道关，确认这版只动了一处；再按成本线选，换模型和大改动开灰度并跑、圈定时间窗和代理信号，小改动任务集回归过了直接上。把主判据和护栏判据先写下来，再放流量。

参考资料

• 《GenAI on Google Cloud》（Ayo Adedeji 等，O'Reilly 2026）第 2 章（数据就绪与组织协作：低成熟度组织把业务专家与技术团队隔开，项目在实验室里能跑、到生产里失败：试点炼狱的组织成因），见 txt/genai-google-cloud.txt（英文原文，行 1870-1890）
• 《GenAI on Google Cloud》第 8 章（成熟度框架：Tactical 阶段聚焦快赢与概念验证、AI 当作技术成本而非业务驱动，试点在局部成功、无法跨组织扩展；成熟阶段把 A/B 测试与金丝雀测试整合进发布流程做低风险渐进放量，代理业务指标持续度量保投产回报，主动监控加自动回滚），见 txt/genai-google-cloud.txt（英文原文，行 9540-9610、10110-10130）
• 《GenAI on Google Cloud》第 4 章（A/B 测试用于对照不同模型与提示词策略，公平的对照设计与结果解读要当心偏差与上下文），见 txt/genai-google-cloud.txt（英文原文，行 1290-1305）
• 《Patterns for Building AI Agents》（Sam Bhagwat、Michelle Gienow，2025）第 11-13、16-17 章（北极星与指标三层组合：准确率、领域成果、人类团队参照；医疗险复核北极星错误批准数、总体准确率一个项目周期 95% 到 99%；交叉对照失败模式与指标的四步工作流：专家标注分类、PM 定绩效目标、工程师按类迭代、PM 审改动上线；从生产数据构造带版本数据集回流评测；评测生产数据时 LLM 裁判打分推荐二值与类别），见 txt-ref-zh/patterns-for-building-ai-agents/15 至 21 号文件（中译）
• 《Building and Distributing Agentic AI Solutions》（Julian Soh 等，Apress 2026）第 2 章（采纳建模：用户采纳不是线性增长，起步慢、指数段、接近饱和后放缓；新鲜感退潮有回落，后期采纳与回流再回稳），见 txt-ref-zh/building-distributing-agentic-ai/07-Chapter 2 Cost and Pricing.md（中译）
• 《AI at Work for Product Managers》（2026）第 23 章（上线后复盘：等两到四周有数据再写；复盘不是庆功也不是追责，是把事实、解释、行动分开的学习件；指标对照预期逐项列，行动要有负责人），见 txt/ai-at-work-for-pms.txt（英文原文，行 1400-1470）
• 《悟道智能体开发》（本书工程姊妹卷）第 14 章（可观测性的工程版：链路与轨迹的记录、trace 采样三档：开发全量、生产错误全量加成功抽样、事故期临时回全量；输出质量三层监控与中间层先行信号：检索或记忆坏了、输出质量晚几天才走形；仪表盘三问；告警盯模式不盯绝对阈值、错误按用户或主题聚集成片才报；成本异常三分法：尖峰、渐进、总量稳而单位产出恶化，基线取上周同一时段；隐式行为信号与显式评分对读：连抛追问是困惑不是满意），本章 15.3 的知识底本，产品向转述，工程深挖按该书对应章指引
• 《悟道智能体开发》第 15 章（渐进自主与放量节奏的工程版：放权凭任务集通过率、连跑全对、线上抽检驳回率三类数字加审批日志分布；demo 惊艳、业务在催、领导拍板都不够格当放权依据；影子与金丝雀两步：先全量静默只记录不生效、再切小部分流量，比对落在业务结果而非文本相似度；并跑推理成本翻倍须圈时间窗；出事一票降档），本章 15.1 与 15.5 的知识底本，产品向转述，工程深挖按该书对应章指引