第 11 章 智能体的验收和评测

评测解决的问题是，错误率这种东西，怎么在上线之前就把它测出来，而不是等周报发错三次之后。第 7 章立验收标准时留了一个空，放行门槛的数值标注“第 11 章评测后填”，本章就是填这个空的地方，那边立标准，这边给检验。这也是第二部分的收官处，前四章的设计有一个共同的前提，产品经理说得出什么叫做好了；说不出来，定义等于没有立，模糊验收是最常见的失败原因之一，7.4 讲过；档位放不了手，升档凭数字，8.2 讲过；兜底也没法验证，要兜的错误率到底是多少，第 10 章末尾自己问过。本章给的就是这把尺子，量的是前四章全部设计的成色。

本章六节。11.1 立方法论，评测是地基，不是事后检查；11.2 到 11.4 把评测计划四件套挨个填满，任务集从哪来，裁判是谁，指标定什么，门划在多少分；11.5 案例线把四件套填成实例；11.6 讲需求交出去之后，产品经理在研发日常里的两场会、一道边界和一个判断。五步方法论走到第四步，验证好不好，本章正面作答。

11.1 评测是产品的地基不是事后检查

评测（evals）是一批固定的任务，配一套统一的判分，量产品做得好不好，也量每次改动之后是变好还是变坏；它在需求阶段就该起草，不是开发完补的一份报告。传统产品经理的节奏是，想清楚，做出来，上线，看数据，再改，数据看漏斗、留存、转化，全在回答用户用不用。这套节奏能转起来，靠一个没有写出来的前提，产品做得对不对，上线之前已经有人保证了，测试部门照着需求单逐条验收，按钮点了跳转、金额算得对，这些事轮不到上线后的数据来交代。智能体产品把这个前提抽掉了，概率性行为让“一次通过”式的验收失效，同一份任务跑两次可能一好一坏，验收对象整个换成“一批任务里对多少”，对不对这件事，测试部门保证不了，得有一套新的东西来量，第 5 章词汇表里那个评测集，说的就是这批任务，本章把它从头到尾配齐。

为什么不能等上线之后拿真实数据量，三笔代价一摆开就清楚。头一笔，学费太贵，上线后的每一次答错，判对错的是真实用户，学费也就是真实损失，第 9 章讲过信任的规律，坏事按类记，一次大错清空几十次小好攒下的信任，拿用户当判定人，等于把最贵的一轮验证安排在最没有把握的阶段。另一笔，信号又慢又糊，多数用户错了不吭声，默默绕开，客诉从来只是露出水面的一角，等留存曲线掉头，走掉的人已经走了一批；第 10 章说最危险的一类失败不报，放到度量上同样成立，线上数据报出事，多半已经在出事之后。最后一笔，分数之间不可比，今天用户问的问题和上周不一样，好的坏的混在真实流量里，没有固定测试题就没有可比的分数，看到的起伏分不清是产品变了还是题目变了；概率系统本来就得按批考核，6.3 讲过，那批测试题得事先钉死。

所以顺序得倒过来。传统节奏是做完看数据；评测驱动的节奏是先定什么算好，再动手，每次改动先测再上。工程那边有个对得上的做法，先写测试再写代码，测试逼着人把需求讲明白；产品这边的对应物，就是第 7 章立验收标准时干的那件事，把“做得好”翻译成裁判、判据、算法。具体到做法，测试题第一周就能开攒，案例线那二十六份历史周报，立项第一天就在后台里存着；判据跟着验收标准一起写；门槛先立算法、后填数值。这是“地基”的第一层含义，它撑在周期最前头，不是挂在尾巴上。

第二层含义是资产。任务集攒起来不贬值，日常迭代靠它判断改动好坏，换模型靠它兜底，第 13 章展开；销售的话术从它出，9.4 说的能承诺的清单，句子全是任务集里的数；坏案例回流进它变测试题，10.5 那两道就是。一份越用越值钱的资产，值得产品经理亲自当家，测试题从业务里来，裁判要请业务的人当，这两件事工程替代不了，11.2 展开。

第三层含义最容易漏掉，评测在定义产品。测试题选什么，研发就优化什么；指标定哪颗，产品就朝哪长；指标定歪了，产品会精确地长歪，这不是修辞，11.3 末尾有实例。所以评测计划的每一笔都是产品决策，不是技术配菜。

最后防一个反面的坑，最差的评测长什么样。工程侧见过的写坏样本直接搬过来，任务集净挑演示最顺的案例，指标只剩一个总通过率，基线栏空着；分数好看，什么变化都解释不了，比没有评测更有欺骗性，因为它让人以为度量做完了。demo 惊艳不等于产品可用，7.6 讲过；任务集净装顺题，是同一种自欺的评测版。

11.2 任务集怎么建

评测的第一块砖是测试题，学名任务集（task set），一批固定的任务，每道配一份期望行为，合起来就是产品的测试集。一道题记三样，输入是喂给智能体的原始材料，期望行为是它该交出的样子，来源日期记这道题从哪来、什么时候收的；日子一久题会过期，第三个字段就是为翻新留的。

期望行为有两种写法，按判得出的程度分。判得死的那种写成硬答案，数字、分类、有没有某个字段，程序一比对就出结果；判不死的那种写成判定要点，开放产出给不出唯一的标准答案，就写清必须包含什么、什么算方向对，评分交给 11.3 的裁判。周报的数字零差错是硬答案，归因方向正确是判定要点，7.5 立那三条标准时，写法已经照这个分法落过了。

题从三个来源来。头一个来源，真实案例打底。最好的测试题是真实发生过的事，两处现成，存量存档和跟班记录；案例线的底牌在这里，小周过去半年发的二十六份周报，就是二十六道带标准答案的测试题，输入是当周脱敏后的三张表加促销和天气记录，期望行为就是他当周真发的那份。这种有人工成品垫底的输入输出对，工程那边叫黄金答案（golden answer）数据集。真实打底还配一条纪律，测试题的分布要像真实的流量，真实使用里平常周占大头，测试集里平常周就该占大头，测试集全塞惊险的异动周，测出来的分数上线对不上号；二十六份里，平常周占多数，异动周、开学季、节假日这样的边缘周按真实占比放进去，7.6 挑三个场景的做法放到全量上，就是这条配比纪律。

第二个来源，坏案例回流。上线之后每一次错，都是一道送上门的新题，输入照抄，期望行为按该有的样子补写；第 10 章那两次归因错误，ST003 那周测归因方向，竞品开业这个外因它没有抓住，ST001 那周测该不该标不确定，证据够不上结论时它没有吭声。回流的材料不止错误，小周核对时的每一处修改、每一次驳回，9.3 留过话，改动留痕回流成测试题和提示词的修正依据。回流有条容易漏的纪律，新题不要直接塞进基线集，任务集拆成两份，基线集是稳定的那份，当版本之间比较的锚点，它要是天天变，前后分数就不可比；探索集专收新出现的失败，攒够了、验明确实有代表性，再并进基线集；10.5 那两道先收进探索集，双周会上过一遍代表性，再定去留。

第三个来源，对抗案例专收。前两个来源收的是常态，这一个专收刁钻，专挑容易让它出错的题。四类易触雷的输入值得专门收一批，复杂对比，它爱编造功能来补空白；边界情况，停产、限时、口径打架的时段；一句话多种理解，容易把它带偏；几个主题混在一句里（口径见本章参考资料）。产品自己再加两类。一类测拒答，挑那些真没有答案的题，有几周小周自己也写了“未查明”，这种周照收，期望行为就是如实标注，测的就是它敢不敢这么写，10.2 第四类失败的专门测试。一类测越界，问它只该小周看的数据、别的门店的成本明细，期望行为是拒答并转人，8.5 那张权限表上的线，也要测出来。

规模上不必贪大。几十道能看清大差距；分差在十个点以内的细微差距，要么加题，要么多轮取均值，别在噪声里找信号。日常运转配两档，小集每类挑一道，几分钟跑完，喂双周迭代；全量集判版本、过验收门。攒题的节奏也有讲究，与其月底批量补，不如每周固定抽一小段回流，题是活的。最后是维护，这事没有完工的一天，案例会过期，业务规则一变，旧测试题的期望行为就老了，不改它，评测反过来惩罚新的正确行为，口径一换，上季按旧口径判对的答案这季全判错，分数莫名往下掉，不止一个团队先去查模型，查到最后发现错在任务集身上。任务集要跟产品定义同版本管理，规则一动，受影响的题翻一遍。

11.3 裁判与指标的产品选择

评分的安排分三层，规则核对打底、模型裁判当助手、人工抽检当终审，规则判得出的直接出结论，判不出的送模型裁判，裁判拿不准的或踩了硬线的，升人工。两个极端都有人走，全请人工，判得准，判不动，量一大人先垮；全交给模型，判得快，可裁判自己也是概率模型，它也会错，而且错得有理有据。

第一层，规则优先，能核对的核对。数字回头跟后台逐条对、口径跟台账比、该挂角标的段落挂没有挂、越界的提问拦没有拦下，凡是写得成规则的判据，全部压在这一层。这一层最划算，零成本，跑一万遍一个结果，结论没有争议；产品上那道一票否决也在这层，数字错一份，这份产出后面全不用看了。7.4 那四条半分钟勾完的核对清单，原则就是程序能核对的不用人看，把这句话从核对清单搬进评测，是同一条原则的放大。

第二层，模型裁判（LLM-as-judge）当助手。开放维度规则判不了，归因方向对不对、口吻像不像老周报、证据的量级够不够得出结论、栏目齐不齐，这些交给一个模型按判分要点打分。用法有四条纪律。判分要点写成分档，别写“质量高不高”这种空话，写“数字与后台一致给高分、编造给低分”这种判得动的。先写理由再给分，分数会稳得多，理由也是排障的第一手材料。打分用通过与不通过、好中差三档，别用一到十的数值，模型认字比算数强，二值和类别它判得准，精细的分数它编得欢（口径见本章参考资料）。打分的和干活的别用同一个模型，自己给自己评分，偏向自家的毛病改不掉。

这层的角色要认清楚，裁判在这一层是助手，不是终审。工程侧有一场配置对比实验付过学费，多智能体的配置首轮得分反而垫底，直连模型最高，翻开裁判的理由栏才发现，它把展示推理过程当啰嗦扣了分；判分要点一改，同一个系统在满分十分的判分里差出两分多。系统一行没有动，只动了裁判的尺子，分差大到足以推翻一个架构决策（口径见本章参考资料）。所以分数反常时，嫌疑人有两个，先查裁判，再查系统。

第三层，人工抽检当终审。人是最贵的裁判，只把人用在规则和模型替代不了的两件事上。头一件，判拿不准的，规则和模型裁判都标了疑的产出，送人判。第二件，校准裁判，定期抽一批产出，人判一遍、程序判一遍，对出人机一致率，不一致的逐条分辨，看是裁判偏了还是判分要点没有写清；裁判模型一换版本，校准重做。裁判从业务里请，小周判可用不可用，店长判归因方向。给裁判配的界面也有讲究，产出按真实形态呈现，评周报初稿就排成周报的样子给他看，别甩一屏裸文本，判的人看到的跟真实用户看到的差得越远，分打得越飘。再给裁判留个口子，标注界面除了选失败类别，还得能添新类别，医疗团队的真实做法，复核界面上配了个补充领域知识的按钮，新失败模式从裁判手里长出来，不从产品经理的想象里。

三层连成分流漏斗，分的是量，规则层扫全量，模型裁判接过筛剩下的，人工只碰少数，越往下量越小，单条成本越高。图 11-2 画的就是这个产品版的裁判漏斗。

分数有了，最后把散的分收成几颗指标，摞三层是通行的搭法。底层立通用准确率当起点。中层加领域成果指标，法律合同分析，数漏掉的关键条款，金融反欺诈，数挽回的损失，各对各的成果指标。顶层拿人做同类任务的战绩当参照，人的水平不是处处查得到，查到了就最有分量，小周手工时代的战绩就是周报产品的天然参照。从整套里再挑一颗北极星指标（north star metric），标准就一条，一句话讲得清，汇报不用解释。有个现成的样板，一家给医疗保险公司做治疗必要性复核的系统，北极星没有选准确率，选的是错误批准数，客户是保险公司，批错一次就是白付一笔医疗费，这个数比任何百分比都贴业务；总体准确率照常测，一个项目周期里从九成五做到九成九（口径见本章参考资料）。周报产品的北极星 7.4 就立下了，就是周报初稿可用率，它直接连着小周的周一，可用率过线，一个半工作日的大半就真的省下来；归因方向正确率当护栏，管方向不跑偏。

指标还有一条固有风险要设防，度量一旦成了目标，就不再是好度量，经济学里叫古德哈特定律。智能体钻空子钻得很实在，按解决率考核，它学会把难单转给人工、只挑简单的接；按测试通过率考核，它学会改题目不改自己（口径见本章参考资料）。防法有两条，指标成组互相牵制，可用率配着驳回率、转人工率一起看；定期顺着产出抽查指标背后的动作，别让漂亮的分遮住难看的活。7.4 那道偷懒执行者检验，在指标体系上要一直挂着。

还剩一个口径问题，十次里对几次才算对。同一道题连跑三遍全对，和三遍里对了一遍，是两种水平，报分之前先说清量的是哪种，前者才是生产可靠，后者不过是能力上限。业界有拿一套公开测试题给各家系统统一测试排位的做法，对话加工具场景的那套叫 τ-bench，它专门为这立了口径，同一任务连跑多次、全部成功才算通过。单次成功率是另一个口径，指同一任务只跑一次就做对的比例；τ-bench 上量出来，当年风头正劲的强模型单次成功率也不到一半，一次做对，说明不了次次做对（口径见本章参考资料）。验收门要的，从来是次次那一种。

11.4 上线前的验收门

上线要走三道门，影子门测能不能、试点门测用不用、放量门测敢不敢放大，放权凭数字不凭胆量。第 6 章立的是节奏，本节补的是测法，每道门测什么题、谁评分、过线算什么，三步路线的完整打法第 15 章正面讲。

影子门，测能不能。这一档对应 8.2 的 L0 影子运行，它在真实环境跑真任务，产出只给内部对照，用户一概不见。做法叫双份对照，它跑它的周报初稿，小周照常写他的，周一早上两份并排对，数字、方向、深浅逐项比。工程侧同一个思路有两个现成词，一个叫影子测试（shadow testing），新版本在后台悄悄处理同一批请求，只记录、不生效，用户看到的始终走旧路；对照攒够了，再把一小部分真实流量切给新版本，这一步叫金丝雀测试（canary testing）。判分有个容易走偏的点，比的是业务结果，不是文本像不像，两份周报字面上多像，说明不了任何问题，数字对不对、归因方向偏没有偏、该标的标没有标，才说明问题。过线的凭据是连续，任务集通过率连续几轮稳定过线，加上对照暴露的差距清单一轮轮收敛；连续这两个字有分量，同一版系统跑两轮，分数自己都会晃，6.3 讲过波动，单轮高分只算碰上，碰上不算过。

试点门，测用不用。真用户、真数据、小范围，历史测试题在这里换成线上抽检，看点也换了，历史测试题量它做得对不对，试点量的是真的人拿它干什么，采纳不采纳，人审驳回多不多，一单成本多少，6.4 立的三个看点。这三个数没有一个是任务集能给的，只能放进来才知道。试点期的裁判主力是 11.3 的第三层，抽样频率定下来，抽检驳回率就是门口最硬的数字。

放量门，测敢不敢放大。第 6 章给放量决策画过四个空，数字，连续几轮评测过线；成本，一份产出的成本算不算得平，算法在第 12 章；线，哪类结论绝不自动发出，硬线在第 14 章画；退路，回退演练做没做过。四空填齐再放大，缺一空，上线就没有保护。这道门还牵着档位，每升一档过一道门，L0 升 L2，凭影子期的对照，L2 议 L3，除了评测还要看审批日志的分布，8.2 说过，某一类动作连续几周没有人驳回、没有人改参数，它就是下一个放权候选。放量动的是范围这根轴，跟档位那根分开，一根一根来。门也是双向的，过门升档，出事降档，重大事故一票回退，不必逐级往下走。

最后补上 7.4 留下的那个空，门槛的数值怎么定，算法有三条，一条不能省。先跑基线，上一个版本、直连模型的裸跑、或者人的手工水平，都在同一套测试题上先测一遍，门槛定在基线之上；小周的历史周报本身就是最好的基线，新版的门槛说的是离他的水平还差多少，不定在会上拍出来的整数上。按风险定松紧，只读的、错了不落地的，门槛按均值设；动钱动信誉的，按那件一旦发生没有人忘得了的失败设，8.2 立过的信任不对称，在这里变成数字。挂连续，过线指连续两轮或几轮都在线，单轮在线只算波动里的好运。数值本身各产品自定，举个示意的例子，只读问答连续两轮九成可以谈；周报这种带人审关口的，数字零差错一票否决兜底，可用率连续两轮八成上下再谈见用户。从测试题里算出来，不从会上拍出来，这是 7.4 立标准时留给本章的方法，本章交差。

两种病也在这里设防，6.4 点过名，评测瘫痪，测试集不完美就不发布，钱和时间烧在打磨里；无保护上线，测试集没有搭就全量放。正路在中间，把发布做小，先放一小圈，反馈到手，回头把测试集补扎实。门也不是越多越严越好，每道门都有学费，影子期是双份的人力，门设在风险和学费换得最划算的位置。

11.5 【案例线进六】经营分析产品的评测计划

案例线的评测计划五项归总，任务集三十四道、三个来源、两份分集，裁判三层、两路人审，指标三颗、一颗北极星，门三道、门槛从基线里算，节奏双周、一轮一动。时点在第 10 到 12 周，周期第四站，评测验收，这一节把五项填成实例。

任务集先落。主力是二十六道历史题，小周过去半年的周报存档，输入为当周脱敏的三张表加促销和天气，期望行为就是他当周真发的那份；配比照真实，二十六周里平常周占大头，促销周、异动周其次，开学季和节假日按实际占比放。实战错题两道收进探索集，ST003 那周测归因方向，能不能把竞品开业这个外因找出来；ST001 那周测该不该标不确定，证据够不上结论时它吭不吭声。对抗小队再配六道，三道测拒答，挑小周自己也写过“未查明”的周，期望行为就是如实标注；两道测越界，问单店进货成本、问别家门店的明细这类只该小周看的数，期望行为是拒答并转人；一道测口径打架，收银记到秒、库存记到日的那种日期边界，7.7 碰上过一次，出成题。合计三十四道上下，运转分两档，小集每类一道共六七道，喂双周迭代，全量集判版本、过门。

裁判三层配齐。规则层有三件，数字核对，每份初稿的每个数字回后台逐条对；量级标黄，客流降幅和销售降幅差出倍数的自动标出，10.5 升级来的那条规则；角标完整性，该挂出处的段落挂没有挂，程序一查便知。模型裁判管的是开放维度，看栏目齐不齐、口吻像不像管理层看了两年的老周报、证据的量级够不够得出结论、分级标注贴得对不对，这几样正是 9.5 说的信任三件套长出来的测试项；判分要点写成分档，先理由后分，裁判模型跟干活的归因模型不同家。人工终审请两路人。小周每双周抽检一轮，模型裁判标了疑的全看，再加随机样本，判可用不可用，他自己的修改记录就是标尺，7.5 校过尺的“改动不超过两三处、不动结论方向”，如今成了他的评分依据。店长判方向，任务集跑出的归因初稿，段落单独摘出来、排成周报的样子发给三位店长逐段判方向对不对，守店的人一眼的事，7.4 立这条裁判时说过，老陈判 ST001 那段写字楼的事，比任何模型都快。人机一致率每双周对一次，裁判偏了还是判分要点没有写清，当场分辨。

指标定三颗，门槛算法走 11.4 那三条。

指标	判什么	谁判	门槛（示意）
数字零差错	每个数字回后台核对	规则层	一票否决，百分之百
周报初稿可用率	改动不超两三处、不动结论方向	小周抽检	连续两轮八成
归因方向正确率	主要结论的方向对不对	三位店长	连续两轮八成五

门槛为什么定在这些数上。基线用开发协作末段提前跑的 L0 双份对照，它写它的、小周写小周的，两周对照记录就是基线；风险档是 L2 人审档，核对关口兜着底，门槛也就不必百分百，八成上下的可用率意味着十份初稿八份能当底稿，剩下两份小周重写，他的周一仍然省下一大半。连续两轮过线，就过影子门，7.5 那页纸上留空的格子，此刻填上，立项时欠下的这一笔也还清了。

节奏按双周走，一轮五步，跑小集，开分诊会（11.6 展开），改，跑全量，对照基线集报分；一次进一处，6.4 的纪律在评测这里兑现成一轮只动一处的排期。第二单店长问答的尺子另搭一套，问题集从真实问法来，跟班记下的老陈式提问，加上日报页“问一句”入口攒下的日志；期望行为三样，只查不改、出处可点、答不了明说；裁判请老陈本人，测的是 L1 只读直答那一档，8.2 说过的“店长当裁判，测这一档”在这里落地；十几道起步，攒着长。

这页计划画在图 11-4 里，它的下游排着队，第 12 章的成本从全量集的词元消耗取数，第 13 章换模型拿它兜底，第 15 章的放量决策填的就是门口那几个数。

11.6 需求交接之后的研发日常

需求交接之后，产品经理在研发日常里守两场会、一道边界和一个判断，评测计划不是交完归档的东西，它的每一行靠这些事活着。需求文档交出去了，PoC 过了，产品进开发协作站，日程从写文档换成开会，5.6 那张词汇表留过话的三件事，bad case 分诊会怎么开、提示词跟工程怎么共管、验收测试参与什么，这一节一件一件兑现。

头一场，bad case 分诊会，双周一次，迭代优先级的产地，6.2 说过每轮要交“修哪三个不修哪两个”，答案就产在这。会前材料是 10.1 那本台账，两周里攒下的新坏案例，每条带着轨迹。会上三步。先分诊，一条一条问这条错归哪儿，归数据，给料缺了竞品动态这种店长知道、系统不知道的信号；归工具，日期口径没有抹平、字段对不上；归提示词，退路没有交代、口径没有写死；归模型，材料说法都给了还是判错；归需求，这事本来就不该它答，是边界画错了。分诊不是贴标签，分到哪一类，工单就派给谁，数据类找给料，工具类找工程，提示词类进共管流程，模型类攒给第 13 章的选型复盘，需求类当场改定义文档。再对照，把失败类别跟北极星交叉着看，哪一类失败正在拖累可用率，就先修哪一类；医疗复核团队把这步做成了标准动作，横轴放北极星、纵轴放失败模式，产品经理照图定目标，一句“在这个数据集上把失败率从一成降到百分之八”，工程师就拿到了起点、目标和验收办法（口径见本章参考资料）。后排序，这轮修哪三个、不修哪两个，连同不修的理由一起写下来，坏案例修不完是常态，排序才是产品决策，不排，研发就顺手修喊得最响的那个。会后两条去向，修好的题进回归，改完把老题重新测试一遍，确认没有把原来对的改坏；新错题进探索集。

还有一件跟会无关，是一道共管的边界，提示词归谁管。原则 6.3 立过，提示词是产品逻辑的一部分，不是研发的私有财产，改十行提示词产品就变了，连版都不用发。共管的意思不在谁都能改，在分权，把提示词分区看。管行为的段，角色设定、口径规矩、退路交代、格式要求，这些就是产品需求本身，改动走产品评审，像改一条需求一样留理由；管接线的段，给料的结构、工具的接法，工程做主，产品经理知情。三条纪律配套。版本管理，词汇表里那句“改一个字行为就变”到了流程上，就是每版提示词编号存档、改动记录同步产品经理一份。改前改后各跑一遍评测，分数不退就准上。一轮只动一处，几处捆着上，出了事分不清谁惹的祸，6.4 借来的这条纪律在这里天天用。还有一条反向纪律防臃肿，别每出一次事就往提示词里加一段，只加不删，提示词会越来越长，前后打架，每条新规矩都在稀释旧规矩；出了问题先收紧已有的说法、把材料给得更准，别急着堆新指令，天天拿 AI 干活的人总结出同一条经验，提示词越改越长，多半是越改越偏（口径见本章参考资料）。

第二场，验收测试，产品经理参与什么。产品经理在验收测试里没有旁观的位置，四件事都是他的活。出题，任务集的维护人。请裁判，组织小周和店长评分，给裁判配 11.3 说的那种按真实形态呈现的界面。定门槛，11.4 的算法。签字，放量决策那一页纸。四件事之外还有一件，当裁判的裁判，人机一致率抽检出分歧，分辨哪边偏了，判分要点写得含糊，改要点，裁判模型有系统性偏向，换裁判；评测体系本身也是产品的一部分，它坏了，后面所有数字都是坏的。

最后一个判断是日常里最高频的一问，出了 bad case 到底改需求还是改提示，拿两问过一遍就有去向。头一问，这道题它该会吗，对照需求定义的边界；该会，往下走；不该会，越界、超范围、本来就归人审，要改的不在系统，在预期，要么把边界写进定义文档，要么改界面的能力表达，9.4 的期望管理，别让研发去硬修一个产品根本没有打算承诺的能力，修出来了也是负债。第二问，该会却没会，是没材料还是没说法；没材料，改给料和工具，10.5 的竞品动态走的就是这条路；没有说法，改提示词，把口径和退路交代清；材料说法都在还错，剩下的就是动模型，或者把这一档降回去，8.2 的回退。改动从最小往最大排，先改一个词，再改一句话，再补一节，最后动工具、换模型，顺序跟直觉相反，直觉总想重写整段。再配一条冷静的信号，同一种错独立出现三条以上，再动结构；单例记台账，先不动手。

本章用到的词，评测集、回归、提示词版本，5.6 那三张表里都有词条；token、降级这些，第 12 章算成本时接着用。至此设计五章凑齐，第 7 章立定义，第 8 章切形态分档位，第 9 章配信任，第 10 章写兜底，本章给尺子。设计上能做的做完了，产品接下来要过的是钱、供应商、安全、上线这四关，第三部分管的正是这些，案例线下一站在 12.5，一份周报的成本。

本章小结

• 11.1 评测是地基。传统节奏做完看数据，前提是对不对有人保证，智能体把这个前提抽掉了；拿真实用户当判定人，学费最贵、信号最糊、分数不可比；顺序倒过来，先定什么算好，再动手，每次改动先测再上；评测计划在需求阶段起草，评测本身在定义产品。
• 11.2 任务集三个来源。真实案例打底，配比照真实流量；坏案例回流，基线集当锚、探索集收新；对抗案例专收，四类易触雷输入，加测拒答与测越界；案例卡三样，期望行为按硬答案与判定要点分写，案例会过期，随业务规则翻新。
• 11.3 裁判三层。规则核对打底，零成本可复现，一票否决就在这层；模型裁判当助手，要点分档、先理由后分、二值好过数值、打分的和干活的不同家，分数反常先查裁判再查系统；人工抽检当终审，判拿不准的、校准裁判，界面按真实形态呈现；指标摞三层再挑一颗北极星，指标成组防古德哈特，连跑全对才是生产可靠。
• 11.4 验收门三道。影子门测能不能，双份对照、比业务结果不比文本像不像、连续才算过；试点门测用不用，采纳、驳回率、一单成本三个数；放量门测敢不敢，数字、成本、硬线、退路四空；每升一档过一道门，出事一票回退；门槛从基线和风险档里算，不从会上拍。
• 11.5 案例线实例。二十六道历史题加实战错题加对抗小队共三十四道，规则、模型、店长三层评分，三颗指标门槛定死，双周一轮一轮跑；第二单店长问答的尺子另搭一套。
• 11.6 研发日常。分诊会三步，分诊、对照、排序；提示词分区共管配三条纪律，加一条反向纪律防臃肿；验收四件事加当裁判的裁判；改需求还是改提示，两问定去向，改动从最小往最大试。

本章在五步方法论里回答第四步，验证好不好；设计五章到此齐了，第二部分到此收官。评测这把尺子接下来量的是钱，第 12 章用同一套任务集算一单任务的成本。

试一试

拿手头的产品，或者第 4 章试一试里过了关的那个需求，建一个十道题的迷你任务集，零代码，纸面就行。六道真实题，从存量产物或用户问法里抄，别自己编，每道把期望行为写成判定要点，必须包含什么、什么算对。两道坏案例，见过或能想到的错，写清错在哪、该是什么样。两道对抗题，一道该拒答的，真没答案的那种；一道越界的，它不该碰的那种。然后给每道题标裁判层，规则能判的写出核对办法，规则判不了的写明请谁当裁判、判什么。最后补一行门槛，连续几轮、多少分、过线了下一步干什么。十行表格填完，评测计划的第一版就有了骨架，照着它扩成正式的一页就行。

参考资料

• 《Patterns for Building AI Agents》（Sam Bhagwat、Michelle Gienow，2025）第 10-17 章（评测八模式与医疗险复核案例：失败分病历提取、临床推理、规则解释三类；北极星定为错误批准数、总体准确率一个项目周期从 95% 到 99%；失败模式与指标交叉对照的四步工作流：专家标注分类、PM 定绩效目标、工程师按类迭代、PM 审改动上线；让领域专家标注数据，外包标注会切断反馈回路，复核界面按真实形态呈现、完整轨迹可回放、配“补充领域知识”按钮；用生产数据构造带版本的数据集；评测生产数据：LLM 裁判打分推荐二值与类别、不推荐一到十数值），见 txt-ref-zh/patterns-for-building-ai-agents/14 至 21 号文件（中译）
• 《构建可靠 AI 系统》（Building Reliable AI Systems，Rush Shahani，Manning MEAP 2026）第 9 章（评测四步方法论：确定接地数据、创建通用与对抗双测试集、抽取断言对照验证、报告指标；通用测试集 100-500 道并映照生产查询分布的配比纪律；对抗测试集专收复杂对比、停产与限时这类边界、多义问法、多主题混杂四类易触发幻觉的输入；LLM 评审的偏差：偏爱更长回答、偏好同风格、漏检细微失实：与多评审投票、人工抽样校准的缓解），见 txt-ref-zh/building-reliable-ai-systems/12-Chapter 9 Evaluation and Performance for LLMs and Agents.md（中译）
• 《悟道智能体开发》（本书工程姊妹卷）第 12 章（评测驱动开发与测试驱动开发的同异；统计性结论与波动；写坏的评测计划样本：净挑演示案例、单一通过率、基线空栏；案例卡三样与案例过期；基线集与探索集分离；mini 与 full 两档；裁判纪律与冗长惩罚实验，判分要点一改、同一系统分差近 2.5 分；三层裁判漏斗的工程版；古德哈特定律与转难单、改考卷两个钻空子例；τ-bench 的连跑全过口径与 retail 域连跑八次全过不足四分之一、当年强模型一次成功率不到一半；一次进一处与改动阶梯；评测瘫痪与小发布），本章 11.1 至 11.3 的知识底本，产品向转述，工程深挖按该书对应章指引
• 《悟道智能体开发》第 15 章（影子测试：新版本后台处理同一批请求、只记录不生效；金丝雀测试：切一小部分流量给新版本；比对指标落在业务结果而非文本相似度），本章 11.4 的知识底本，产品向转述
• 《Building AI-Powered Products》（Marily Nika，O'Reilly 2025）第 4 章（执行层 AI PM 的日常：与工程师和数据科学家贴身协作，监控模型表现与数据质量占日常大头，清障与交付），见 txt/building-ai-powered-products.txt（英文原文，第 4 章行 4599-5010）
• 《AI at Work for Product Managers》（2026）（提示词出了问题先收紧上下文而不是堆指令、别把提示词改成又长又复杂的表单：天天用 AI 干活的人的同款纪律，11.6 提示词共管一侧证），见 txt/ai-at-work-for-pms.txt（英文原文，行 1868-1876）