第 14 章 安全与责任的产品决策

安全与责任的决策无法外包，第 6 章放量决策四问里的“线”问的就是它，哪些动作绝不许智能体自动执行，哪几类结论绝不许智能体自动发出。这件事归产品经理管，第 3 章讲过，现实里的事故多数怪不到智能体自己头上，是人把边界画错了；第 10 章讲过，监管的口径是系统可以执行动作，责任归部署和运营它的机构，“这是模型干的”免除不了任何人的责任，而每一件安全设计都要付体验和成本的代价，人审吃掉时效、限权砍掉便利、标识改变观感，付不付、付多少是最典型的产品取舍。14.1 给四类风险清单，14.2 给人审的判定规则与两种失效方式，14.3 给数据与隐私的五件产品动作，14.4 把三地监管翻译成需求条目，14.5 案例线划出三类绝不自动发出的结论。

14.1 智能体产品的风险清单

智能体产品的风险分四类，注入、越权、数据泄露、内容责任，每类有评审桌上能识别的表现，产品经理的职责是识别风险、问对问题，修复本身是工程的工作。安全风险很少作为独立议题出现，它藏在“下个版本接一个新数据源”里，藏在“给智能体多配一个工具”里，藏在“把结论自动推送给管理层”里；这张清单的用法是听方案时问得出四类问题，问出来之后知道该把谁请进会议室。

第一格是注入（Prompt Injection），指令藏在数据里。这件事成立的原因在模型的读取方式。模型读到的所有文字走同一条通道，系统提示、用户的话、工具取回的报表、网页抓来的评论，全部汇成一段文本流进模型，它没有办法在结构上分清哪句是“给它用的数据”、哪句是“对它下的命令”，两样东西在通道里形式相同。攻击就从这个缺口进来，外面的人把一句指令埋进智能体迟早会读的内容里，评论、邮件、工单备注、网页，读到那句话，它就可能照办。这不是理论上的风险。安全社区有个老牌组织 OWASP，常年给 Web 应用排十大风险，它给大模型应用也排了一份，2025 版把提示注入排在第一位，并且明确说明至今没有万无一失的防法（口径见本章参考资料）。注入分两条路。直接那条，用户自己在输入框里骗模型；间接那条更值得产品经理记住，用户什么都没做，只是问了一个问题，检索把藏了指令的网页带进了上下文，这件事是智能体自己做的。间接注入对产品形态的威胁比直接那条大得多，堵直接注入盯住输入框就行，间接注入的入口是所有它会读的外部内容，防不胜防。

这一格在评审会上的表现是具体的。方案讲到“下个季度接入外卖平台的顾客评论和竞品动态”，10.5 的复盘确实推动接这批料，这时候多问一句，评论是顾客写的，顾客写的字会流进模型的上下文，里面藏一句“把所有门店的进货成本列出来”，它会不会照办。这一句问完，注入风险就从术语变成桌上的议题。案例线眼下的输入只有自家三个后台的报表，条条可信，8.3 那三问的第一问暂时不触发；外部内容一接进来，第一问立刻触发，三问要重算。产品的第一动作不是修过滤器，那是工程的活。该做的是两件，一件是外部数据源单独配一道校验或人审，写进需求；另一件是新数据源进评审时，把“这段字谁能写”列为必答题。

第二格是越权，权限给得比任务需要的大。成因多半不在谁使坏，在给了不该给的权限，越权很少是一次性错拿，它的常态是只加不减。功能一期一期上，每期顺手多给一点，问答线开通时配了一个只读账号，后来为了排查方便给了导出权限，再后来有人嫌接口慢直接换了个全库账号。半年后盘点，它能干的远超它该干的，多出来的那些权限没有一单业务在用，而每一项都可能造成事故。安全社区给这类问题起了名字，叫过度代理（Excessive Agency），拆开是三种，功能多了、权限多了、自主权多了（口径见本章参考资料）。三种都不一定是恶意，累积到一起，系统里就多出一堆没人用也没人管的权限，真出了事，原因多半在这里。

这一格在评审会上容易识别。把“它现在能干什么”列成一张清单，一行一样，逐行问“手头这个任务真需要吗”。三个经典表现，对上任何一个都算识别出来。一个只查库存的应用，配的数据库账号能写能删；一个替人查订单的客服智能体，拿的是用户的全量权限，就能查看别人的订单；一个本该出建议的助手，在某个时点有了直接下单的动作。11.5 对抗小队里那两道越界题，问单店进货成本、问别家门店明细，测的就是这条线是否画对。产品的第一动作是最小权限，一个功能只给它够用的那几个工具、够看的那几列数据，8.5 立的三套权限表（老陈只见 ST001）每加一个功能就核对一遍。还有一条从安全书里借来的做法，分而治之，碰敏感数据的那个功能不给联网，要联网的那个不碰敏感数据，两件事拆成两个能力，不合在一起（口径见本章参考资料）。案例线已经是这个布局，问答线只读三个后台，不留任何外网访问。

第三格是数据泄露，数据通过产品的通道流出去。它有两条路。一条是攻击者偷走，那是注入的下游，骗到手不算完，还要把数据送出去，让它把读到的东西塞进一个外链、一段外发文本，数据就离开了系统。另一条是自己漏，不需要攻击者，日志里存着完整的问句和参数，记忆库存着用户的偏好，向量库里存着切好的文档块，每一处留存都是一个新的泄露出口。第 2 章讲检索时立过“谁能问、答给谁看，边界做在检索层”，说的就是这一格的事。

这一格的问法一句就够，用户输入的那句话，最后存进了几个存储，各自留多久，怎么删。这句话十次有八次没人答得全，答不全本身就是结论，产品的数据家底没盘过。案例线里这句话问的就是老陈打烊后那句“昨天损耗为什么高”，问话带着他的身份，加上当天的三张报表，依次流过模型服务的调用记录、会话历史、记忆库、知识库的向量、运行日志，一站一份副本，每份各有各的生命周期。产品的第一动作是画一张数据流向图，把每一处存数据的地方画成节点，三个问题标在每个节点上，这张图 14.3 整节展开。

第四格是内容责任，产出错了，公司承担。这一格与前三格性质不同。前三格防的是损失，有人要偷、有人要越权、数据要出门；这一格里没有攻击者，是它自己错了，语气笃定、格式规整地错了，用户拿去做了决定，损失成了定局，账单寄到公司。第 10 章把这层讲了一半，四类失败里看起来跟正确一样的那几类，还有 10.4 立的责任地基。这里补一条写得最严格的行规，出自一本安全书，未经能胜任的人审查，模型的产出不能成为产品的一部分，这里的“产品”包括它发出的报告、给出的决策依据（口径见本章参考资料）。一家公司的周报如果从头到尾没人核就署名发出，按这条行规，整份周报都不该存在。

这一格不问“它会不会错”，错是一定会的，问“这个产出，用户拿去做什么决定”。决定越重，责任越重。周报的归因，管理层拿它调经营，店长拿它改排班，10.5 那次错误的归因让老陈少排了两天晚班、店里挨了两单投诉，这就是决定落地的样子。产品的第一动作有三件，全在前文立过，结论附出处，让用户有核对的地方（9.5 信任三件套）；该人审的人审（14.2）；承诺口径不写满，“十次里对几次”说得出数字，“保证正确”一个字不提（9.4）。

四格摆齐，读法就能说清，注入和越权是别人借它的手作案，一个从输入的缺口进，一个从权限的门进；数据泄露是数据流出去了，外部偷走或自己漏出；内容责任没有攻击者，是它错了公司承担。前两类合起来有一个共同的名字，攻击面；后两类合起来，一类是失效，一类是责任。这张图的用法是评审前扫一遍，新方案里，输入从哪来、它能干什么、数据存在哪、产出给谁用，四个问题各对应一格，哪一格答得心虚，就把安全的人请进那一格的讨论。至于防线怎么修，输入过滤、权限校验、输出检查三道关口怎么布，那是工程姊妹卷第 13 章的主题，产品经理知道有这三道关口、验收时点名要它们的成绩单，就够。

14.2 何时必须人审

人审的判定规则写成一张清单，第 7 章的决策点表加三列就成。第一列记 8.3 三问的答案，输入可不可信、碰没碰敏感的东西、动没动真格，占了几样。第二列记 4.4 的代价档，错了当场可改、可补救、还是不可逆。第三列记归属，自动跑、人审、禁止。判定规则一句话，三问占了两样以上，或者代价到了不可逆那一档的，归属不是人审就是禁止，自动跑的选项直接划掉。归属里那个“禁止”要单独看，有些动作连人审都不该给它机会，比如同时满足“不可逆”和“没有上限”的，一笔没有封顶的对外转账、一次删库式的清理，这类动作的正确设计是不做进产品，而不是做了再拦；人审这道关本身也有失手的时候，普通动作失手一次还能补救，这两样凑在一起的，失手一次就赔不起。拿案例线走一遍清单。取数核对，输入是自家报表，只读不写，错了重跑，自动。周报的普通结论碰运营数据、发进内部群，占了两问，人审，但按信任分档，这是 14.5 的主题。发出这个动作则是碰敏感数据加对外发送，8.3 早就算过，永远留在小周手里。写清单有一条粒度纪律，用动作写，不用模块写。“问答模块要人审吗”是混装问题，没法答；“把周报发到管理层群”“替店长提交订货单”一行一样，三问逐行过。清单进了需求文档还要持续维护，每次加功能重过一遍，8.3 说过三问的好处是它跟着产品演化自动报警，新接一个数据源、新开一个出口，三问占了几样，答案就跟着变。

人审这条线除了工程判据，中文语境里还有一条法律给的硬依据。《个人信息保护法》第 24 条第三款写明，通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求处理者予以说明，并有权拒绝处理者仅通过自动化决策的方式作出决定（条文见本章参考资料）。翻译成产品语言就两条，对个人有重大影响的决定，法律要求有人说得清、有人改得了。一条从头到尾全自动的流程，出了争议找不到人解释、找不到人推翻，这个状态本身就过不了法律这一关。B 端产品里它最先影响的是员工，排班、绩效、调岗、定薪，这类决定要是拿模型的产出当唯一依据直接执行，员工依法有权要求一个人出面说明。所以在这类场景里，人审的定位不在体验加分项，在合规件，需求文档里它跟性能指标一个地位。

清单立完还有一个问题容易遗漏，谁来审。这个问题的答案与 14.1 那条行规相连。行规要求“能胜任的人”，能胜任的定义是，不靠这个智能体也能把这件事干好的人。他自己会写归因，看得出归因初稿哪里不对；他自己懂口径，看得出结论跟财务的核算规则差在哪。案例线在这件事上有天然优势，小周写过半年周报，11.5 拿二十六份存档当测试题，同一批存档也证明了他具备审的能力。反过来的情形也常见，让一个不懂业务的人核业务结论，他只能核格式，数字有没有、链接在不在，结论本身对不对，他看不出，人审就流于形式，只是换了个人盖章。所以人审的配置是产品决策，审的人要跟送审的活匹配，署名的人必须是有判断力的人，10.4 说过的“署名的人天然较真”，前提是署名的人真的懂他在签什么。

人审会不会坏，答案是会，而且坏的方式有两种，对策不一样。

第一种坏法是量把人压垮的。智能体不用睡觉，人是要睡觉的。全量送审的设计里，送审材料一件接一件停不下来，上一份还没看完，下一份已经排队。人的适应方式是越审越快，材料没翻全就点了通过，关口还立在流程里，把关已经空了。监测它靠两个数一起看，通过率长期居高，平均审阅时长还越来越短，两个数一起异常，问题多半不在标准松了，在审的人早就不审了（口径见本章参考资料）。只看通过率分不出两种病，送审标准定得过紧，通过率会高；审的人空转盖章，通过率也会高。配上时长就分得开。

第二种坏法更深，量不大也可能发生，人对自动产出的内容，核对得越来越少。研究给这个现象起过名字，叫自动化偏见（automation bias），系统先给了答案，人就把核实那一步省了。有现成的医学研究把它量了出来，消化科医生用 AI 辅助读肠镜影像，三个月后停用 AI 独立读片，腺瘤检出率从百分之二十八掉到百分之二十二，这项研究 2025 年发在柳叶刀的子刊上（口径见本章参考资料）。依赖导航的人空间记忆变差、长期开辅助驾驶的司机手动驾驶生疏，同一个规律。放到人审上，审智能体初稿的人，审得越久越像在盖章，因为他把判断外包给了自己审的对象。所以人审的设计目标从来不在“有人在场”，在“人在场的时候还保持着判断”。头一天会认真核对的人，第一百天未必还认真，问题不在态度，在人的认知规律，设计要按第一百天来做。

对策收拢成一句话，把人的注意力当稀缺资源来分配，展开是三层。最上面一层，硬线永远全检。有一小类动作和结论，无论攒下多少信任都不进抽检池，逐条过人的手，这一类是哪些、为什么这样划分下来成本仍然可控，14.5 用案例线整节划线。中间一层，硬线之外按信任分档。信任不看感觉，看跑出来的记录，任务集通过率、线上抽检驳回率、同一任务多次跑的稳定性，第 11 章的验收门和 8.2 的升降档纪律，用的就是这一族数。用到人审上，数据干净、驳回率长期稳定的片区降为抽检，抽检发现驳回率爬升就收回全检，新接的片区全检过渡。12.5 已经算过，一百份周报抽三成，核对工时从每周 25 小时降到 7.5 小时，每份人审成本从 15 元降到 4.5 元。省的这些钱是副产品，分档真正买下的是两样，容量排得开，注意力用在最重要的地方。分档还有个反方向的信号，第 10 章引过工程侧的经验值，审批通过率长期高于九成五，说明送审标准定得过紧，一大批本来能自动跑的动作在白白消耗人的注意力，该收回一批。这个读法要配着抽检驳回率一起看，单看通过率高，分不清是标准定得过紧还是产出真做得很干净；抽检还在拦东西，高通过率才指向送审面过宽。也就是说分档是双向的，信任涨了往上放，通过率虚高了往回收。最下面一层，把每一次人审本身设计得省力，送审的条目自带上下文，打算干什么、凭什么判安全，让人一眼能判；核对清单压到最短，程序能核对的不劳人眼。这两件第 8 章立过，收拢成一句，让人省下的每一秒注意力，都还给他要判的那件事。

分档不是一次性的决定。档位要挂季度重审，放出去的权限集中拉出来看分布，驳回率、改参数的比率、超阈值转审批的比例，任何一项爬升都是降档的预警（口径见本章参考资料）。这个节奏与第 13 章给选型定的季度复评是同一族纪律，放权跟选型一样，当期最优有保质期，过期重算。

14.3 数据与隐私的产品动作

数据与隐私的产品动作有五件，画数据流向图、入口两道拦、留存定期限、删除可执行、权限当隐私管。第 5 章讲记忆时立过一条，身份证号、手机号这类信息根本不该进记忆，拦住它的是产品侧的校验，不能指望模型的自觉；本节把动作铺开，从数据进门到落地再到删除。为什么这一节归产品不归法务，先看一个现实，智能体走到哪，副本留到哪。老陈在问答框输入的那句问话，带着他的身份和门店；三张报表的数据，带着三家店的经营底细。这些数据依次流过五站，发给模型服务的调用、会话历史、记忆库、知识库里的向量、运行日志，一站一份留存，每份各有各的存储格式、访问权限和生命周期。法务管得了条款，管不了这五站各自留多久；能对这五站提问的人，只有拿着产品数据字典的产品经理。

第一件，画数据流向图。从用户输入起笔，每一处存数据的地方画一个节点，节点之间的箭头标清数据往哪走。图画完，对每个节点问三问，留多久，谁能看，怎么删。这张图的产出，重点不在图本身，在答不上来的那几个节点，每一个都是数据管理上的漏洞。案例线的五站画成了图 14-3，正好当模板。

五站里有一站与另外四站性质不同，就是发给模型服务的调用。这一站的数据离开了公司的系统，进了服务商的边界，怎么留、留多久、会不会拿去训练模型，管辖它的不在产品的删除按钮，在合同。13.1 立合规四维的时候点过这条，数据按合同和监管能不能发给这家服务商，是选型的第一道门槛。具体到动作就是两句话写进合同，用户数据不用于服务商的模型训练；调用记录的留存期限和删除责任写明。这两句话在 14.4 的合规条目清单里有它们的位置，这里先把“发给模型也算一站”这个认知立住，很多团队盘数据流向的时候，把这一站漏了。

第二件，拦在入口，敏感信息要在进任何存储之前拦下来，两道配合。一道是校验，格式固定的敏感信息，手机号、身份证号、银行卡号，用规则就能认出来，认出来就换成不带真值的占位符，这是第 5 章那句“产品侧的校验”的落地。另一道更靠前，叫最小收集，取数那一步就不把用不到的字段取进来。周报归因只需要门店和品类的数字，顾客手机号、支付明细这类字段，在数据接口的请求里就不该出现，而不是取进来再想办法脱敏。这么做的依据不在工程偏好，在《个人信息保护法》第 6 条的明文口径，收集个人信息，应当限于实现处理目的的最小范围，不得过度收集（条文见本章参考资料）。“以后可能用得上”不是收集的理由，这一句值得写进每次数据需求评审的会议纪要。案例线已经在这么做，7.7 做 demo 那天，三张表的数据先做了脱敏，门店和顾客的信息抹掉、数字保留，这套手法从第一天起就该是产品的常态，而不是上线前的补救。

第三件，给每个存储定留存期限，到期自动删。期限不是凭感觉定的，各处有各处的依据。运行日志要留够排障回看，15.3 可观测性要用的轨迹留长一些，但访问权限要收窄，日志里的完整问句不是谁都该看的；记忆条目要跟着信息的有效期走，第 5 章讲过三个月前的旧菜单留在记忆里会污染归因，过期就清；评测素材要长期用，那就先脱敏再入库，脱敏之后留多久都不含个人真值。定期限还有一层安全上的考量，数据留一年和留一个月，出事时的赔付不一样，留存的地方越多，泄露的损失越大。这与第 13 章讲锁入时“用得越深欠得越多”是同一种累积，方向反过来用，留得越少，欠得越少。

第四件，把删除做成可执行的路径。删除请求进来，按流向图逐站执行，执行完还要验证删干净。难处在两站。向量库那站，一份文档入库时切成了很多块，删掉原文档不等于删掉了块，块要按来源反查着删。记忆那站更麻烦，记忆里的沉淀是加工过的结论，不指向任何一句原话，用户说“把关于我的都删掉”，哪些沉淀算“关于我的”，边界要产品定义。B 端语境里删除还有两个固定场景要提前设计，员工离职，他在问答框敲过的问句、沉淀进记忆的偏好，跟着人走还是跟着店走，要在入职开通账号那天就想好；客户终止合同，数据交还和销毁的期限、格式、验证方式，要写进 10.4 说过的合同边界里，不要等终止时再谈。C 端产品的删除还有一半在界面上，第 9 章讲透明度时说过，让用户看得见产品记了他什么、能一条条删掉，删除入口本身就是信任件，也是隐私动作的出口。

第五件，把权限当隐私管。第 2 章留过话，库里内容都会进模型上下文，谁能问、答给谁看，边界要做在检索那一层。8.5 立的三套权限表就是这条边的形状，老陈的入口能看到的只有 ST001，小周看得见三家店。11.5 对抗小队那两道越界题，问别家门店明细，期望行为是拒答转人，测的就是这条边是否画对。这里要强调一句，权限表错一格，泄露就已经发生了，不需要任何攻击者到场。数据泄露那一格里“自己漏”的那条路，多数就是从这种缺口出去的。记忆还有一层跨人的边界要立，老陈的提问习惯沉淀成的记忆，只能服务老陈的会话，要是图省事把三家店的记忆混在一处，ST003 店长问一句就能带出 ST001 的经营习惯，权限表在入口把关，记忆库却从另一条路漏了数据。

再把《个人信息保护法》的两条硬约束放到案例线上对一遍，就能看到它们离自家产品一点都不远。第 24 条第一款要求，利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正（条文见本章参考资料）。周报线里三张表有一张是排班人效表，哪天的归因要是把“人效低”归到某个具体员工头上，这就是拿员工个人数据做自动化判断，按这一条，员工有权知道这个判断怎么来的。这一条正是 14.5 涉人硬线的法律依据。还有一类容易漏管的数据，用户对产品的反馈。店长每天问什么、哪类答案他追着改、哪周他全部驳回，拼起来就是一份对店长工作习惯的画像，它本身就是个人数据，治理上跟手机号同等对待，进流向图、定期限、留删除路径，一样不能少。

五件动作合成一个习惯，每次评审数据类需求，流向图摊开，新节点指出来，三问答一遍。这套活工程侧有一套更细的版本，管的是脱敏规则怎么挂、检查装在哪一站，产品经理做到能提问、能验收就够，深挖按工程姊妹卷第 13 章指引。

14.4 合规底线的产品化

合规产品化的产出，是需求文档里一张五类条目的清单，每条能写、能验收、能更新。先把三地的监管框架认清，再把条目列出来。

先看欧洲。欧盟的《人工智能法案》按风险分级管，不可接受的风险直接禁用，高风险配重义务，有限风险主要管透明度，最小风险靠自愿自律；罚则上限跟全球营业额挂钩，足以排进董事会的议程（数字与条文见本章参考资料）。产品侧的读法是先问一句，我的用例属于哪一级。同样是经营分析，给自家店长用和给欧洲客户做信贷决策，级别差别巨大，义务跟着差一整个量级。有限风险那一档管的透明度里，有一件直接体现在交互上，让用户知道自己在跟人工智能打交道，对话界面要有声明，这对出海产品是对外文案的一部分。再看美国，做法是软法，没有一部统领全国的 AI 法，分行业监管加上国家标准技术研究所那份风险管理框架的自愿指引托底（口径见本章参考资料）。对产品经理的含义很实际，合规要求跟着客户所在行业走，金融客户一套、医疗客户一套，每个客户一张清单。最后看国内，规定叠规定，管算法推荐的、管深度合成的、管生成式人工智能服务的三部规定层层递进，加上个保法和 2025 年施行的生成内容标识办法，硬动作集中在三件，备案、标识、安全评估，内销产品这三件绕不开。三地放在一起有个共同点，风格不同，方向一致，全都指向透明、可追责、高风险重义务，产品把这三样做扎实了，面对任何一地的监管都有准备。

地区	框架	产品侧读法
欧盟	《人工智能法案》	先给用例定风险级，级别定义务；透明度义务体现在交互与文案
美国	分行业监管＋NIST 自愿框架	跟着客户行业走，一客户一张清单
中国	三部规定＋个保法＋标识办法	备案、标识、安全评估三件硬动作，内销绕不开

条目怎么进需求文档，一张清单五类，每类写什么、跟谁合作、什么时候重审，逐行过。

条目	需求文档里写什么	与谁合作	何时触发重审
生成标识	哪些出口带标识、显式还是隐式、格式与位置；对外内容与交互界面的声明文案	法务确认口径，前端落地	新开对外出口时
备案与安全评估	产品有无舆论属性或社会动员能力的判断及依据；备案状态与变更计划	法务主导，产品供料	产品改版、能力升级时
免责与边界	事前系统卡、事中错误界面、事后追索通道三件的存在性与位置	法务出条款，产品设计界面	承诺口径变动时
数据条款	与模型服务商的数据协议（不用于训练、留存期限）；与客户的交还与删除条款	法务与采购	换供应商、续约时
供应商合规	13.1 合规线的复核结论跟着选型走	工程、法务	换供应商走 13.2 三道门时

标识这一行是三地里最实的一件。第 9 章讲透明度时立过底，《人工智能生成合成内容标识办法》2025 年 9 月 1 日施行，标识分用户看得见的显式和写进文件元数据的隐式两层，文本、图片、音频、视频、虚拟场景五类内容都管。需求文档里这一行写的，重点不在法规全文，在标在哪几个出口，周报网页版落一行“智能体起草，小周核签”，9.5 已经在用；哪天产品对外发顾客话术或营销物料，显式标识就是硬门槛。而且这不是纸面规定，施行之后网信部门已经公开查处过一批没落实标识的应用（口径见本章参考资料）。显式标识是文案的活，隐式标识要工程配合，元数据里的标识字段得排进研发的排期，条目后面挂上这一行依赖，这一条就写完整了。对内用的东西法规未必强求，第 9 章的立场是即使不强制也加，一行落款换整条可追溯链路。

备案这一行的关键是那句判断，产品有没有舆论属性或者社会动员能力。生成式人工智能服务的暂行办法第 17 条写明，具有这两种属性的服务，要按国家规定开展安全评估，并按算法推荐管理规定履行备案手续（条文见本章参考资料）。而且备案不是办一次就完的事，算法推荐管理规定把填报做成了持续义务，具有这两种属性的服务上线后要在规定时限内填报备案信息，信息变了要办变更。这两个词怎么用在自家产品上，判断的时候过三个问题。一，服务给谁用，只在客户内部给指定的人用，还是公开发布给不特定的公众。二，生成的内容能不能扩散出去，用户拿到产出，有没有转发、分享、公开评论的通道。三，内容涉不涉及群体性话题或公共事件，是关起门的经营分析，还是话题本身面向大众、能带动公众意见。任何一个问题沾上公众或扩散，结论就往“有”那边走；三个都是内部、定向、不可扩散，才立“无”的结论。案例线这种内部经营工具，三问全在内部一侧，判断结论大概率是“无”，但判断本身要留痕，谁判的、依据什么、哪天判的，写进需求文档。面向公众开问答的那天，第一问就翻到了公众一侧，结论就要重做，B 端产品对外开放接口、上小程序、进应用市场，都是重新判断的触发点。

免责这一行回收 10.4 的那三件，事前的系统卡，三句话说清它怎么干活、局限在哪；事中的错误界面，错了直说错在哪；事后的追索通道，能申诉、能要求更正、能撤销。需求文档里写的，重点不在条款全文，在这三件有没有、放在哪，系统卡放在哪个页、错误文案谁审、追索入口在客服路径的第几步。这三件都是界面活，法务出的是内容，产品出的是位置和形态，缺了产品这一半，条款就只是条款。

最后一条纪律是给整张清单的，每行带两个属性，依据哪份文件，核实到哪天。这是 13.2 给选型决策记录带保质期的做法平移过来。法规跟模型价格一样是快变事实，今年的口径明年可能加码，季度复评时法规原文重过一遍，条目过期就更新。“符合监管要求”这样的空话不进文档，它没装任何信息；“截至 2026 年 9 月，依据某办法第几条，产品侧动作为某某”就是一行能验收的条目。

14.5 【案例线进九】经营分析产品的高危线

这一节给案例线划线，数据分三层、结论就高不就低定敏级，三类结论绝不自动发出，敏感层永远全检。第 6 章放量决策的四个空，数字有评测（11.5），成本有 12.5，这一节填的是“线”，线画完，产品就能从三家店走向一百家店。

画线之前先分级。经营数据按 4.4 那把尺子分三层，尺子是错的代价加上能不能收回。公开层是对顾客也可见的当日经营事实，今日销量、营业时段，错了当场可改。内部层装三家店的运营数据，损耗率、人效、排班明细，错了可补救但要付补救成本，10.5 那次排班错两天就是这一层的代价样本。敏感层装三样，财务口径的数据和结论，损耗折算成本的算法、促销折让的核算口径；指到具体员工头上的归因；食安和用工相关的合规事实。这一层错了，收回的代价以月计，有的根本收不回。分级本身就是产品动作，而且要做成程序能认的，数据源入库时带敏级字段，结论段落按它引用的数据里最高的那级定级，引用了一段敏感层数据的结论，整段按敏感层走，就高不就低。初稿的每一段落带着敏级标签，标签跟着内容走完全程，后面的关口全认标签，不认人眼。

然后是这一站的核心，三类结论，绝不自动发出。

第一类是财务口径类，损耗折成的成本数、促销折让怎么记的口径结论、任何会流进管理层月度报表和对外报表的数字。这类结论错了，错处会顺着报表往外传，进月度会、进年度盘、进了对外的数就收不回来，收回成本以月计起步。硬线是永远全检。小周逐条对口径，对的不只数字，还有口径本身跟财务的核算规则一致不一致，签核才发。程序核对在这里不够用，它对得上数字，对不上口径，损耗表上的损耗乘单价得到的成本，跟财务口径里的成本可能差着一截折让和分摊，这个差距程序看不出来，它是财务知识不是算术。这正是 10.2 留下的那半句，程序能对的不劳人眼，程序对不了的，人眼一步都不能省。

第二类是涉人那一类，归因指到具体员工头上的结论，比如这家店人效低是因为某员工的排班、那段损耗高是因为某店员的报废操作。三重原因叠在一起，哪一重单独拿出来都够划成硬线。法律这一重，14.3 刚对过个保法第 24 条，拿员工个人数据做自动化判断，员工有权要求说明，全自动发出就是违法状态的开始。组织这一重，一份周报点名批评一个员工，三家店的群里当天传遍，下周没人再往系统里录真实的报废数据，数据源头一坏，产品全盘皆输。道理这一重，判断谁该承担人效的责任，是管理动作，不是分析动作，模型把数字摆出来是本分，替管理者下结论是越位。硬线分两截，涉人结论里，事实部分可以自动出，各时段人效数字照列；判断部分不自动生成，要写进周报的，先过涉事门店店长的眼。这一截同时兑现了 10.5 给老陈的那句承诺，涉及他店里事的归因，发出前多一道他本人的确认入口。确认的流程设计要具体，涉店段落挂起，产品给店长推一条待办，其余段落照常走小周的核对；店长当天没回，这一段就延后发，而不是删掉它，逾期半天人工催一次。挂起这个做法第 8 章讲人机协同时见过，人什么时候方便什么时候批，智能体先去干不依赖这件事的别的活，这里原样适用。

最后是对外与合规类，任何以公司名义发出去的东西，对顾客的话术、对供应商的函件、对商场物业的口径，智能体可以起草，人点头才出去，这条 8.3 的三问早算过，对外发送占着第三问。合规判断单列一条，食安相关的损耗处置、用工时长是不是踩了线、税务相关的口径，智能体只汇总事实，判断永远给人。原因与第二类同源，合规结论错了，对着的是监管不是同事，而且“系统说没问题”在监管那里从来不是抗辩理由，10.4 的责任地基在这里起作用。

三类硬线加上前面的分档，发布关口的完整设计就齐了，按数据的敏级配三道关口。公开层的当日数字走程序核对，三个后台逐条对上即出，无人审，数字核对是少数几件程序比人可靠的活。内部层的普通结论走 12.5 定下的分档，稳定片区抽检、异常触发全检、新片区全检过渡。这里的“异常触发”有讲究，10.5 那次漏出去的错误就是证据，写字楼搬迁那样的原因，数据源里没有，归因讲了个周期故事把它填上了，这单要是赶上片区正在抽检，照样漏。所以分档的豁免只看当周状态，不看片区名声，环比异动超过阈值、数据缺报、口径对不上的周，一律全检，片区再稳也不豁免。敏感层走硬线，永远全检，小周签核，涉人的加店长确认。

有人会担心硬线的成本，算一下就能确认，三类高危结论在一份周报里占比有限，拿示意的数字看，财务口径常是一两段，涉人的整月未必一条，对外的根本不在周报管道里。全检的增量摊进 12.5 的成本口径里，在 7.5 小时的抽检工时上加不了多少，容量装得下。硬线贵在纪律不在工时，它不进抽检池，不参与任何“这个片区很稳”的豁免，产品上敏感段落的标签直接把它从抽检池里排除，全检队列是它唯一的去处。纪律写在流程里，不靠人记。

线画完，要在两个地方归档。需求文档里，三类硬线写进验收标准和 14.4 的合规条目，个保法第 24 条是涉人那类的法律依据栏。运营手册里，小周的核对清单在 10.5 加的第五条之后再添第六条，先看敏级标签，敏感段落逐条过，普通段落按当周抽检方案走。人审率这个数从这一站起有了构成，硬线占多少、抽检占多少、全检触发多少，三个数分着记，第 15 章的护栏指标里它们各归各位。放量决策的四个空至此填上了三个，剩下的“退路”，出事怎么降档、怎么回滚、怎么通报，在第 15 章展开。

本章小结

• 14.1 风险清单。四类，注入是指令藏进数据，模型分不清通道里哪句是命令，间接注入的入口是所有它会读的外部内容；越权是权限只加不减，攒成过度代理；数据泄露两条路，外部偷走或自己漏出，每一处留存都是新的泄露出口；内容责任没有攻击者，产出错了公司承担，未经能胜任的人审查，产出不能成为产品的一部分。评审四问各对一类，这段字谁能写，这个能力真需要吗，一句话落几个存储怎么删，用户拿产出做什么决定。
• 14.2 人审章法。清单法拿决策点表加三列，三问占两样或代价不可逆就划掉自动跑，同时满足不可逆和无上限的直接禁止；个保法第 24 条第三款给法律底，对个人有重大影响的决定，有人说得清、有人改得了；审的人要能胜任，不靠智能体也能干好这件事的人。人审会坏，两种，量把人磨成空转盖章，自动化偏见让人核对得越来越少，内镜医生停用 AI 后检出率从百分之二十八掉到百分之二十二是实证；对策三层，硬线全检、其余分档抽检、双向调档、季度重审。
• 14.3 数据五件。画流向图逐站三问，发给模型服务商的调用也算一站，管辖靠合同；入口两道，校验加最小收集（个保法第 6 条）；留存定期限，到期自动删；删除按图逐站执行并验证，向量库按来源反查块、记忆的边界由产品定义；权限当隐私管，记忆分人不串店。
• 14.4 合规条目。三地监管框架，欧盟风险四级重罚、美国分行业加 NIST 自愿框架、中国备案标识安全评估三件硬动作；需求文档五类条目，生成标识、备案与安全评估、免责与边界、数据条款、供应商合规，每行带依据文件和核实日期，季度复评。
• 14.5 案例线硬线。数据分公开、内部、敏感三层，结论就高不就低定敏级；三类绝不自动发出，财务口径、涉人归因、对外与合规；发布关口按敏级配三道，敏感层永远全检、标签排除在抽检池外、纪律写在流程里；人审率从此分硬线、抽检、全检触发三个构成记录。

本章把“设计怎么兜”与“经营活不活”两步接到一起，第 10 章管出错之后的体验，本章管出事之前的边界；第 12 章算清了人审的成本，本章给出了人审的章法。下一章把产品送出门，影子、试点、放量三步怎么走，出了事怎么退。

试一试

给自己的产品列一张高危动作清单，没有现成产品的话，拿第 4 章试一试里过了关的那个设想来做，约一个小时。

1. 列动作。把产品里智能体会执行的动作一行行列出来，粒度照 14.2 的纪律，用动作写，不用模块写。“把周报发到管理层群”“替店长提交订货单”是一行，“问答模块”不是。
2. 过三问加代价。每行标两组信息，8.3 三问各占不占（输入可不可信、碰没碰敏感、动没动真格），错了的代价算 4.4 的哪一档（当场可改、可补救、不可逆）。
3. 标归属。三问占两样以上或代价不可逆的，标人审或禁止；其余标自动。标人审的行里，再单列一栏，这一条属不属于 14.5 那三类硬线（财务口径、涉人、对外与合规），属于的加注“永远全检，不进抽检”。
4. 配上审的人。每一行标人审的，写下谁来审、他凭什么能胜任。写不出名字的行，人审就是空的；写得出名字但说不出凭什么的，回头把 14.2 那段“能胜任的人”再读一遍。
5. 体检人审设计。逐条问三个问题，送审条目自带上下文吗，核对清单短于五条吗，程序核对做了吗。三个问题有答不上来的，那一处就是下一次评审要补的工单。

交付物是一张动作清单表，动作、三问、代价档、归属、硬线与否、审的人。这张表跟第 7 章的决策点表放在一起，放量评审的时候它就是那道“线”。

参考资料

• 《GenAI Security》（Paul Zenker，CRC Press 2026）第 7 章（提示注入：间接注入的定义与攻击方向；每一条进入模型的文字都是注入的潜在载体；注入得手两条件：不可信输入加有效果的功能；safety 与 security 之辨，厂商公告的内置安全多为 safety 特性；分而治之：碰敏感数据的应用不给联网能力），见 txt-ref-zh/genai-security/07-Chapter-7-Prompt-Injections.md（中译）
• 《GenAI Security》第 8 章（OWASP LLM Top Ten 2025 版逐条：LLM01 提示注入居首；LLM02 敏感信息泄露三场景；LLM06 过度代理三子类，多余的功能、多余的权限、多余的自主权，对策是克制与最小化；LLM09 错误信息（旧称过度依赖）：未经技术胜任者的充分审查，LLM 输出绝不能成为产品的一部分，产品包括软件、文章、简报与决策），见 txt-ref-zh/genai-security/08-Chapter-8-OWASP-LLM-Top-Ten.md（中译）
• 《Agentic AI For Dummies》（Pam Baker，Wiley 2026）第 7 章（自动化偏见与技能退化：内镜医生用 AI 辅助三个月后停用，独立腺瘤检出率从 28% 降至 22%，研究载 The Lancet Gastroenterology & Hepatology 2025-10；GPS 与空间记忆衰退、自动辅助驾驶与手动技能生疏；若人失去介入能力，human-in-the-loop 沦为空话；NIST AI 风险管理框架、ISO/IEC 42001 与欧盟 AI 法案口径一致：机器可执行动作但不能在道德法律意义上负责，责任留在设计、部署、运营的人与机构），见 txt/agentic-ai-for-dummies.txt（英文原文，第 7 章行 5125-5498）
• OWASP GenAI 安全项目 LLM Top 10 官方页（2025 版，LLM01:2025 Prompt Injection 列首位），https://genai.owasp.org/llm-top-10/ ，核实于 2026-09-18
• 《悟道智能体开发》（本书工程姊妹卷）第 13 章（提示注入两路与“模型层面至今没有根治手段”的立场、OWASP 双榜单、最小权限与窄工具、PII 五站流转与脱敏挂点、数据流向图与留存盘点动作、三地监管对照表、个保法第 24 条自动化决策条款），本章 14.1/14.3/14.4 知识底本，产品向转述，工程深挖按该书对应章指引
• 《悟道智能体开发》第 15 章（审批疲劳两信号：通过率长期居高且平均审阅时长一路缩，两个数一起异常才是空转；低风险批量抽检、高风险逐条过的人审分档；升档凭据三类数字：任务集通过率、pass^k 稳定性、线上抽检驳回率；周度抽检与季度决策模式审计，驳回率与改参数比率爬升即降档预警；审批通过率长期高于九成五说明送审标准过紧；生成内容标识办法在企业侧的落地示范），本章 14.2/14.4 知识底本，产品向转述，工程深挖按该书对应章指引
• 国家网信办《中华人民共和国个人信息保护法》公布稿（第 6 条：处理个人信息应当具有明确、合理的目的，与处理目的直接相关，采取对个人权益影响最小的方式，收集限于实现处理目的的最小范围，不得过度收集；第 24 条：自动化决策的透明度与结果公平公正、不得实行不合理的差别待遇，对个人权益有重大影响的决定个人有权要求说明并有权拒绝仅通过自动化决策的方式作出；2021-11-01 施行），https://www.cac.gov.cn/2021-08/20/c_1631050028355286.htm ，核实于 2026-09-18
• 国家网信办等七部门《生成式人工智能服务管理暂行办法》（2023-08-15 施行；第 17 条：提供具有舆论属性或者社会动员能力的生成式人工智能服务，应当按规定开展安全评估，并按《互联网信息服务算法推荐管理规定》履行算法备案手续），https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm ，核实于 2026-09-18
• 国家网信办等四部门《互联网信息服务算法推荐管理规定》（2022-03-01 施行；具有舆论属性或社会动员能力的算法推荐服务提供者，应当在提供服务之日起十个工作日内填报备案信息），https://www.cac.gov.cn/2022-01/04/c_1642894606364259.htm ；国家网信办等三部门《互联网信息服务深度合成管理规定》（2023-01-10 施行，第 19 条：具有舆论属性或者社会动员能力的深度合成服务提供者按算法推荐管理规定履行备案手续），https://www.cac.gov.cn/2022-12/11/c_1672221949354811.htm ，核实于 2026-09-18
• 国家网信办等四部门《人工智能生成合成内容标识办法》（2025-09-01 施行，显式与隐式两层标识，管文本、图片、音频、视频、虚拟场景五类内容；配套强制性国家标准 GB 45438-2025 同日施行；2025-11 网信部门已集中查处一批未有效落实标识规定的违法违规应用），https://www.cac.gov.cn/2025-03/14/c_1743654685899683.htm ，核实于 2026-09-18
• 欧盟委员会 AI Act 官方页（Regulation (EU) 2024/1689：风险四级，不可接受风险禁用、高风险重义务、有限风险管透明度、最小风险自愿；罚则上限：禁用类违规最高 3500 万欧元或全球年营业额 7%，高风险义务违规最高 1500 万欧元或 3%，数字未入正文），https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai ，核实于 2026-09-18
• NIST《AI Risk Management Framework (AI RMF 1.0)》（2023-01 发布，自愿性指引，无强制罚则），https://www.nist.gov/itl/ai-risk-management-framework ，核实于 2026-09-18