模型安全

模型能够正确生成工具调用格式，不代表它有权执行该调用；模型在一组测试中没有输出敏感信息，也不代表系统不会通过缓存、日志或检索泄露信息。安全问题发生在模型、数据、身份和执行能力相互连接的位置，因此必须以完整系统为分析对象。

本章承接第13章《检索增强生成》中的知识与权限边界，把相同原则扩展到训练数据、模型制品、工具执行和运行治理。目标是建立可解释的威胁模型、可检查的控制以及可恢复的运行机制；不把提示词、分类器或一项基准结果当作整个系统的安全证明。

10.1安全问题的对象及范围

可靠性、行为安全、防护及隐私

可靠性（Reliability）关注系统在给定条件下能否持续完成预期功能。行为安全（Safety）关注失败和误用是否造成不可接受的伤害。安全防护（Security）关注主动对手能否破坏资产、权限和系统行为。隐私（Privacy）关注个人信息如何被收集、使用、保留和披露。这些目标相互关联，却没有共同的单一分数。

例如，系统可能稳定执行错误授权，这是一种可靠的越权行为；模型也可能在无人攻击时给出有害建议。加密传输可以保护链路，却不能阻止已授权服务把过量数据放入提示。准确率、内容拒绝率、权限控制和数据最小化分别回答不同问题。

保障论证（Assurance Case）将目标声明、适用假设、控制和证据连接起来。例如“租户A不能读取租户B的文档”应由服务身份绑定、数据层授权、缓存隔离及对应测试支持，不能只由系统提示的一句话支持。论证同时记录残余风险、责任人和失效时的处理方式，使结论有明确边界。

本章以 NIST AI RMF 1.0（2023年）与生成式人工智能配置文件 NIST AI 600-1（2024年）作为风险治理参考，以 OWASP 2025版相关条目辅助检查应用风险(National Institute of Standards and Technology 2023; Autio 等 2024; OWASP Gen AI Security Project 2025a)。这些资料提供组织与技术视角，不会自动替具体系统完成风险分析。¹

威胁影响

威胁模型（Threat Model）说明要保护的资产、对手能力、攻击入口、信任边界及可能后果。资产不仅是权重和用户数据，还包括分词器、模板、适配器、索引、会话记忆、工具凭据、日志和算力预算。攻击者可能只控制一页公开网页，也可能能提交训练样本、修改软件依赖或使用一个普通租户账号；不同能力会产生不同可达路径。

信任边界（Trust Boundary）是信息或能力从一个授权与可信假设范围进入另一个范围的位置。外部文件进入解析器、检索文本进入模型、模型建议进入执行器，都是需要独立检查的边界。数据在前一阶段通过检查，不意味着后续任何用途都被批准。例如允许读取某份文件，并不等于允许将其全文发送给第三方。

治理先确定使用边界、责任和风险接受权限；场景分析识别资产与后果；测量通过评测、红队和运行数据形成证据；管理则决定缓解、限制能力、接受残余风险或停止使用。四类活动相互反馈，不是一次通过后永久结束的流水线。每次数据、模型或工具变化都应明确哪些既有证据仍有效，哪些需要补充。

风险登记应先描述不可接受后果，再沿系统数据流寻找可达路径。一个完整条目包含资产、主体、前提、入口、影响、现有控制、验证证据、负责人和处理状态。空白条目表示尚未分析，不表示没有风险。扩展模型能力、接入工具、更换检索源和改变用户群都会改变威胁模型，不能只在首次发布时登记一次。

本章风险与授权模型的前提

概率推导以明确的请求总体、时间窗口和损失单位为前提；构造数字仅说明计算方法。授权由可信身份和资源状态提供，模型不能自报身份或提升权限。攻击者可控制其获准提交的输入和部分外部内容，但不能任意修改受保护的授权引擎；若该假设失效，必须另行分析控制平面的失陷。

10.2风险度量边界

期望损失及主观等级

若场景构成互斥划分，场景 \(i\) 发生概率为 \(p_i\)，其条件平均损失为 \(L_i\)，则

若各类损失是可相加的不同分量，也可利用期望的线性性分别求和，但必须避免同一后果被多个攻击路径重复计数。损失单位可以是同一种货币或其他明确计量；无法合理折算的生命、隐私与业务影响，应分别呈现，不必强行合并。

例如构造一个季度风险模型：某类事件概率0.02，发生后的平均恢复损失为50000个成本单位，则该分量的期望为1000。若概率只知道落在0.01至0.04，损失在30000至80000，则可给出300至3200的粗范围，不能保留1000的点估计却隐去不确定性。低概率而不可接受的后果还可设独立能力限制；平均损失不能替代组织对不可接受后果的判断。

“可能性1至5、严重性1至5、暴露程度1至5”的评分属于序数尺度。乘积可作为预先约定的排序启发式，但不具备真实期望损失语义，排序甚至对保持顺序的重新编码不稳定。两个条目为 \((1,5)\) 和 \((2,3)\)，乘积分别5和6；若只把最高等级5重新编码为100，等级顺序未变，乘积却变为100和6。这个反例说明评分结果依赖量表约定，不能用乘积差一倍声称风险差一倍。

控制效果及相关失败

设 \(R_0,R_1\) 为同一总体在无某控制和有该控制时的期望损失，且 \(R_0>0\)，定义有效率 \(e=1-\frac{R_1}{R_0}\)，才有

它是根据已定义量得到的恒等关系；难点是获得可比较的反事实估计。把专家打分的“有效性80分”直接替换为 \(e=0.8\) 没有统计依据。若控制使攻击转移到别处，或改变了用户总体，两个风险也不再天然可比。

纵深防御（Defense in Depth）使用多个控制点限制攻击影响。若攻击成功需要所有层都漏放，则

只有独立失败时才可将条件概率替换为边缘概率。两个各有0.1漏放率的过滤器，独立时联合为0.01；若它们在相同攻击上一起失败，联合仍为0.1。对两个事件，在只知道边缘概率时有

因此堆叠相同模型的多次判断，不会自动产生乘法安全收益。更有价值的组合是不同失效机制，例如身份校验、资源范围限制、隔离执行、内容判断与审计，并在完整链路上验证。

10.3提示注入及指令边界

直接及间接注入

提示注入（Prompt Injection）利用模型可能把不可信数据解释为有效指令的机制，诱导其偏离授权任务。直接提示注入（Direct Prompt Injection）来自用户提交的输入；间接提示注入（Indirect Prompt Injection）来自网页、文件、检索材料或工具返回值等外部来源。研究已经展示间接内容能够影响集成语言模型的应用(Greshake 等 2023)。本章关心的是数据如何越过权限边界，而不是某一组固定攻击措辞。

并非所有命令式文字都是攻击。用户可能要求分析一份含指令的文档；这时文档内容是分析对象。反过来，文字看起来像普通说明也可能试图改变输出目的。字符关键词、语言和排版均不能完整表达授权关系。图像内文字、音频转写和工具结果同样可能携带这类内容，跨模态输入不会消除边界问题。

越狱（Jailbreak）通常指诱导模型突破其行为约束；它与提示注入可能重叠，但不是完全相同问题。即便模型没有生成行为政策禁止的文字，也可能把内部摘要发送到错误资源；即便某次越狱只改变了聊天内容，也不代表执行器被攻破。评估必须分别记录模型行为偏离和实际权限或数据影响。

内容可信度及执行权限分开

系统可以通过角色分隔、来源标记和训练改善模型对指令层级的理解，但文本标记不是密码学身份。外部文档不能修改认证主体、租户、工具白名单或审批规则；模型生成的“已批准”也不是批准凭据。真正的权限应保存在模型可读文本之外的受保护状态中。

输出检查同样不能替代数据最小化。如果模型上下文含有它不需要的秘密，任何过滤失误都会扩大泄露后果。更强的边界是不给模型不必要的秘密；工具凭据由执行器临时取得，而非写入系统提示。系统提示可能包含知识产权或内部规则，但不能作为密钥库或唯一安全屏障。

风险传播链

考虑构造的内部知识助手：用户只要求总结某项目的内部报告，检索系统找到一份附有恶意说明的文档。模型把说明当作额外任务，提出向外部地址发送完整报告。若编排层只检查调用是合法 JSON，并使用拥有广泛发送权限的服务账号执行，就会把文本误解转化为数据外发。

此失败链至少包含四个不同环节：外部内容影响任务目的；模型提出超出原请求的动作；策略层没有验证用途、收件范围和数据级别；执行凭据允许现实外发。关键词过滤可能阻止第一步中的部分变体，却无法独立保证后三步。相反，即使模型仍提出错误建议，外部发送能力默认不可用、目的地址受限和数据出域策略也可阻止该后果。

另一条路径不需要显式发送工具：模型生成包含外部资源的富文本，客户端自动加载时可能发起网络请求。因此输出消费位置也属于威胁模型，应限制自动远程资源加载、按目标格式进行安全渲染，并避免将敏感内容放入可被外部访问的地址参数。不能只保护工具网关，却假定展示层没有副作用。

10.4工具授权及执行事务

外部授权判定

令 \(u\) 为已认证主体，\(a\) 为动作，\(r\) 为规范化资源，\(c\) 包含租户、时间、用途和环境。执行许可至少满足

这是必要条件而非充分条件，还要检查参数模式、业务约束、预算与操作前置状态。主体来自认证会话，资源归属来自可信数据层，不能信任模型参数中的自报字段。用户授权、服务身份能力和当前任务范围应取交集，而不是任选一个足够宽的权限。

最小权限（Least Privilege）要求只提供完成任务必要的资源与动作范围。工具接口宜以明确业务能力为边界，而非暴露任意命令执行器。读取、修改、外发和权限变更具有不同影响，应使用独立能力和凭据范围。OWASP 2025版将过多功能、过宽权限和过度自治列入过度代理风险讨论(OWASP Gen AI Security Project 2025c)。

结构模式（Schema）校验约束字段、类型和取值形式，但合法格式仍可能引用错误租户、过量资源或不允许的目的地。资源标识必须规范化后验证，并在执行时使用同一个规范结果。先校验一个地址、再跟随未经验证的重定向，或者先检查路径字符串、再解析到其他对象，都会破坏这一对应关系。

动作级批准

对需要批准的高影响或不可逆操作，应在内容、对象、参数和影响已经确定后展示给具有相应权限的人。已存在且覆盖当前动作的授权不需要重复索取，但不能把模糊任务目标扩张成无限授权。批准记录可绑定规范化动作摘要

其中 \(H\) 表示确定的摘要构造。参数、资源或权限状态改变后，原批准可能不再有效，需要重新判定。摘要能绑定内容，批准本身仍须由可信身份签发和验证。

检查与使用时差（Time-of-Check to Time-of-Use，TOCTOU）指检查状态与实际执行间状态发生变化的风险。例如文档所有权在批准后改变。执行器应在执行点重新验证权限和必要资源版本，或使用数据库条件写入、事务与能力凭证绑定约束，避免把过期检查当作当前事实。

幂等、超时及未知结果

幂等性（Idempotency）要求同一逻辑请求的重复提交不重复产生业务副作用。它需要稳定幂等键 \(k\)、动作摘要和执行结果的绑定，而不只是客户端随机生成一个字符串。相同键对应不同参数应拒绝；同一请求重试应查询或复用原执行记录。

工具超时可能发生在副作用已经完成、结果尚未返回之后。因此“超时”不等于“未执行”。状态应区分已准备、已授权、执行中、成功、明确失败和结果未知。未知状态先查对账或结果接口，不能直接用新幂等键重新发起。补偿操作也不等于真实回滚：已经发送的数据无法靠撤销调用收回，某些业务动作只能进行后续补偿。

算法10.1　受控工具执行

输入是已认证请求、模型动作建议和当前策略；输出是拒绝、待批准、执行结果或结果未知状态。

1. 从受保护会话取得主体与任务范围，解析模型建议；任何身份或租户自报字段都不能覆盖会话状态。

2. 规范化资源与参数，验证结构、范围、用途、资源归属及预算；策略明确拒绝或必需状态不可取得时停止。

3. 计算最终动作摘要。若策略要求批准，验证批准主体、摘要、范围及有效期；没有满足条件的批准则返回待批准状态并停止。

4. 以“租户与幂等键”的唯一约束，原子建立并认领绑定动作摘要的执行记录；只有认领成功的执行者进入发送步骤。已有记录时返回已知结果或查询执行状态；相同键不同摘要则拒绝，不通过新建动作绕过冲突。

5. 在执行点重查当前授权与资源前置条件，以最小权限短期凭据调用指定工具，不向模型暴露凭据。

6. 将成功、明确失败或结果未知写入账本。未知结果进入对账流程；重试遵守相同逻辑请求和预算，不重复创建副作用。

7. 按数据披露策略处理工具结果，记录最小化审计证据，再返回编排层。工具返回文本不改变后续授权规则。

该算法要求账本支持原子认领，远端工具对同一动作键提供幂等提交或可靠的结果查询。认领后崩溃和发送后超时均须通过原动作身份恢复；远端既不支持幂等、也不能核对结果时，应保持结果未知并停止自动重发，不能仅凭本地唯一约束宣称外部恰好执行一次。持久执行、发件箱与隔离代数的机制见第16章《智能体运行系统》。

不变量是未经授权的动作不能到达执行器，批准与实际参数一致，并在上述远端契约成立时使同一逻辑请求的重试不产生额外副作用。系统中存在绕过网关的其他执行路径时，必须纳入同一控制。

10.5数据及模型供应链

投毒、后门及评测污染

数据投毒（Data Poisoning）通过改变训练或检索数据影响系统行为。后门（Backdoor）使模型在特定触发条件下产生攻击者希望的行为，同时可能在普通样本中表现正常。两者的关系取决于攻击路径：后门可以通过训练数据、参数或依赖引入，数据投毒也可能只降低整体质量而不形成触发机制。

数据清单应保存来源、取得依据、用途、时间范围、处理版本、敏感等级和内容标识，并建立样本到数据快照、训练任务与模型版本的关系。来源集中度、重复率、标签变化和分布异常可帮助发现问题，但这些检测无法保证发现所有隐蔽投毒。下载位置公开不等于内容适合训练，也不等于来源拥有授权。

评测污染（Evaluation Contamination）使测试材料进入训练或调参过程，从而削弱评测结论。安全数据尤其需要控制：反复使用同一攻击模板优化，可能只提高已知变体拦截率。应独立维护训练、开发、保留测试和历史回归集合；将新事件转为回归用例后，它不再代表完全未知攻击。

制品性校验

制品完整性（Artifact Integrity）关注实际加载内容是否与指定制品一致。内容哈希可以检测字节变化，但攻击者若同时替换文件和未受保护的摘要，哈希相符也没有来源保证。数字签名（Digital Signature）把制品声明绑定到签名主体，但仍需验证签名身份、信任链、签名用途和撤销状态。可信发布者签名也不证明模型行为无害。

权重之外，配置、分词器、会话模板、适配器、处理器、自定义代码和运行依赖都会影响行为。软件物料清单（Software Bill of Materials，SBOM）列出软件组件及版本关系，模型制品清单还应补充权重与数据、评测和处理器关系。OWASP 2025版供应链条目强调预训练模型、数据和第三方组件带来的风险(OWASP Gen AI Security Project 2025b)。清单是追溯证据，不是自动通过发布的证明。

Safetensors 采用以张量为中心的序列化方式，旨在避免依赖任意对象反序列化来加载权重(Safetensors Contributors 不详)。它减少一类加载风险，却不审查同仓库的自定义代码、模板或模型中的行为后门。远端代码执行能力应默认关闭；业务确实需要时，按固定代码版本审查，并在隔离构建与加载环境中限制凭据和网络。

构建、评测及部署绑定

不可变发布应把权重、配置、处理器、模板、依赖锁定文件和镜像摘要绑定为一个版本集合。评测清单引用的摘要必须与部署集合一致，否则“模型名相同”不足以支持复用证据。改变适配器或会话模板也可能改变安全行为，应按影响重新评估。

构建环境需要限制外部执行和秘密访问，加载环境需要限制文件与网络能力，运行环境需要限制服务身份。漏洞扫描只能检查其覆盖的已知问题，行为评测只能覆盖相应任务分布；二者应互补。回滚时必须明确是回滚权重、索引、模板、策略还是完整制品集合，不能恢复了旧权重却继续加载受污染的适配器。

10.6隐私及多租户隔离

数据最小化

个人可识别信息（Personally Identifiable Information，PII）包括能够识别或关联个人的信息，其具体范围应按场景确定。隐私控制从明确用途和最小必要数据开始，再处理访问、保留和披露。正则脱敏可能漏掉间接标识，也可能删除任务所需内容；一次脱敏不等于整个数据生命周期受到保护。

将姓名替换为稳定标识属于去标识处理的一种形式，但映射表或其他字段组合仍可能恢复关联。向量、摘要、缓存和调试日志也可能保留敏感信息，不能因为不是原文就自动视为公开数据。加密保护传输和存储状态，对获得解密权限的服务仍需数据范围和用途限制。

训练模型还可能记忆样本信息。删除原始记录可以阻止继续摄取，却不自动删除已训练参数中的影响；需要依据实际训练与删除机制分析是否重训、使用专门方法或限制模型使用。不得把数据目录中的删除状态解释为已经完成参数层面的精确遗忘。

多租户状态隔离

租户标识来自服务端认证状态，并贯穿文档读取、向量索引、对象存储、会话记忆、答案缓存和遥测。向量检索后的最终过滤不能挽回已经传给外部重排器的未授权内容。缓存键还应考虑授权范围和策略版本；权限撤销应及时阻止旧缓存读取，不等待普通到期时间。

会话记忆的写入同样是数据变更。外部文档不能把自己声明为长期系统规则；记忆应保留来源、作用域、有效时间和删除路径。跨会话共享摘要必须有明确的数据授权，不能只凭模型判断“这条信息以后有用”。

密钥应由专用系统向执行器提供短期、窄范围能力。生产、测试和不同工具的服务身份分开，可以限制凭据泄漏后的影响。审计日志默认记录标识、版本、决策与必要摘要，对敏感全文的临时取证另行控制访问和保留期。没有必要把完整提示和工具响应无差别复制到监控平台。

训练记忆、成员推断及输出泄漏

隐私泄漏需要按信息来源分别分析。推理时泄漏来自当前请求、检索结果、工具返回或历史记忆；训练时泄漏则可能来自权重对样本的记忆。Carlini等人在GPT-2上通过查询恢复了部分训练文本，包括个人可识别信息(Carlini 等 2021)。这是特定模型与实验条件下的证据，不能据此断言任意模型都能恢复任意人的记录。

成员推断（Membership Inference）判断某条记录是否参加过训练；训练数据提取尝试恢复记录内容。两者影响不同，例如仅暴露某人属于一个敏感群体的数据集，也可能造成隐私损害。验证必须分别报告成员判断的误报与漏报、原文恢复的匹配标准，以及攻击者预先掌握的信息；模型生成一条看似真实的个人记录并不证明它来自训练集。

防护应贯穿数据生命周期：入库前排除非必要秘密、核实用途并控制重复；训练与微调时限制敏感样本暴露，保留删除和重训路径；推理时先授权检索，再最小化进入上下文的字段；输出时按接收者权限检查答案、引用、附件与工具参数。数据防泄漏（Data Loss Prevention，DLP）通过数据识别与披露策略限制敏感信息外发。规则匹配、实体识别和上下文分类可以互补，但须覆盖改写、跨轮拼接与间接标识，不能仅检查身份证号等固定格式。

流式输出还存在不可收回的披露窗口：先发送全文再审核，无法撤销已经到达客户端的内容。高敏感字段应在释放前检查；需要跨句判断时可缓冲一个可判定的片段，必要时审核完整回答，并明确增加的延迟。检查范围包括可读思考摘要和中间工具结果。故障时应返回明确状态或限定回答，避免审核服务不可用自动变成无限放行。

例如员工只能查询自己的报销记录，系统应由会话身份绑定员工编号，在数据层返回获准字段，随后计算金额。输出审核检查其他员工姓名与账户信息，日志只记录必要标识和结果摘要。仅在最终答案遮盖姓名仍不足以保护已发送给外部模型、重排器或日志平台的完整记录。供应商是否用请求训练、保存多久、哪些功能保留状态，是三个需要分别核对的条件；私有部署同样需要内部访问和日志控制。

差分隐私边界

差分隐私（Differential Privacy，DP）约束单个受保护单位对随机机制输出分布的影响。令相邻数据集 \(D,D'\) 相差一个约定单位，\(\mathcal M\) 为训练发布机制，\(S\) 为任意可测输出集合，则 \((\varepsilon,\delta)\)-差分隐私要求

相邻单位可以是记录，也可以是一个人的全部记录，二者保证不同。DP-SGD通过逐样本梯度裁剪、聚合时加噪声和累计隐私核算实现训练保护(Abadi 等 2016)。仅做普通梯度裁剪或在答案中任意加噪声，不能宣称满足上述定义。

采用该方法需要报告相邻关系、采样方式、噪声与训练步数，以及最终隐私预算；额外的私有数据调参和发布也要纳入核算。它带来效用和计算成本取舍，不能修复推理时直接把未授权文档放入上下文的路径，也不保证输出的所有事实都不敏感。训练隐私与服务授权应分别验证。

10.7模型提取及未经授权的蒸馏

保护资产及可观察信息

模型提取（Model Extraction）指通过访问目标模型等方式构建行为近似的替代模型。知识蒸馏本身是正常训练方法，其机制见第34章《模型优化》；本节讨论超出授权范围的数据采集和能力复制。应分别确定允许的调用、批量生成和训练用途，不能仅凭用户要求解释步骤就判定滥用。

对手可能取得权重，也可能只能通过API观察文本。权重一旦交付到对手控制的环境，服务端限流和输出策略就无法约束其本地执行；开放权重的发布决策须接受这一控制边界。API服务可以隐藏权重、中间表示与完整词元分布，并控制采集规模，但只要持续提供有用答案，观察者就可能利用答案训练其他模型。防护目标应表述为限制暴露、提高采集成本和发现未经授权的行为，而非保证输出无法被学习。

设请求为 \(x\)，教师生成的推理文本为 \(z\)，答案为 \(y\)，学生参数为 \(\phi\)。在已取得且获准使用的数据上，答案监督和轨迹监督可分别写成

期望针对相应训练样本分布；序列概率按词元自回归分解。第二个目标增加了中间步骤监督，但轨迹错误、冗长或与学生能力不匹配时也可能降低效果。隐藏 \(z\) 可以减少直接可用的轨迹，仍留下答案监督和由答案另行构造解释的途径；这种事后解释也不能被当作教师实际生成过的内部轨迹。

请求安全监测

单条请求内容合规，不代表长期采集用途获得授权。运行控制可结合可信账号归属、组织级预算、并发与批量限制，以及跨请求的任务集中度、模板重复、调用节奏和账号关联。聚合分析必须有明确用途、最小必要字段和保留期限；共享出口地址或相似课程作业都可能形成正常聚集，单一关联信号不足以定性。

Anthropic在2026年2月23日的公告中介绍了流量分类、行为指纹、跨账号协同检测和强化账号验证，并提到识别为构建训练数据而诱导思维链的行为(Anthropic 2026)。这些是厂商公布的防护方向，公告没有提供足以独立复现的完整判定规则或统一防护成功率。该证据也不能支持把某种签名算法描述成其全部反蒸馏机制。

工程上可按证据强度逐级限制额度、暂停批量能力或进入人工核查，并保留申诉和恢复路径。验收既要统计受控采集场景中的可获得样本量、检测延迟和漏检，也要检查正常研究、教学与企业批处理的误限制。用于行为检测的数据不能原样复制到学生训练或其他无关用途。故意向正常用户提供错误答案会损害产品可信度，不宜作为通用防护措施。

10.8思维链保护及思考签名

明文、摘要及受保护状态

思维链（Chain of Thought，CoT）是模型生成的中间推理文本，并非神经网络全部内部计算的记录。安全设计应区分完整推理文本、面向用户的解释或摘要，以及供后续推理恢复的受保护状态。完整文本可能复述上下文中的敏感内容，也可能成为蒸馏监督；摘要减少直接披露，却仍需按数据权限审核。

用户需要核验结论时，可以提供依据、计算步骤、来源与不确定性，而不必发布全部内部轨迹。解释质量应以可验证性评估，不能因一段文字语气连贯，就把它当作模型因果过程的忠实记录。隐去原始轨迹也不等于消除模型从最终答案泄露秘密的可能。

Anthropic的signature字段

按2026年9月11日核查的Claude Messages API官方Thinking文档，thinking块中的signature是承载加密完整思考内容的不透明字段，API在回传时用它验证思考块来自Claude。display设为summarized时返回可读摘要，设为omitted时可读字段为空，受保护内容仍用于续接；具体支持情况随模型而异(Anthropic 不详)。

集成时应按协议原样保存和回传需要的思考块，包括redacted_thinking块；流式签名通过signature_delta到达。加密字段不应被解析为可读思维链或当作普通答案展示。上述文档给出接口行为，并未公开足以据此指定其密码算法、密钥派生和全部绑定范围的细节，因此不能将字段名直接解释为某种可由第三方公钥验证的标准数字签名(Anthropic 不详)。

从控制作用看，加密限制无解密能力的观察者读取完整轨迹；来源与完整性验证限制伪造或篡改后冒充有效思考状态。对已公开明文添加签名，并不能阻止别人复制该明文作为训练数据。 即使完整CoT受保护，可读摘要、答案和工具轨迹仍可能提供监督；声称反蒸馏有效还需要相应采集与训练评估。

应用侧的状态隔离及验收

对于自建系统，若客户端只需恢复会话，可在服务端保存推理状态并返回受限句柄；需要客户端携带状态时，应使用经过审查的认证加密方案，同时在受保护上下文中绑定租户、会话、用途、版本与有效期，并设计重放处理。这里给出的是应用设计要求，不是对Anthropic内部实现的推断。密文也应按敏感状态控制访问、日志与保留，不能仅因不可读就任意跨租户共享。

验收应分为三个独立目标：用获准的合成敏感标记检查答案、摘要、工具参数与日志的泄漏；用篡改、跨会话替换、过期和重放检查状态协议；用受控批量请求检查反采集策略及正常任务误拦。伪造状态被拒绝只能证明相应校验路径有效，不能推出隐私或反蒸馏整体通过。合成标记测试属于泄漏路径检查，也不能单独构成训练集隐私保证。

10.9安全评估及发布控制

漏放、误拦及基率

将安全过滤看作二分类任务，危险请求被放行为漏放（False Negative），正常请求被阻止为误拦（False Positive）。阈值通常在二者之间权衡。设危险请求基率为 \(\pi\)，危险漏放概率为 \(q\)，正常误拦概率为 \(f\)，则在所有拦截中危险请求所占比例为

例如构造总体含10000条请求，其中100条危险；过滤器拦截90条危险请求、误拦198条正常请求。危险召回率为90%，正常误拦率为2%，但288条拦截中仅90条危险，精确率为31.25%。高拦截召回并不表示审核队列大多是真风险。

若放行危险请求的代价为 \(C_h\)、误拦代价为 \(C_b\)，且有校准的后验危险概率 \(p\)，放行与拦截的期望成本分别为 \(pC_h\) 和 \((1-p)C_b\)。拦截条件为 \(p>\frac{C_b}{C_h+C_b}\)。这只是两动作、固定成本模型；涉及不可接受后果、人工复核和部分能力限制时，需要更完整决策规则。分类器原始分数不应未经校准直接作为 \(p\)。

加权指标及零失败的置信界

对 \(N\) 个样本，给定允许行为集合 \(\mathcal A_i\) 与非负权重 \(w_i\)，可定义

权重需预先规定，结果应同时呈现逐类失败数、分母和高严重度个案。没有正常样本的切片，其误拦率是不适用，不是零。还应测量要求执行控制的机会中实际执行了控制的比例，避免只评估过滤器本身而遗漏绕行路径。

若 \(N\) 次独立同分布试验中失败数为0，真实失败率为 \(p\)，观测零失败的概率为 \((1-p)^N\)。单侧置信度 \(1-\alpha\) 的精确上界满足

当 \(\alpha=0.05,N=100\)，上界约2.95%；当 \(N=300\)，上界约0.994%。所以 \(\frac{0}{100}\) 不能证明失败概率为零。利用 \(e^x\approx1+x\)，大样本时上界近似 \(-\frac{\log\alpha}{N}\)，95%置信度下约为 \(\frac{3}{N}\)。²

组件、链路及未知路径

评测应从规则和参数校验，到模型单轮多轮行为，再到身份、检索、输出和工具的完整链路。红队评估（Red Teaming）在授权范围内主动寻找未知失效路径，结果应记录前提、真实影响和绕过的控制。仅使模型输出不合适文字与真正跨租户读取是不同后果，不能合并成一个攻击成功标签。

样本需要覆盖正常易误拒请求、边界案例、不同语言与模态、长上下文以及历史事件。随机生成设置和版本应固定并报告重复次数。人工审核者也需明确判据、访问分级和暴露保护；模型评审器自身可能受注入或分布变化影响，应通过人工样本估计误差。

发布证据应绑定变化范围、风险登记、制品摘要、切片结果、权限验证和恢复能力。高严重度后果可形成独立门槛，不能被大量正常样本平均掉。受控放量应限制流量、租户、工具和资源范围；观察窗口要考虑事件基率与统计不确定性，不存在对所有场景都合适的固定百分比。

10.10监测及事件响应

异常调查记录

监测需关联请求、租户、模型、策略、检索快照、工具动作和结果状态。拒答率突变可能来自攻击，也可能来自模型更新或数据变化；外部写入增加可能是业务高峰，也可能是控制绕过。告警规则应结合变更记录与分组基线，避免把单个指标波动直接等同于安全事件。

资源也是安全资产。限制输入解码大小、上下文长度、检索分支数、工具轮数、并发、输出和总截止时间，可以约束资源耗尽。取消和失败需要传播到后台任务，避免前端已结束而工具循环仍在运行。对调用量异常的租户应按权限与配额处理，不能依靠模型自觉少调用。

遏制、保全、修复及恢复

事件响应（Incident Response）是识别、遏制、调查和恢复受影响系统的组织过程。NIST SP 800-61 Rev.3（2025年）将响应准备与检测、响应、恢复放入网络安全风险管理中(Nelson 等 2025)。对模型系统，应预先具备停用工具、隔离索引、撤销凭据、切换制品与保护证据的能力，而不是事件发生后才临时设计开关。

发现疑似泄露后，先限制继续扩大的路径，例如停用外发工具和失效凭据；同时保留受控证据，包括请求时间线、来源版本、策略决策与执行账本。调查要区分已提出、已拒绝、已执行和执行结果未知的动作。没有发现成功日志不等于没有执行，需结合工具端记录确认。

影响分析应覆盖用户、租户、数据范围和副作用，并判断缓存、记忆与派生制品是否受污染。修复位置可能在数据、模型、模板、策略或执行器。只更新提示可能掩盖一条攻击文本，却保留错误授权；只回滚模型也不能撤销已经外发的信息或已执行的业务变更。

恢复前应验证受影响控制、历史失败路径和相邻变体，并检查凭据、缓存和索引的清理结果。恢复可以分能力进行，例如先开放只读检索，继续关闭外部写入；不能因为聊天答案恢复正常就把全部工具一起恢复。通知、保留与披露要求按事件和组织适用规则执行，记录由谁作出相应判断。

构造事件的时间线

回到内部报告外发的构造场景。记录显示某请求在10:00提出外发建议，策略错误允许，工具在10:01执行成功，10:03出现告警。响应人员在10:05停用发送能力并撤销服务凭据，随后固定相关文档版本、动作摘要与收件范围。检测延迟从已确认执行到告警为2分钟，遏制延迟从告警到停用为2分钟；指标必须明确起止定义。

调查确认根因是“合法结构即允许”的错误策略，而非只有某个提示词漏洞。修复需加入任务范围、目的地址和数据级别校验，缩小工具身份权限，并处理可能保存敏感摘要的缓存。已经送达的报告不能通过权重回滚收回，需进入实际数据事件处置。随后以相同动作参数、不同表达、工具超时重试和缓存读取构造回归条件，分阶段恢复能力。这个时间线是教学构造，不是对某真实系统事件的描述。