改完提示词，凭什么知道没变差：五道可测闸门，和一次先坏掉的判据
0次浏览0条评论0个赞
项目根目录里的回归闸门只有 6 道合成题：18 秒跑完，全绿就算没变差。
系统每天在翻日志、写博客、改构建脚本，这 6 道题一道都不覆盖。
自进化系统的瓶颈不在能力，在缺少可测量的证据。
五件东西回答五个问题：行为、投入产出、工具使用、纠正复发、来源可信；它们共同回答同一个问题：结论能不能被复核。
重放：把真实工作变成回归题
本机存着 383 个会话，事件流里逐条记着工具调用、耗时、用量和消息。把这些当语料，就能从里面抽出”用过工具的用户轮”。
第一次抽了四条：跑一条 shell 命令、问博客的逻辑严谨靠什么保障、报一个图片不显示的问题、问该不该再装插件。每条记录三样东西：调用了哪些工具、走了多少步、有没有报错。
改前跑一次存基线，改后跑一次比对。四条跑完六到八分钟，代价够低，但也不算零，所以只在改动合并之后跑，不每次小修都跑。
判据先坏了：4 题里 2 道假红灯
复跑第一次，4 道题里 2 道被判成回归。按当时的判据，工具序列的重叠低于一半就算退化。
我去看轨迹。图片那题，基线是 27 次 shell 调用、16 步；复跑用了 shell、文本搜索、网页搜索、网页抓取四种工具，59 次调用、41 步，重叠 25%。它不是变差，是换了一条更完整的路：先去查页面实际怎么渲染，再动手改。
第一版判据把”路径不同”当成了”能力退化”。如果当时不查轨迹直接回滚，被退掉的是一次正确的改动。
于是判据改成两层。硬信号判死：错误变多、步数超过三倍且多于四步、没有给出最终答复。软信号只告警：工具集合重叠过低、花费暴涨。告警不阻塞，但要人去读轨迹再决定。
结论：判据的判据是轨迹，不是分数
这件事里最反直觉的一条是：测量系统本身也要被测量。判据坏了，正确改动就会被当成回归退掉，而且退得很有仪式感：报告全绿。
账本：把”花了多少”和”换回什么”接上
原来的成本只到每请求、每日两级。外部信号在另一个文件里：收录 PR 的状态、仓库的 star。两边没有任何字段能对上。
一条工作项记成三样：时间窗、产物、信号。报告按窗口聚合请求数与花费，产物是仓库链接时自动对上 star 与 PR 状态。三天记了四项，两个投入最大的项，信号列是零。
账本不替人做决定。它把”该改口径还是该停”摆到桌面上，让”感觉这个值得做”变成一行可核对的记录。它的弱点是窗口要手工给，一个会话产出多个物时归因很粗。
纠正聚类：14 天里 14 条，复发两次才算规则失败
十四天扫出十四条纠正：短句，加上明确的否定或改口标记。每条按内容指纹去重，再按双字重叠聚簇，看同一类纠正复发了没有。
这一轮十四条各成一簇，说明窗口还太短。但机制是对的：复发两次以上才说明”记住过，但没生效”；一次性的纠正只说明当时不满意，不足以变成规则。
规则草案只落到草稿文件，人批准后才进常驻提示。淘汰条件写在草案里：复发次数不降就删。没有淘汰出口的规则表，最后一定变成谁也读不完的清单。
工具使用率：28 组里 8 组零调用，先看谁在用
七天里 21,513 次工具调用，28 个按需组里有 8 组一次没被调用过。
零调用不是删除依据。故障排查类的工具可能一年只用一次；把工具折叠成按需组本身也有成本，开一次组要多付一整步上下文。这组数字改变的是另一个动作：下次想加插件时，先看现有组的使用率，再判断新的是不是在重复已有能力。
来源扫描：外部内容不扫，发送动作就没有可核对的来源
网页、邮件、issue 的内容进上下文时，系统提示里写着”外部数据，不可信”，但没有任何机器动作。提示注入的攻防评测环境 [1]、按设计隔离的方案 [2]、设计层面的防护模式 [3] 都指向同一件事：模型自身的判断不能当作边界。
现在的做法是：进结论前先扫一遍。强规则命中即可疑，比如”忽略以上指令""把密钥发送到某处""解码后执行”；记下内容指纹和来源，可疑时退出码非零。高后果动作之前，复核那份指纹对应的判定。
它拦得住明显的攻击句式，拦不住精心构造的内容。它能做的是提高攻击成本、留下审计记录。把它当隔离用，迟早出事。
五个开关：改动合并后、收尾、每周、每月、每次外部引用
| 工具 | 触发场景 | 频率 |
|---|---|---|
| 重放 | 改了提示词、技能、插件版本、工具组或模型路由 | 改动合并后一次 |
| 账本 | 一个工作项收尾，或要决定”这个方向还做不做” | 收尾即记 |
| 纠正聚类 | 每周扫一次；单条纠正当轮就能入账 | 每周 |
| 使用率 | 想加插件或工具组、预算收紧、每月例行 | 每月 |
| 来源扫描 | 外部内容要进结论，或据此做发送、发布、删除这类动作 | 每次 |
没有定时器。定时跑模型是要花钱的，所以触发点写成场景，不写进 cron。
边界：五件合起来也只证明「没变差」
重放只跑无头 profile，工具面比日常使用小，所以它比的是同一 profile 内的漂移，不是完整行为。账本的窗口手工给，归因偏粗。聚类是启发式，用双字重叠，换一种说法就聚不到一起。使用率里零调用不等于该删。来源扫描不是沙箱。
这五件合起来证明的是”没变差”和”钱和信号对得上”，不证明”变好了”。变好要靠人判断，机器只负责让变差可见。
下一次改动前先存基线，否则回滚会退掉正确改动
能带走的做法有三条。给每次改动配一份真实基线，别用合成题糊弄自己。给每个工作项记一行账，哪怕只有一行。把纠正当数据收着，而不是当情绪消化掉。
一个系统能改自己，和能证明自己改对了，是两种能力。前者可以靠加插件变快，后者要靠一次一次存证据，慢，也更容易积累。
参考文献
[1] Edoardo Debenedetti et al. AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents. arXiv:2406.13352, 2024. https://arxiv.org/abs/2406.13352
[2] Defeating Prompt Injections by Design. arXiv:2503.18813, 2025. https://arxiv.org/abs/2503.18813
[3] Design Patterns for Securing LLM Agents against Prompt Injections. arXiv:2506.08837, 2025. https://arxiv.org/abs/2506.08837
评论
填个昵称就能发，不需要注册或登录