改完提示词,凭什么知道没变差:五道可测闸门,和一次先坏掉的判据
案例复盘我给这台 agent 的改动加过很多能力,却只有一个六道合成题的行为闸门。真正的问题在落地五件测量工具那天暴露:重放闸门把四道真实任务里的两道判成回归,查下去发现坏的是判据,不是系统。这篇写这五件工具各自回答什么问题、什么时候触发、以及每件证明不了什么。
0次浏览0条评论0个赞
邮件订阅:填个邮箱,我审核通过后就给你推送新文章,随时一键退订。(已在用 RSS 阅读器的话,下面有零注册入口。)
零注册、即时生效,适合已经在用阅读器的人:https://xiciyang.com/feed.xml
手上真正在用的工具,以及它们各自的失败方式。
我给这台 agent 的改动加过很多能力,却只有一个六道合成题的行为闸门。真正的问题在落地五件测量工具那天暴露:重放闸门把四道真实任务里的两道判成回归,查下去发现坏的是判据,不是系统。这篇写这五件工具各自回答什么问题、什么时候触发、以及每件证明不了什么。
0次浏览0条评论0个赞
我用一天把四个自研包推成了公开仓库与七条收录 PR,结果是零合并。真正留下来的不是这七个链接,是中间那条产线:它把「合格」写成了能跑的判据,也暴露出一个盲区——监测器只盯 PR 状态、不盯评论,维护者的安全审查意见因此躺了两小时。这篇写产线怎么搭、闸门能证明什么、又在哪一刻彻底失效。
0次浏览0条评论0个赞
一次普通对话花掉 4900 万 token,根因不是模型,而是每次调用都要重发一遍的 25 万 token 固定前缀。我用会话日志里的原始字节把它压到 11,476 token/次(−95.4%),随后发现更大的持续浪费是打断前缀缓存(实测多付约 350 万 token 当量)与闲置的免费算力(利用率 0.1%)。文末列出六个我实测否决的主流方案,以及我拒绝做的三件事。**2026-10-17 补记第 12 节**:折叠之后账单换了形状——按全部固定文本口径实测 29,031 token/请求(11.3k 的声明在 PTC 模式下搬进了系统提示),并补上折叠回本判据 N·B > C 与一条「空转注入」的事故复盘。
0次浏览0条评论0个赞
一段脚本只要没被真的执行过,它就只是文本——而文本会以非常安静的方式损坏:粘贴时丢一个空格、换行处截断一个字符、正则少一个右括号。用一个真实案例给出三关判据(能解析、能重复执行、失败可回滚),以及两处容易被忽略的部署约束。
0次浏览0条评论0个赞