习慈羊xiciyang
联系
订阅
正在读取订阅状态…

全部文章

31 篇工程记录:AI 基础设施、Agent 系统、领域设计上的判断与取舍,以及把「什么叫成功」写成可验收判据的方法。

共 31 篇,按时间倒序。

四代 harness,一条回路:我拆完八个框架后才看清的那张表

架构手记

我从 ReAct 一路拆到 MCP,拆了八个框架、跑了十几个消融之后才发现:四代 harness 换的是同一张图里的两处接线。横轴是时间(四代),纵轴是五层(模型、上下文、循环、工具界面、状态)。这张表能回答三个问题:每一代换了哪层、为什么恰好是那时候、我自己这套现在该动哪一层。

垂直整合的代价:DeepInfer 只服务一种模型,64 卡以下拿不到它的收益

工程为基

2026-10-20 DeepSeek 开源了内部推理框架 DeepInfer。它承认自己最初主要基于 vLLM 构建,只支持 V4.1-Flash、只跑 SM100 与昇腾 950,发布包里不含 KV 存储、PD 分离和负载均衡。把官方 README、部署 Q&A 和 benchmark 图逐条对到 vLLM / SGLang / TensorRT-LLM 的机制上,能看清垂直整合真正买到的三样东西:高交互性一侧的吞吐、用 140 个 token 换掉整段 prefill 重放、以及只值 4–7% 的置信度调度。所有吞吐数字都是厂商自测,文中逐条标注口径与失效区间。

折叠不是免费的:一次「能藏就藏」的返工,和它换来的那条不等式

工程为基

上一轮我把 700 个工具里的低频部分折叠进按需组,省了 95%。这一次我照着自己的结论继续折叠视觉、密码库这类中频工具,结果省下的还不够开一次组——每一步都要多付一整份上下文。返工之后留下的不是"别折叠",而是一道能算的算术:N·B > C。顺带我把这台机器的账单重新量了一遍:按请求算它便宜了 56%,但会话第 401 步之后每一步贵了 69%——后一个数字才是下一刀应该落的地方。

改完提示词,凭什么知道没变差:五道可测闸门,和一次先坏掉的判据

工具成器

我给这台 agent 的改动加过很多能力,却只有一个六道合成题的行为闸门。真正的问题在落地五件测量工具那天暴露:重放闸门把四道真实任务里的两道判成回归,查下去发现坏的是判据,不是系统。这篇写这五件工具各自回答什么问题、什么时候触发、以及每件证明不了什么。

把发布做成产线:四条包、七条 PR、零合并,和一条被漏看两小时的安全审查

落地为证

我用一天把四个自研包推成了公开仓库与七条收录 PR,结果是零合并。真正留下来的不是这七个链接,是中间那条产线:它把「合格」写成了能跑的判据,也暴露出一个盲区——监测器只盯 PR 状态、不盯评论,维护者的安全审查意见因此躺了两小时。这篇写产线怎么搭、闸门能证明什么、又在哪一刻彻底失效。

把 Agent 的每次调用砍掉 95%:一次从字节开始的成本审计,与六个被实测否决的方案

落地为证

一次普通对话花掉 4900 万 token,根因不是模型,而是每次调用都要重发一遍的 25 万 token 固定前缀。我用会话日志里的原始字节把它压到 11,476 token/次(−95.4%),随后发现更大的持续浪费是打断前缀缓存(实测多付约 350 万 token 当量)与闲置的免费算力(利用率 0.1%)。文末列出六个我实测否决的主流方案,以及我拒绝做的三件事。**2026-10-17 补记第 12 节**:折叠之后账单换了形状——按全部固定文本口径实测 29,031 token/请求(11.3k 的声明在 PTC 模式下搬进了系统提示),并补上折叠回本判据 N·B > C 与一条「空转注入」的事故复盘。

为什么 AI 项目失败,往往不是模型问题

判据先行

三方各有各的成功定义,方案就一定收敛不了——不是模型不行,是没人先把"什么叫成功"写成同一句话。失败链条拆成四步:多方冲突 → 判据缺失 → 方案无法收敛 → 定义统一判据后如何收敛,并给出可复用的定义流程。

「默认最高规格」是编排层最贵的默认:一次任务分级整改,和我亲手造出的一个危险 bug

架构手记

一篇博客被编排层拆成 8 个任务、产生 393 条跨 agent 消息。问题不在哪条门禁坏了,而在编排层根本没有「级别」这一维,于是最高规格成了默认值。复盘我怎么加上这一维、把「只能更轻」变成机器不变量,以及我为这个改动亲手造出、又被独立复核对出来的一个危险 bug。

让 Agent 自己长技能:一个"检索 → 计划 → 执行 → 沉淀"闭环,和它暴露出的三处安全缺陷

架构手记

让 agent 自己长技能,真正的风险在于它把错的做法记成经验:技能库同时是它自己的判据来源,错一次会被记住很多次。我把它做通了(检索→计划→白名单执行→成功后蒸馏成技能写回同一个知识库),但通读代码后找到三处设计缺陷:白名单把解释器放了进去、自动沉淀默认开启、参数替换发生在分词之前。

先修量具,再谈性能:一次 8 卡推理调优复盘,和一套带失败路径的调优状态机

落地为证

一份"看起来很完整"的性能报告里,TTFT 的每一个分位数都和总延迟一模一样——量具坏了。修好量具之后,第二个破绽暴露出来:Prefill 吞吐比 Decode 还慢,而这是物理上不该发生的。复盘这两次诊断与修复的实测数据,并说明我为什么把调优这件事从"多跑几轮看稳不稳"重写成了一台带失败路径的状态机。

慎用指标:AI 岗位评估里最容易做错的那一步

判据先行

一个指标只要能被主动生产,它就会被生产。而 AI 岗位的关键能力恰好全都难以测量——于是人会用"容易测的量"替代,结果往往适得其反:"代码提交量"度量的是复杂度增长,激励方向与目标恰好相反。给出三个慎用指标及其失败模式、以行为锚定替代打分的做法,以及为什么岗位定义本身也有半衰期。

答案会过时,追问路径不会:把一次 AI 对话变成资产

架构手记

一次 AI 对话要变成可复用的资产,需要三件它通常不产出的东西——置信度、适用边界、可执行形式。一套六段式对话结构(原始提问 → 初答 → 人类追问链 → 综合论证 → 元指令集 → 自进化触发器)、追问链该推的三类问题,以及为什么最终形态必须是配置而不是散文。

把规则装上牙齿:自动化闭环里的验收设计

判据先行

一个自动化闭环最容易被漏掉的部分不是流程本身,而是"谁来验收、拿什么验收、不通过怎么办"。复盘两个真实系统的设计:三位一体对齐与不做清单,以及一套把"还行"变成数字的评分卡、五层监督与自动卡点——并给出一个关键判据:规则与机制的差别,在于有没有卡点。

调优中的统计决策:为什么 3% 的阈值不够,以及那 3 次"重复测量"其实不够用

工程为基

性能调优里最容易被跳过的一步,是回答"这次判定凭什么成立"。当测量噪声 σ≈2% 而你要判定的效应只有 3% 时,信噪比接近 1——"多跑几轮看稳不稳"在统计上是没有内容的。这件事可以拆成四层错误:固定阈值、样本量不足、边看边停、多指标齐看,并给出对应的四件工具(本机标定的动态阈值、功效分析、always-valid 推断、FDR 控制)。

洞察的检验标准:五层递进,与三条能证伪的判据

判据先行

有些判断听起来很像洞察,甚至能被数据支持,却无法指导任何动作——它们是把相关当因果的伪洞察。一套可复核的检验:三条判据(机制穿透性、可验证性、范式价值)、一条从噪声到结论的 SOP、五层递进的能力台阶,以及用技术/业务/资本三个视角对同一个判断做压力测试的方法。

从 67B 到 671B 再到 1.6T:DeepSeek 近三年换了五种结构,那道没变过的判断标准

工程为基

从 2024 年 1 月的 DeepSeek-LLM 到 2026 年 10 月的 DeepSeek-V4.1-Flash-1017,DeepSeek 近三年换了五种结构,却始终守着同一道判断标准——省资源,但不掉点。前九次发布每次都要在这条判据上做一次交换;2026-10-17 的第十次更新第一次没换结构,让基准普涨、运行时间与输出长度同时缩短。按「每一代拆掉哪一根成本项」把主线串起来,数字均标注论文或官方模型卡出处,折算与推算的账本在文末「口径与边界」。

按系列读 →全部标签归档 →