习慈羊xiciyang
联系
订阅
正在读取订阅状态…

性能调优

共 3 篇文章。

先修量具,再谈性能:判据的前提是可信的度量在写

专业洞察

优化的前提是先有可信的度量——否则你不知道自己改善了什么,也不知道判据是否成立。从"量具坏了"这一类事故里总结出来的检查清单:怎么验证一个指标可信,怎么在优化前先固定判据。

先修量具,再谈性能:一次 8 卡推理调优复盘,和一套带失败路径的调优状态机

案例复盘

一份"看起来很完整"的性能报告里,TTFT 的每一个分位数都和总延迟一模一样——量具坏了。修好量具之后,第二个破绽暴露出来:Prefill 吞吐比 Decode 还慢,而这是物理上不该发生的。复盘这两次诊断与修复的实测数据,并说明我为什么把调优这件事从"多跑几轮看稳不稳"重写成了一台带失败路径的状态机。

调优中的统计决策:为什么 3% 的阈值不够,以及那 3 次"重复测量"其实不够用

专业洞察

性能调优里最容易被跳过的一步,是回答"这次判定凭什么成立"。当测量噪声 σ≈2% 而你要判定的效应只有 3% 时,信噪比接近 1——"多跑几轮看稳不稳"在统计上是没有内容的。这件事可以拆成四层错误:固定阈值、样本量不足、边看边停、多指标齐看,并给出对应的四件工具(本机标定的动态阈值、功效分析、always-valid 推断、FDR 控制)。

← 所有标签