习慈羊xiciyang
联系
订阅
正在读取订阅状态…

先修量具,再谈性能:判据的前提是可信的度量

一份「看起来很完整」的性能报告里,TTFT 的 P50、P90、P99 都和总延迟一模一样 —— 量具坏了,而它正要被拿来当判据。

优化的前提是先有可信的度量,否则你不知道自己改善了什么,也不知道判据是否成立。

先看量具坏在哪,再给一份检查清单。

结论:先修量具,再谈性能;顺序错了,每一步都离正确更远

系列占位:正文待补——判断、框架与落点先固定。先回答一个问题:一份数字漂亮的性能报告,凭什么不能直接当判据?

量具失效:TTFT 的 P50/P90/P99 全等于总延迟;修好后四个值各归各位

修量具是少数「做了就永远受益」的动作:它把「我觉得变快了」变成「我测得出变快了多少,而且这个数可信」[1];首页原则层面的第四条与它同源 [3]。

更关键的推论是顺序 —— 判据要在优化之前固定,否则优化会不自觉地朝「好测量」的方向走。

骨架

  1. 量具坏了会怎样:指标之间互相矛盾,却都被当成「事实」写进报告。
  2. 怎么验证量具:交叉验证(两个独立来源)、边界值、量纲检查、与总时长对齐。
  3. 判据要在优化之前固定:否则优化会不自觉地朝「好测量」的方向走 —— 阈值也是同样的道理 [2]。
  4. 清单:优化前必答的五个问题(测的是什么、谁测、多快、失败长什么样、回到哪一步)。

小结与接下来

落点只有一句:先修量具,再谈性能。顺序错了,前面每一步做得越认真,离正确越远。

下一篇把这条规则落到一次真实的四方对齐上:当四方各拿一把尺子时,怎么先把尺子统一。

参考文献

[1] 本站 · 先修量具,再谈性能:一次 8 卡推理调优复盘,和一套带失败路径的调优状态机 — 完整实测

[2] 本站 · 调优中的统计决策:为什么 3% 的阈值不够 — 阈值同样要先有可信的度量

[3] 本站 · 首页原则层面的第四条「先修量具,再谈性能」 — /#home-layer-6

评论

填个昵称就能发,不需要注册或登录