先修量具，再谈性能：一次 8 卡推理调优复盘，和一套带失败路径的调优状态机
案例复盘一份"看起来很完整"的性能报告里，TTFT 的每一个分位数都和总延迟一模一样——量具坏了。修好量具之后，第二个破绽暴露出来：Prefill 吞吐比 Decode 还慢，而这是物理上不该发生的。复盘这两次诊断与修复的实测数据，并说明我为什么把调优这件事从"多跑几轮看稳不稳"重写成了一台带失败路径的状态机。
0次浏览0条评论0个赞
推理
共 1 篇文章。
邮件订阅：填个邮箱，我审核通过后就给你推送新文章，随时一键退订。（已在用 RSS 阅读器的话，下面有零注册入口。）
零注册、即时生效，适合已经在用阅读器的人：https://xiciyang.com/feed.xml
共 1 篇文章。
一份"看起来很完整"的性能报告里，TTFT 的每一个分位数都和总延迟一模一样——量具坏了。修好量具之后，第二个破绽暴露出来：Prefill 吞吐比 Decode 还慢，而这是物理上不该发生的。复盘这两次诊断与修复的实测数据，并说明我为什么把调优这件事从"多跑几轮看稳不稳"重写成了一台带失败路径的状态机。
0次浏览0条评论0个赞
