习慈羊xiciyang
联系
订阅
正在读取订阅状态…

性能优化

共 1 篇文章。

优化技术该插在哪一格:一套三层坐标,与一个 KV Cache 推导

专业洞察

一份优化技术清单没有用,坐标系才有用。一套三层坐标(任务流阶段 × 软硬件层级 L1–L7 × 技术维度),三个带阈值的判墙判据,并用一个完整推导说明为什么坐标重要——GQA 模型的 KV 头数会决定张量并行是否在白白复制 KV Cache,以及该如何切回来。

← 所有标签