优化技术该插在哪一格:一套三层坐标,与一个 KV Cache 推导
专业洞察一份优化技术清单没有用,坐标系才有用。一套三层坐标(任务流阶段 × 软硬件层级 L1–L7 × 技术维度),三个带阈值的判墙判据,并用一个完整推导说明为什么坐标重要——GQA 模型的 KV 头数会决定张量并行是否在白白复制 KV Cache,以及该如何切回来。
0次浏览0条评论0个赞
邮件订阅:填个邮箱,我审核通过后就给你推送新文章,随时一键退订。(已在用 RSS 阅读器的话,下面有零注册入口。)
零注册、即时生效,适合已经在用阅读器的人:https://xiciyang.com/feed.xml
共 1 篇文章。
一份优化技术清单没有用,坐标系才有用。一套三层坐标(任务流阶段 × 软硬件层级 L1–L7 × 技术维度),三个带阈值的判墙判据,并用一个完整推导说明为什么坐标重要——GQA 模型的 KV 头数会决定张量并行是否在白白复制 KV Cache,以及该如何切回来。
0次浏览0条评论0个赞