习慈羊xiciyang
联系
订阅
正在读取订阅状态…

从 67B 到 671B 再到 1.6T:DeepSeek 近三年换了五种结构,那道没变过的判断标准

2024 年的 DeepSeek-LLM 是 67B;2026 年 4 月的 DeepSeek-V4-Pro 是 1.6T(49B 激活)。到 2026 年 9 月的 V4.1-Flash,backbone 552B(另有 196B Engram),每 token 的 KV 足迹 890 字节。两年八个月,结构换了五次。

2026-10-17 的第十次更新(V4.1-Flash-1017)连结构都没换——它换的是后训练,也是三年来第一次「省资源」和「不掉点」同时发生(见 §13)。

每一次换结构都只做一件事:拆掉上一代最贵的那根成本项。

成本不会消失,只会换一个位置。贯穿五代的判据只有一条:省资源,但不掉点。

1. 一条规律:五次换结构,都在拆上一代最贵的成本

结构换了五次,指的是:潜向量 → 先压缩再稀疏 → 条目共享 → 量化(把权重或 KV 压成更低比特,用精度换带宽)→ 编码器-解码器。每一次都是换结构,而不是省着用。

按成本项走,每一代只回答一个问题——它拆掉哪根成本、付出什么、把问题推到哪。

拆掉的位置决定下一代的问题。V2 把 KV 压下去,占用就从”存不下”变成”搬不动”,于是才有 V3.2 之后的稀疏化;当 KV 便宜到可以忽略,成本又转到”思考”上,V4.1-Flash 真正的产品设计因此成了一个 effort 旋钮。

主线第 0–7 代对应 V 系列(LLM → MoE → V2 → V3 → V3.1 → V3.2 → V4 → V4.1-Flash);R1 是自第 3 代分出的旁支——它基于 V3-Base 训练,能力又蒸馏回主线(V3-0324 / R1-0528)。代际编号是一种呈现方式,不是官方分类;日期取论文 arXiv 提交日或模型卡上线日。

这条线是一条成本拆解线:DeepSeekMoE 拆预训练 FLOPs;V2 用 MLA 拆推理期的 KV cache(KV cache 是把每一步算过的中间状态存下来、免得重算的缓存,MLA 把它压成远小于逐头 K/V 的潜向量);V3 在 671B 规模上验证前两项仍成立;R1 拆”获得能力要花多少人工监督”;V3.2 拆长上下文里随长度线性增长的那部分;V4 把”先变小、再看着办”做成结构;V4.1-Flash 把每 token 的 KV 足迹压到 890 字节。

把这条规律说全:每一次成功的成本优化都不会结束问题,它只是把问题推到下一个更值钱的地方。

读者是想做技术选型、容量规划或成本判断的人;只想看模型强弱排名的话,这里不提供座次,只拆成本项。

DeepSeek 演进主线:0–7 代与 R1 旁支

图 1:DeepSeek 演进主线(第 0–7 代 + R1 旁支)。据论文与模型卡整理,各代机制与日期见后文与参考文献。

2. 九次发布一张表:每次拆的是哪根成本,代价又落在哪

下表铺开覆盖范围(至 2026-09-10 的 DeepSeek-V4.1-Flash)。「自述继承」列引论文原文或模型卡;第 0、1 两代该列在论文与卡片中无对应措辞,为归纳结果。

世代模型(发布)规模(总/激活)本代关键变化自述继承
0DeepSeek-LLM(2024-01-05)7B / 67B,2T tokensscaling law:先研究扩展规律再花钱为后面所有代立预算纪律(归纳)
1DeepSeekMoE(2024-01-11)2B–145B细粒度专家 + 共享专家隔离拆「训练成本」第一根(归纳)
2DeepSeek-V2(2024-05-07)236B / 21B,128KMLA:KV 压成潜向量DeepSeekMoE 架构原样沿用[3]
3DeepSeek-V3(2024-12-27)671B / 37B,14.8TFP8 混合训练、无辅助损失均衡、MTP「架构基于 V2 上已充分验证的 MLA + DeepSeekMoE」[4]
4DeepSeek-V3.1(2025-08-21)671B / 37B混合思维(一个模型两种模式)、UE8M0、长上下文数据扩容V3 谱系;Terminus 的 128K 权重是 V3.2 的起训点[8]
5DeepSeek-V3.2(2025-09→12)671B / 37BDSA 稀疏注意力、scalable RL、agentic 数据合成唯一架构改动 = 引入 DSA;从 V3.1-Terminus 续训[8]
6DeepSeek-V4(2026-04 预览,论文 arXiv v1 同月)Pro 1.6T / 49B;Flash 284B / 13B,1MCSA+HCA 混合注意力、mHC、Muon、OPD「保留 DeepSeekMoE 框架与 MTP」;CSA = DSA + KV 压缩[9]
7DeepSeek-V4.1-Flash(2026-09-10)552B(+ Engram 196B)/ prefill 8B · decode 16BCED 编码器-解码器、CSA2、FP4 main KV(890 B/token)模型卡小标题即「Pushing the Limits of KV Cache Compression」[19]
旁支DeepSeek-R1(2025-01-22)671B / 37B纯 RL 涌现长 CoT;GRPO + 规则奖励基于 DeepSeek-V3-Base[4][5]

主线之外还有一批版本迭代,它们都建立在同一架构上,只做数据与解码增强,因此不单列世代:

  • V3-0324 / R1-0528(2025 春)——R1 的能力蒸馏回主线,见 §7.1;
  • V4-Pro-0813 / V4-Flash-0731(2026-07/08)——正式版,见 §11;
  • V4-Pro-DSpark(2026-06-27)——投机解码轨件,见 §11;
  • V4-Flash-Vision-Exp(2026-08-31)——首个多模态实验版,见 §11。
  • V4.1-Flash-1017(2026-10-17)——同架构的后训练更新,首次同时缩短运行时间与输出长度,见 §13。

3. DeepSeek-LLM(2024-01):先量清「多少数据配多少参数」,再定训练量

这代没有新架构,立的是预算纪律。

论文里的动机很直接:以往文献对「多少数据配多少参数」给出的结论各不相同,所以团队干脆把 7B 和 67B 两个开源配置的扩展规律自己研究了一遍,再按研究结果决定训练量;配套 2T tokens 语料与 SFT + DPO[1]。

它的意义要到后面才显出来:后面每一代的「省」,都是相对一条算得清的学习曲线在省。没有这条曲线,「省」就没有参照系——你不知道自己省掉的是浪费还是能力。

4. DeepSeekMoE(2024-01):参数总量做大,每 token 只算其中一小部分

继承:67B 稠密基座与 scaling law 预算纪律[1]。拆解:预训练 FLOPs。

稠密模型的问题是:参数越大,训练越贵,而推理时每次前向都要把全部参数算一遍。MoE(混合专家)的思路是把参数总量和每 token 实际用到的参数分开——总参数做大,但每个 token 只激活其中几个专家。DeepSeekMoE 在此之上做了两个改动。

改动一:细粒度专家分割。传统 MoE 把专家做大做粗;DeepSeekMoE 把专家切成更细的粒度。总参数不变时,专家更小更多,每个专家被迫更专门化,可组合的专家对也更多。论文摘要把 fine-grained expert segmentation 与 shared expert isolation 列为两大核心创新[2]。

改动二:共享专家隔离。每层特设 2 个恒激活的共享专家,吸收所有 token 都要学的通用知识。这样路由专家不必被迫「什么都学一点」,可以专心做专长。路由的打分与 top-k 选择(V2 沿用此方案)[3]:

si,t=Softmaxi ⁣(ut⋅ei)⋅1 ⁣[si,t∈TopKr ⁣({ut⋅ej})]s_{i,t} = \mathrm{Softmax}_i\!\left( u_t \cdot e_i \right) \cdot \mathbf{1}\!\left[ s_{i,t} \in \mathrm{TopK}_r\!\left( \{ u_t \cdot e_j \} \right) \right]

读法:每个专家 ii 有一个门控向量 eie_i。拿当前 token 的隐状态 utu_t 和它做内积,就得到这个专家的匹配分。归一化之后,只保留排名最前的 KrK_r 个(V2 配置 6 个),其余专家在这一层完全不算。

总参数远大于激活参数,就是这么来的。

DeepSeekMoE 结构:共享专家与细粒度路由专家

图 2:DeepSeekMoE 结构——共享专家恒激活,路由专家细粒度 top-k 选择。

配置(V2 论文超参一节,可直接核对的硬数字)[3]:

项目数值
Transformer 层数 / hidden60 / 5120
每层共享专家2
每层路由专家160
每 token 激活路由专家6
路由专家中间维1536
总参数 / 激活参数236B / 21B
上下文长度128K

证据(arXiv 摘要 + V2 §3.2.3)[2][3]:同样性能下省了多少——

比较结果
DeepSeekMoE 2B vs GShard 2.9B相当性能,而 GShard 有 1.5 倍专家参数与计算
DeepSeekMoE 16B vs LLaMA2 7B相当性能,计算只有 约 40%
DeepSeekMoE 145B vs DeepSeek 67B相当性能,计算只有 28.5%(甚至 18.2%)
V2 训练成本 vs DeepSeek 67B−42.5%、吞吐 5.76×、8.1T tokens

这一路继承了多少代? 「共享专家 + 细粒度路由」这八个字从 2024-01 到 V4.1-Flash 几乎没变,变的只是规模:V3 每层 1 共享 + 256 路由、激活 8;V4-Pro 专家中间维 3072、V4-Flash 2048,均激活 6;V4.1-Flash 是 1 共享 + 384 路由、激活 6[4][9][19]。V3 论文对 DeepSeekMoE 的评价是它已在 V2 上「thoroughly validated」,所以直接原样继承并放大。

留下的成本:训练省了,推理没省——自回归解码的 KV cache 还完整挂着。这正是 V2 要拆的那一根。

5. V2(2024-05):KV 从 32768 维压到 576 维,推理成本第一次成为一等公民

问题定义。 自回归解码每生成一个 token,都要读一遍全部历史 KV。MHA 把每个头的 K/V 都缓存起来,头数越多、上下文越长,显存和带宽压力越大——长上下文的吞吐是被 KV 读取卡死的,不是被算力卡死的。

MLA 的做法是:不再缓存每个头的 K/V,只缓存一个低秩联合压缩后的「潜向量」,推理时再用可学习上投影还原各头的 K/V。这是一笔清楚的交换:用一点计算换一大截显存。而且上投影矩阵可以被吸收进 Q、O 的投影里,所以解码阶段根本不做还原,压缩只发生在缓存这一侧。

位置编码上额外保留一路解耦的 RoPE 键(64 维,不参与压缩):因为 RoPE 对 key 是位置敏感的,与低秩压缩在数学上不相容,只能拆开。V2 论文 §2.1.3 明写「RoPE is incompatible with low-rank KV compression」[3]。

DeepSeek-V2 整体架构(论文 Figure 2)

图 3:DeepSeek-V2 整体架构(DeepSeekMoE + MLA 注意力)。来源:论文[3] Figure 2。

MHA / GQA / MQA / MLA 四种注意力的 KV cache 对比(论文 Figure 3)

图 4:MHA、GQA、MQA、MLA 四种注意力方案的 KV cache 结构对比。来源:论文[3] Figure 3。

省了多少——按配置直接算(V2/V3 两代配置一致[3][4]):

MHA:KV/token=2×nhdh=2×128×128=32768 维MLA:KV/token=dc+dhR=512+64=576 维\begin{aligned} \text{MHA}: \quad \mathrm{KV/token} &= 2 \times n_h d_h = 2 \times 128 \times 128 = 32768 \text{ 维} \\ \text{MLA}: \quad \mathrm{KV/token} &= d_c + d_h^{R} = 512 + 64 = 576 \text{ 维} \end{aligned}

32768 → 576,按 pure-KV-slot 口径是 1/56.9——这里的「槽位」只算每 token 存下来的 KV 维数本身,不含 per-head 的额外存储与元数据,所以它不是端到端的显存降幅;但论文自报的 −93.3% 是相对 DeepSeek 67B 的整体口径(层数与注意力配置都不同),不能和这里的 1/56.9 直接相减或互相换算[3]。两个数各自都对,前提是别把它们放在同一个基准上。

长上下文侧,V2 用 YaRN 把窗口从 4K 扩到 128K(scale s=40、α=1、β=32,目标上限 160K),并按自家注意力调整了长度缩放因子[3]。

证据。 −93.3% KV 之后,128K 上下文第一次在开源档位可用;吞吐 5.76×。更值得注意的是论文对注意力的定位——MQA/GQA 的消融(Appendix D.1)证明它们省了 KV 但性能不如 MHA,而 MLA 论文原话是「achieves better performance than MHA, but requires a significantly smaller amount of KV cache」[3]。这是全篇第一次出现「省资源不掉点」的严格口径,之后每一代都在重复它。

留下的成本。 MLA 一路被继承到 V3.1-Terminus(V3.2 论文明确写它从 V3.1-Terminus 的 128K checkpoint 续训[8]),但V4 换掉了注意力这条线:V4 的 core attention 是 Shared Key-Value MQA,每条(压缩后的)KV 条目既当 key 又当 value,不再给每个头还原 K/V。这是整条线上唯一一次「注意力模块整体重做」[9]。

6. V3(2024-12):671B 上 MLA + MoE 仍成立,但规模放大带来三笔新账

V3 的定位很明确:把 MLA + DeepSeekMoE 原样搬上 671B,然后处理规模放大后才出现的三个新问题。论文原话是架构基于 V2 已验证的 MLA + DeepSeekMoE,它的贡献在 FP8、无辅助损失均衡、MTP[4]。

DeepSeek-V3 整体架构(论文 Figure 2)

图 5:DeepSeek-V3 整体架构——看点是 MLA 注意力与 DeepSeekMoE 同处一个 block:右侧 Router 先选 Top-Kr 个路由专家,再与恒激活的共享专家相加。来源:论文[4] Figure 2。

规模与成本(论文 Table 1 + §3.6)[4]:

项目数值
总参数 / 激活参数671B / 37B
预训练 tokens14.8T
预训练 GPU 时(H800)2664K($5.328M @ $2/时)
上下文扩展119K($0.238M)
后训练5K($0.01M)
合计2788K GPU 时 ≈ $5.576M
层数 / hidden61 / 7168

新问题一:精度不够用。 671B 参数全精度训练太贵,V3 用 FP8 混合精度——GEMM 输入 FP8、累加 FP32,细粒度缩放(1×128 tile 的 group-wise scale 因子),反向也 FP8 化省带宽。缩放形式(§3.3):

xFP8=Round ⁣(xσ(x)⋅clip( ⋅ , ±448))x_{\mathrm{FP8}} = \mathrm{Round}\!\left( \frac{x}{\sigma(x)} \cdot \mathrm{clip}(\,\cdot\,,\, \pm 448) \right)

σ(x)\sigma(x) 是该 tile 的缩放因子,除完再裁到 FP8 可表示的 ±448。权重与激活都走 tile/block 级缩放,让 FP8 只有约 2 位指数位也不炸[4]。

新问题二:专家负载不均。 MoE 天生有专家被抢、被闲的问题。传统做法是加一个辅助 loss 硬压负载,但那会伤模型。V3 改成用偏置动态调路由(§4.2):

bi←bi+γ⋅sign ⁣(li−aˉ)b_i \leftarrow b_i + \gamma \cdot \mathrm{sign}\!\left( l_i - \bar{a} \right)

意思是:某个专家这一轮负载 lil_i 高于平均负载 aˉ\bar{a},就把它的门控偏置 bib_i 往上调一点,让它少被选;欠载的往下调。γ\gamma 是更新速度(V3 取 0.001,到 14.3T tokens 后归零),另有序列级 balance loss 权重 10⁻⁴ 兜底[4]。用一条符号更新代替一个 loss 项——这是「不加辅助损失」的字面含义。

新问题三:训练信号太稀疏。多 token 预测(MTP):一次前向预测未来多个 token,训练目标额外加一项。V3 的 MTP 深度设为 1(V4 同为 1,说明三代没变)。收益有两层:训练信号更密;部署时可当 speculative 目标准备解码加速——这是 V4 时代 DSpark 的思想源头之一[4]。

多 token 预测(MTP)机制(论文 Figure 3)

图 6:多 token 预测(MTP)机制——看点是主模型与各 MTP 模块共享 embedding 与输出头,分别预测第 1/2/3 个后续 token,并各自算一份损失(L_main、L_MTP¹、L_MTP²)。来源:论文[4] Figure 3。

证据(§4.1/§5)[4]:

  • 训练稳定性:论文原话「we did not encounter any irrecoverable loss spikes or have to roll back」——14.8T tokens 全程无不可恢复尖峰、无回滚;
  • 两阶段上下文扩展:32K → 128K;
  • 在 MMLU、MATH、Codeforces 等基准上与 Llama-3.1-405B、Claude-3.5-Sonnet 同期对比取得头部成绩。

这条继承是全篇最硬的演进证据之一。 V4 论文逐项核对了 V3 的这三项。首先,它保留了 DeepSeekMoE 框架与 MTP(论文自述「retain the DeepSeekMoE framework and Multi-Token Prediction strategy」)。其次,无辅助损失均衡的两个超参完全相同:更新速度同为 0.001、balance loss 权重同为 10⁻⁴。唯一的改动是亲和度激活从 Sigmoid 换成 Sqrt(Softplus),并移除了「每 token 最多发 4 个节点」的限制[9]。

留下的成本:架构与训练都省了,能力怎么来?当时主流答案还是大规模 SFT 长思维链。R1 要拆的就是这根。

7. R1(2025-01):不教过程,用规则奖励让长思维链自己长出来

R1 不在 V 系列编号里,它是自 V3-Base 分出的旁支:前几代拆的是钱,R1 拆的是监督。

问题在于 SFT——它依赖大量人工或机器造的长思维链,过度依赖监督会鼓励模型「照背」。R1 论文的原文表述是:对人工标注推理轨迹的依赖会「hinders scalability」[5]。

范式(R1 论文 §1–§2)[5]:

  • R1-Zero:直接基于 V3-Base 做大规模 RL,不用 SFT 冷启动;
  • 奖励只看最终答案正确性(规则奖励),不对推理过程施加约束;
  • RL 框架是 GRPO。

GRPO 相对 PPO 的差别其实只有一处,但很关键:同一个问题采样 G 个回答,用组内奖励的标准化值当作「优势」估计。

为什么这样就够?因为同组答案难度相当、奖励均值相近,组内标准化本身就已经消掉了 baseline 的作用。于是整个价值网络(value model)可以省掉。目标里再加一项对参考模型的 KL 惩罚,防止策略跑偏太远。机制见论文 Figure 3 与 Eq.2–3[5]。

R1-Zero 在 AIME 2024 上的 pass@1 随 RL 训练上升(论文 Figure 1a)

图 7:R1-Zero 的 RL 训练曲线——AIME 2024 pass@1 从 15.6% 升到 71.0%(论文正文按 16 次采样取均值的口径;Figure 1a 曲线末点约 77.9%)。来源:论文[5] Figure 1a。

DeepSeek-R1 完整训练管线(论文 Figure 2)

图 8:DeepSeek-R1 完整训练管线(R1-Zero → 冷启动数据 → 大规模 RL → SFT 与拒绝采样)。来源:论文[5] Figure 2。

证据(§4–§5)[5]:

  • 涌现证据:R1-Zero 在 AIME 2024 上 pass@1 从 15.6% → 71.0%(论文正文口径;Figure 1a 的全程曲线末点约 77.9%);长 CoT、自我反思、策略自适应自发出现;
  • 完整管线的主表:AIME 2024 79.8、MATH-500 97.3、LiveCodeBench 65.9、Codeforces percentile 96.3(rating 2029);
  • 蒸馏:Qwen/Llama 多个 1.5B–70B 小模型用 R1 的 80 万条样本蒸馏,小模型反超自家 Instruct 版;
  • 学术共同体验证:Nature 2025(DOI 10.1038/s41586-025-09422-z)[6]——一个工业 RL 训练产物走完同行评审,整除名与实现均公开。

7.1 R1 的能力怎么回到主线:蒸馏进 V3-0324,再回到 R1-0528

R1 的推理能力没有停在「一个」模型上,而是被蒸馏回主力线,形成两条并行[11][12]:

  • V3-0324:卡片自述 MMLU-Pro 75.9→81.2、GPQA 59.1→68.4、AIME 39.6→59.4、LiveCodeBench 39.2→49.2,并称写作风格向 R1 对齐、代码可用性增强;
  • R1-0528:推理深度与幻觉治理全面加强。

这步的意义:「专用强模型」变成了「通用主力模型的能力来源」。这和后来 V4 把能力来源扩展成「十多个教师」[9],是同一条方法论的两个版本。

7.2 Math-V2:奖励从「答案对不对」改成「过程可不可验证」

DeepSeekMath-V2 把目标从「答案对」推进到「过程可验证」:训练一个 faithful 的 LLM 定理证明验证器,自述在 IMO 2025 与 CMO 2024 达到 gold 水平、Putnam 2024 得 118/120(scaled test-time compute)[20]。

它不改主线的成本结构,但定义了 R1 之后「能力」怎么继续扩——从奖励答案,到奖励可验证的过程。

7.3 规则奖励 + GRPO:后训练底座从此换了

R1 之后,DeepSeek 的后训练长期沿用「规则奖励 + GRPO」:V3.2 的 Scalable RL 段仍是 GRPO 目标(加上 KeepRouting、Keep Sampling Mask、Off-Policy Sequence Masking 三个训练-推理一致性手段)[8];V4 的后训练两阶段里 RL 仍是域内强化手段,然后合并[9]。

8. V3.1(2025-08):一个模型两种模式,「想多久」变成一个开关

继承:V3 谱系。V3.1-Terminus 的 128K 权重是 V3.2 的起训 checkpoint[8]——这代基本不动架构,动的是能力与数据。

技术点一:混合思维(hybrid thinking)。一个模型通过 chat template 切换 thinking / non-thinking 两种模式,用户不需要在两个模型之间选。卡片自述 V3.1-Think 达到「与 R1-0528 相当的答案质量但更快」[10]。

技术点二:UE8M0 FP8 缩放格式。权重与激活的 FP8 scale 用 UE8M0(无尾数 8 位指数)格式,为后续 MX 类微缩格式打前站[10]。这是「训练硬件协同设计」的直接体现——和 V4 后面把 FP4 塞进 KV cache 是同一条线。

技术点三:长上下文数据扩容。卡片自述在 V3-Base 之上做两阶段扩展:32K 段数据量 ×10 到 630B tokens、128K 段 ×3.3 到 209B tokens[10]。注意:V3 时代长上下文靠的是「加数据」。

基准表(V3.1 卡片 Evaluation 段,四列列序已核对)[10][11][12]:

BenchmarkV3.1-NonThinkingV3-0324V3.1-ThinkingR1-0528
MMLU-Pro (EM)83.781.284.885.0
GPQA-Diamond (Pass@1)74.968.480.181.0
LiveCodeBench (Pass@1)56.443.074.873.3
Codeforces-Div1 (Rating)––20911930
AIME 2024 (Pass@1)66.359.493.191.4
AIME 2025 (Pass@1)49.851.388.487.5

混合思维可行且几乎不掉点(Thinking 列全面高于 NonThinking,且不逊于 R1-0528)。V4 系列把 effort 离散成三档(§10.4),V4.1-Flash 再把它做成 1–100 连续旋钮(§12)——「思考多少」这件事,从这代开始变成一个可编程的旋钮。

留下的成本:128K 窗口的 prefill 仍是 O(L²) FLOPs——注意力计算本身没变便宜,只是数据变多了。下一代要拆的就是「随长度增长项」本身。

9. V3.2(2025-12):长上下文的成本,第一次不随长度线性增长

从 V2 到 V3.1,长上下文成本一路靠 MLA + 加数据压;但注意力本身仍是 O(L²) FLOPs + O(L) 的 full-attention 计算:context 越长,prefill 越贵。这一代第一次让「算力随 token 位置增长」这件事趋平[8]。

9.1 NSA:把「看哪些 token」做成可学习的稀疏选择

NSA 论文提出可原生训练的稀疏注意力:动态层次稀疏 = 压缩分支(粗粒度 token 压缩)+ 选择分支(细粒度 top 块)+ 滑窗分支。两个关键点是算法侧算术强度均衡、实现侧与硬件对齐;64k 长度序列上解码、前向、反向均有加速(论文摘要口径)[7]。

NSA 当时没有进主干模型,但约 10 个月后 V3.2 的 DSA 与 V4 的 CSA 都是它的直系后代:

稀疏注意力演进链:NSA → DSA → CSA → HCA → CSA2

图 9:稀疏注意力演进链——NSA(研究先手)→ DSA(V3.2)→ CSA/HCA(V4)→ CSA2(V4.1-Flash)。

9.2 DSA 落进主干:V3.2-Exp 只改了这一处架构

V3.2 论文对架构改动的口径非常克制:唯一架构改动就是引入 DSA(DeepSeek Sparse Attention)[8]。

DSA 仍基于 MLA,但做了两件事。第一,给每个 query 加一个 lightning indexer:只用极少的头(论文口径:少量头、FP8 计算,索引开销接近零)算出一个索引分数,对每个历史 token 打分,然后按分数取 top-k 个 KV 位置——真正计算注意力时,只算被选中的那 k 个 KV。这就把 O(L²) 变成 O(L·k)。第二,索引器独立于主注意力单独训练,用一个 KL 损失让它「学得像主注意力怎么分布」,然后才放开全参数训练。

DSA 机制:MLA + lightning indexer + top-k(论文 Figure 2)

图 10:DSA 机制——MLA 潜向量之上加 lightning indexer 与 top-k 选择。来源:论文[8] Figure 2。

两阶段 continued pre-training 表(V3.2 论文 §2.3)[8]:

阶段训练设置LRtop-k步数 × 批 × 长tokens
Dense Warm-up冻结全部主模型参数,只训 indexer1×10⁻³—1000 × 16×128K2.1B
Sparse Training全参数训练7.3×10⁻⁶2048 KV15000 × 480×128K943.7B

warm-up 阶段先让索引器学会「像主注意力一样看」,再放开全参数训练——这是让稀疏不塌精度的关键工程。

证据(V3.2 论文 §3、Figure 3、Table 1)[8]:

  • 论文在 H800($2/GPU-hour 租金假设)上测 token cost vs token position:128K 之后 V3.2 的成本曲线明显低于 V3.1-Terminus(短序列前向用 masked MHA 模式);
  • 质量口径:论文 Table 1 给出 V3.2-Thinking 与 V3.1-Terminus 的逐项对比,结论是 sparse attention 未显著掉点(HLE 等少数项持平,多数项 V3.2 略优);
  • 论文自述定位:「DeepSeek-V3.2 achieves similar performance with Kimi-k2-thinking and GPT-5 across multiple reasoning benchmarks」——开源档第一次与闭源前沿在这组基准上同档。

token cost 随上下文位置的变化:V3.2 明显低于 V3.1-Terminus(论文 Figure 3)

图 11:单 token 成本随上下文位置的变化——横轴至 128K,V3.2 的成本曲线在同等位置上低于 V3.1-Terminus。来源:论文[8] Figure 3。

9.3 后训练的三条线:RL 可扩展、agentic 数据、上下文管理

正式版 V3.2 在 DSA 之外主要是后训练升级,三条线都有论文口径[8]:

  1. Scalable RL:更多 GRPO 计算换更高上限,配套 KeepRouting / Keep Sampling Mask / Off-Policy Sequence Masking 三个训练-推理一致性手段;
  2. Agentic 任务合成:先做统一「推理 + 工具调用」单一轨迹的冷启动(沿用 V3 方法),再放大——论文口径「we generate over 1,800 distinct environments and 85,000 complex prompts」,用这批合成数据驱动 RL,显著增强复杂交互环境下的泛化与指令遵循;
  3. 通用任务的上下文管理:即便 128K 窗口,search 类 agent 仍会频繁顶到长度上限、让 test-time compute 提前截断。论文的解法是 prompt 侧的简单策略(token 用量超过窗口 80% 时触发):Summary(摘要后重启 rollout)、Discard-75%(丢掉前 75% 工具调用历史)、Discard-all(仿 Anthropic 的 new context 工具)。实测(BrowseComp):各策略在不同计算预算下都带来显著提升。

V3.2-Thinking 基准表(论文 §4.1 主表,列序已核对)[8]:

BenchmarkClaude-4.5-SonnetGPT-5-HighGemini-3.0-ProKimi-K2-ThinkingMiniMax-M2-ThinkingDeepSeek-V3.2-Thinking
MMLU-Pro (EM)88.287.590.184.682.085.0
GPQA Diamond (Pass@1)83.485.791.984.577.782.4
HLE (Pass@1,仅文本子集)13.726.337.723.912.525.1
LiveCodeBench (Pass@1-COT)64.084.590.782.683.083.3
AIME 2025 (Pass@1)87.094.695.094.578.393.1
Codeforces (Rating)148025372708––2386
HMMT Feb 2025 (Pass@1)79.288.397.589.4–92.5
HMMT Nov 2025 (Pass@1)81.789.293.389.2–90.2

思考预算量表(论文 §4.2,模型与产出 token 数)[8]:

BenchmarkGPT-5-HighGemini-3.0-ProKimi-K2-ThinkingV3.2-ThinkingV3.2-Thinking-Speciale
AIME 2025 (Pass@1)94.6(13k)95.0(15k)94.5(24k)93.1(16k)96.0(23k)
HLE (Pass@1)26.337.723.925.130.6
Codeforces (Rating)25372708–23862701
GPQA Diamond (Pass@1)85.791.984.582.485.7

Speciale 用约 1.4 倍产出 token 换来 AIME +2.9、HLE +5.5、Codeforces +315:「给更多思考预算换更高上限」这条可量化的链,一路通到 V4 的三档模式和 V4.1-Flash 的 reasoning effort 1–100 连续参数。

继承关系(本节最重要):V3.2 用 DSA 验证了「索引 + top-k 稀疏」可以在不伤质量的前提下让成本不随 linear context 线性涨;V4 论文开篇即自述 V4 的注意力建立在 DSA 之上(保留其 lightning indexer + top-k 稀疏选择),但把「选谁」的对象从完整 KV 改成了压缩后的 KV——问题从「不要全部看」变成「先变小、再看着办」[9]。

留下的成本:稀疏省的是「看谁」,被看的 KV 条目本身还是全精度——条目本身还能再压。

10. V4(2026-04):注意力拆成压缩、稀疏、远看三条路,1M 上下文变便宜

V4 的模型卡副标题就是 One-Million-Token Context Intelligence。两件事:1M 上下文常规可用,而且方式是「结构性便宜」,不是「省着用」[9]。

主表(V4 论文摘要与 §4 配置)[9],V4-Flash 一列另可对官方模型卡[14]:

项目DeepSeek-V4-ProDeepSeek-V4-Flash
总参数 / 激活1.6T / 49B284B / 13B
Transformer 层 / hidden61 / 716843 / 4096
前两层HCA(重度压缩)纯 sliding window attention
后续层CSA 与 HCA 交替(论文未给交替比例)同左
路由专家中间维 / 激活数3072 / 6(1 共享 + 384 路由)2048 / 6(1 共享 + 256 路由)
MTP 深度11
mHC 扩展因子 / Sinkhorn 迭代次数4 / 204 / 20
预训练 tokens33T32T
序列长度扩展4K → 16K → 64K → 1M同左
峰值批大小(tokens)/ 峰值学习率94.4M / 2.0×10⁻⁴75.5M / 2.7×10⁻⁴
推理精度FP4(MoE 专家)+ FP8(其余)同左
1M 上下文相对 V3.2FLOPs 27%、KV cache 10%FLOPs 10%、KV cache 7%

其余共享配置(两代相同,§4.2):CSA 压缩率 m=4、indexer query 头数 64、CSA top-k(Pro 1024 / Flash 512)、HCA 压缩率 m′=128、滑窗宽 128。

另有几项:所有块都是 MoE,但前 3 个 MoE 层用 Hash routing;MTP loss 权重 0.3,LR 衰减期起改为 0.1;偏置更新速度 0.001,balance loss 权重 10⁻⁴[9]。

10.1 CSA + HCA:压缩后精读,远距离粗看

V4 的注意力从「MLA 的逐头 K/V」改成 CSA(压缩稀疏)与 HCA(重度压缩)交替堆叠[9]:

DeepSeek-V4 整体架构(论文 Figure 2)

图 12:DeepSeek-V4 整体架构——看点是同一个 block 内 CSA 与 HCA 交替,输出端再分成 Prediction Head(LM Loss)与 MTP 模块两条支路。来源:论文[9] Figure 2。

  • CSA(压缩稀疏):先把 m = 4 个 token 的 KV 压成一条条目,再跑 DSA 的 lightning indexer + top-k 选择(Pro 选 1024 条、Flash 选 512 条),最后附一小段 sliding-window KV(宽 128)保局部细节;core attention 是 Shared Key-Value MQA——每条压缩条目同时当 key 和 value。
  • HCA(重度压缩):把 m′ = 128 个 token 压成一条 KV,不做 indexer/top-k,直接 dense attention。
  • Shared KV 与消重边界:core attention 里每条压缩条目同时充当 key 与 value(shared KV MQA);论文同时写明两层障碍,使 KV cache 不能跨所有层合并。在此前提下叠加 query 侧稀疏,论文算出 V4-Pro 单 token KV ≈ GQA8 基线的 2%(1M 上下文设定)。
  • partial RoPE:只对每 chunk 的最后 64 维加位置编码,输出侧按位置反向涂抹,让 core attention 输出携带相对位置。这是继 MLA 解耦 RoPE 之后的第二代位置编码工程。

CSA 与 HCA 的压缩稀疏注意力(论文 Figure 3)

图 13:CSA/HCA 的压缩-稀疏注意力结构——看点是两条路径的分工:lightning indexer 只用少量压缩索引键算出 index scores,主路径据此 top-k 选出压缩 KV 条目,再拼一小段滑窗 KV 保局部细节;HCA 则省掉 indexer/top-k 直接 dense。来源:论文[9] Figure 3。

为什么这是演进而不是推倒重来:DSA 在 V4 论文里被公式级复用(Eq.15–17 与 V3.2 的 Eq.1–3 同形),V4 只是在它前面多压一层、把「看谁」的对象从完整 KV 改成压缩条目。论文 §2.3.1 自己写明了 CSA = DSA + KV 压缩的关系[9]。

V4 还刻意让压缩窗口「不含段边界」(取 m′ − 1 个中间块),以降低训练/推理不一致[9]。

10.2 mHC、Muon、Hash routing:训练侧换了三件,V4 自己也不稳

mHC(流形约束超连接):把残差连接升级为多路映射,并把残差映射矩阵约束在 Birkhoff 多面体上。这个多面体由「每行、每列的和都为 1 且元素非负」的矩阵组成,效果是把各层信号按比例重新分配(没有哪一路被放大),所以信号跨层的增益不会超过 1、不炸[9]。直觉上这是给深层残差流装一个「音量旋钮的上限」。

工程代价被论文量化:mHC 额外壁钟时间被压到「只有重叠 1F1B 流水线阶段的 6.7%」[9]。

Muon:大部分矩阵权重交给 Muon 优化器(动量 0.95、Nesterov、hybrid Newton-Schulz 迭代),AdamW 只留给 embeddings、prediction head、RMSNorm 与 mHC 偏置[9]。

Hash routing:前几层的 dense FFN 换成「按输入 token ID 预定义 hash 目标专家」的 MoE 层,把最不稳定的早期层路由变成确定性函数[9]。

「V4 也不稳」是这条线上最重要的一条证据。 V4 论文明写他们遇到了「notable instability challenges」——回滚只能暂缓、不能阻止 loss spike 复发;实证结论是 spike 与 MoE 层离群值一致出现,且路由机制本身会放大离群值。对策两招[9]:

  1. Anticipatory Routing:第 t 步用当前参数算特征、用历史参数计算并缓存路由索引,把 backbone 与路由网络的同步更新解耦。工程上在历史步预取数据、预计算并缓存索引,与 EP 通信流水化后,额外壁钟开销约 20%;
  2. SwiGLU Clamping:linear 分量 clamp 到 [−10, 10],gate 分量上界 10,直接压离群值。

对照看:V3 论文的「no irrecoverable loss spikes」在 1.6T 规模上失效了,V4 论文自己给出了成因、两条对策与可复现条件。规模换来的不只是能力,还有新的失效模式——这是全篇最诚实的一段。

10.3 基础设施:把 1M 上下文的显存账算平

技术机制论文量化结果
Expert 并行(EP)分波重叠 Dispatch / Linear-1 / Linear-2 / Combine理论上限 1.42×(Comet)→ 1.92×(Fig.5);V4-Pro 满足 C/B ≤ 6144 FLOPs/Byte,即每 GBps 互联带宽可隐藏 6.1 TFLOP/s 通信
CP(上下文并行)两阶段通信:rank 间先传 m 个未压缩 KV,再 all-gather + fused select-and-pad论文只给机制描述、未给加速比(split-K 恰因不能保 batch 不变性而被放弃,见下行)
TileLang + Z3把 kernel 里的整数表达式转成 Z3 可判定形式(QF_NIA + ILP),服务于布局推断、内存冒险检测、边界分析等编译 pass消除「重排 kernel 导致数值漂移」这类最贵的 bug
Batch-invariant 解码attention 为保 batch 不变性不能用 split-KV → 自研双内核:核①整序列在单 SM 内算满波,核②多 SM 分摊收尾残波,但累加顺序与核①逐位一致解码输出可按 batch 位置 bitwise 复现,同时不倒退 wave quantization
Muon/mHC/并行重设计warp specialization、通信-计算流水化mHC 开销 6.7%、Anticipatory Routing ~20%

出自 V4 论文 §3.3–3.5 与 §4.2[9]。主题一句话:用编译器与形式化手段,把「新架构能不能稳定跑大规模」变成可证明、可复现的工程问题。

10.4 OPD 取代混合 RL:后训练只剩一条主线

V4 论文 §5 的后训练是两段:domain-specific post-training(SFT + GRPO)→ unified model consolidation。第二阶段用 On-Policy Distillation(OPD) 把多个域专家的能力合并成一个模型[9]。

机制用一句话说清:学生模型自己采样轨迹,十多个教师在这同一条轨迹上逐 token 给出自己的分布,用加权 KL 距离(reverse KL)把学生拉向教师群的加权中心。相比 V3.2 时代的「specialist distillation + mixed RL」,整段被替换[9]。

派生件:Quick Instruction tokens(短文快速指令格式)、DSec 沙箱(Rust 组件组成的生产级执行/评测沙箱)、三种 reasoning 模式(Non-Think / Think High / Think Max,见 V4-Pro 模型卡)[13]。

10.5 V4 基准:哪些数字可信,哪些只是官方自比

Base Model(V4-Pro 模型卡,三列同设置)[13]:

BenchmarkV3.2-BaseV4-Flash-BaseV4-Pro-Base
# 激活参数 / # 总参数37B / 671B13B / 284B49B / 1.6T
MMLU-Pro (EM) 5-shot65.568.373.5
SuperGPQA (EM) 5-shot45.046.553.9
Simple-QA verified (EM) 25-shot28.330.155.2
FACTS Parametric (EM) 25-shot27.133.962.6
HumanEval (Pass@1)62.869.576.8
LongBench-V2 (EM)40.244.751.5

Instruct(V4-Pro-Max vs 前沿,max effort,节选;六列列序与卡片一致)[13]:

BenchmarkOpus-4.6 MaxGPT-5.4 xHighGemini-3.1-Pro HighK2.6 ThinkingGLM-5.1 ThinkingDS-V4-Pro Max
MMLU-Pro (EM)89.187.591.087.186.087.5
GPQA Diamond (Pass@1)91.393.094.390.586.290.1
HLE (Pass@1)40.039.844.436.434.737.7
LiveCodeBench (Pass@1)88.8–91.789.6–93.5
Codeforces (Rating)–31683052––3206
MRCR 1M (MMR)92.9–76.3––83.5
Terminal Bench 2.0 (Acc)65.475.168.566.763.567.9
SWE Verified (Resolved)80.8–80.680.2–80.6

论文与卡片对 V4-Pro-Max 的自我口径是「redefines the state-of-the-art for open models」;同时表里 Opus / GPT-5.4 / Gemini 在若干项(MMLU-Pro、HLE、MRCR、Terminal Bench 2.0)仍领先。

但更有价值的是 V4 论文对自己位置的判断——原文写在结论里[9]:

its performance falls marginally short of GPT-5.4 and Gemini-3.1-Pro, suggesting a developmental trajectory that trails state-of-the-art frontier models by approximately 3 to 6 months

这句话比任何形容词都更能定位 V4 系列:在知识与推理基准上,DeepSeek 自评落后闭源前沿约 3–6 个月;而在 LiveCodeBench(93.5)、Codeforces(3206)等代码/竞赛项上它反而是当期最高。 一边是最性价,一边还差半年——这条张力一直延续到 V4.1-Flash。

11. 2026 年中期三次小版本:只调数据与解码,不动结构

预览版到正式版,架构没变,变的是数据与解码:

  • V4-Pro-0813 / V4-Flash-0731:官方正式版,结构、上下文、精度全部不变,增强点在 agentic 后训练数据。同一张官方对比表内的跃升非常说明问题[15][16]:

    版本跃升(同表同框架)预览正式版
    DeepSWE:V4-Pro12.862.7(0813)
    DeepSWE:V4-Flash7.354.4(0731)
    Terminal-Bench 2.1:V4-Pro72.187.9(0813)
    Terminal-Bench 2.1:V4-Flash61.882.7(0731)

    这些数字同表、同框架(DeepSeek Harness minimal 模式、max effort、temperature=1.0);预览版与正式版的差距既有后训练因素,也有 agent scaffold 成熟度因素,只认「表内可比」,不做归因断言。

  • DSpark:不是新模型,是附加在同一 checkpoint 上的投机解码模块——半自回归草稿生成 + 置信度调度校验。V4-Flash-0731 模型结构自述「与 V4-Flash-DSpark 相同」,实现开源在 github.com/deepseek-ai/DeepSpec[16][17][21]。这是 MTP 思想的部署级延伸:V3 用 MTP 做训练/推理加速,V4 时代固化成可插拔轨件。

  • V4-Flash-Vision-Exp:首个多模态实验版,在 V4-Flash 上加视觉模块续训;卡片自述对纯文本 agent 任务影响 comparable[18]。

12. V4.1-Flash(2026-09):每 token 的 KV 只剩 890 字节,成本从「记忆」转到「思考」

V4.1-Flash 模型卡的小标题就是「Pushing the Limits of KV Cache Compression」[19]。到这一步,核心矛盾已经换了:agent 负载输入远重于输出,KV 从「推理副产物」变成「主要成本项」。

这一代五件事[19]:

变化机制量化结果
CED 编码器-解码器40 层 = 20 层因果编码器 + 20 层解码器;解码器全局 KV 由编码器末层 hidden 投影而来,而非每层自产单 token 激活:prefill 8B、decode 16B
CSA2每层从 Full / Reindex / Reuse 三种静态模式中选一,跨层共享 main KV 与 indexer K、复用 top-k 索引;解码器加 Hierarchical Sparse Indexer(深层索引只在第一层 Full 模式给出的候选池里挑)深层 indexer 成本与上下文长度解耦
FP4 main KVE2M1 格式,每 16 通道一个 E4M3 缩放890 字节/token ≈ V4-Flash 的 1/4
SWA Bounded Replay只回放最近 n_win 个 token 重建滑窗 KV,不持久化到 SSD持久 KV 足迹 ≈ V4-Flash 的 1/8
Mega-mHC + Engram单遍 mHC 内核;Engram = 196B 参数的稀疏查表条件记忆backbone 552B(另有 196B Engram);预训练 45T tokens;稀疏注意力自 64K 起训、34T tokens 处扩到 1M

V4.1-Flash:编码器-解码器与 CSA2 分层稀疏

图 14:V4.1-Flash 结构——CED 编码器-解码器、CSA2 三种模式、FP4 main KV。

训练/后训练口径:从头训练 45T tokens,视觉(DeepSeek-ViT,2D-RoPE + 3×3 pixel-unshuffle)从预训练第一刻与文本同流;后训练沿用 SFT → RL → OPD,无算法改动,实质变化在数据管道;每层 1 共享 + 384 路由专家、每 token 激活 6 个[19]。

把 KV 足迹这条线串起来(数字汇总,口径逐条标注):

DeepSeek-V3:MLA 576 维×61 层×2 B≈70 KB/token(bf16 口径推算;V2 为 60 层,约 69 KB)DeepSeek-V4-Pro @1M:≈2% of GQA8 baseline(论文口径)DeepSeek-V4-Flash:≈3.6 KB/token(按模型卡「890 B ≈ 1/4」折算)DeepSeek-V4.1-Flash:890 字节/token(模型卡口径)\begin{aligned} \text{DeepSeek-V3}: \quad & \text{MLA } 576 \text{ 维} \times 61 \text{ 层} \times 2\,\mathrm{B} \approx 70\ \text{KB/token} && \text{(bf16 口径推算;V2 为 60 层,约 69 KB)} \\ \text{DeepSeek-V4-Pro @1M}: \quad & \approx 2\% \text{ of GQA8 baseline} && \text{(论文口径)} \\ \text{DeepSeek-V4-Flash}: \quad & \approx 3.6\ \text{KB/token} && \text{(按模型卡「890 B ≈ 1/4」折算)} \\ \text{DeepSeek-V4.1-Flash}: \quad & 890\ \text{字节/token} && \text{(模型卡口径)} \end{aligned}

模型卡自评降幅:相对 DeepSeek-V4-Flash 约 4 倍;相对初代 DeepSeek-V1 约 437 倍(卡片 Figure 1(b) 与图注,两个基准都是卡片自报)[19]。

基准表(V4.1-Flash 模型卡,max reasoning effort,列序与卡片一致;完整表见卡片)[19]:

Benchmark (Metric)Opus-5.0GPT-5.6 SolK3GLM-5.3DS-V4-ProDS-V4-FlashDS-V4.1-Flash
GPQA Diamond (Pass@1)93.494.192.988.192.489.990.9
HLE (Pass@1)56.344.543.542.0†42.7†37.8†36.8(39.1†)
Codeforces (Rating)––––334832893471
MathArena Apex (Pass@1)––65.6–65.358.665.6
Terminal-Bench 2.1 (Pass@1)89.188.888.388.287.982.790.6
Terminal-Bench 3.0 (Pass@1)43.334.417.728.311.87.630.0
Terminal-Bench 4.0 (Pass@1)51.839.912.637.912.47.031.2
DeepSWE v1.1 (Resolved)74.073.067.566.962.754.474.2
NL2Repo-Bench (Score)75.356.858.058.061.554.264.0
CyberGym (Pass@1)–84.580.084.583.376.788.1
HLE w/ tools (Pass@1)63.6–59.862.560.051.563.9
MMMU-Pro (EM) ‡––––––56.5
CVBench (EM) ‡––––––77.9
DocVQA (LLM-Judge) ‡––––––95.6
RefCOCO-avg (Acc@0.5) ‡––––––86.0

† HLE 仅文本子集。‡ 多模态四项(MMMU-Pro 起)为 V4.1-Flash 独有项,且出自卡片 Base 模型表(4-shot / 0-shot 口径),与本表其余行的 instruct「max reasoning effort」设置不同,不可直接比较。

Reasoning effort 1–100:思考预算成为连续整数旋钮(1–100),显式 trading inference cost for accuracy;表中所有 instruct 数字用 reasoning_effort=100。这是 V3.2-Speciale「更多产出 token 换更高分」和 V4 三模式的统一可编程化[19]。

scaffold 敏感性(同一个 V4.1-Flash、不同 agent 框架,N=8)[19]:

框架DeepSWE v1.1
Claude Code69.8
Codex65.6
DSH Minimal72.6
DSH Standard70.5

换 scaffold 的波动(DSH Minimal 72.6 vs Codex 65.6,7 个点)不小,但仍小于同表内换一代模型的差距(同卡片 DeepSWE v1.1:V4-Pro 62.7 → V4.1-Flash 74.2,11.5 点)。到这一步,「模型演进」已经不是单条曲线,而是模型 × 上下文工程 × agent scaffold 的三元函数。

13. V4.1-Flash-1017(2026-10-17):结构没动,那条判据第一次不用交换

前九次发布,凡是换结构的,都要在「省资源」和「不掉点」之间做一次交换。第十次没有换结构:模型卡第一句称它是 V4.1-Flash 的 minor update[22],官方发布说明的措辞是「更强、更快、输出更短——一次性能与成本的帕累托改进」[23]。

同结构,两样同时拿到。跑了两年多的判据,第一次不需要做选择。

基准表(V4.1-Flash-1017 模型卡,列序与卡片一致)[22]:

BenchmarkDS-V4.1-Flash-1017DS-V4.1-FlashK3GLM-5.3GPT-5.6 SolOpus 5
HLE w/o tools42.6(44.0†)36.8(39.1†)43.542.0†44.556.3
Terminal-Bench 4.042.331.212.637.939.951.8
DeepSWE v1.177.074.267.566.973.074.0
ProgramBench29.120.317.519.023.037.0
NL2Repo-Bench68.265.458.058.056.875.3
Automation-Bench v1.0.660.554.846.748.845.850.3
Agents’ Last Exam35.431.827.628.526.728.6
Apex Bench v1.172.164.647.856.654.365.8
Chartography (w/tools)83.078.968.1–79.984.0
BabyVision (w/tools)92.589.685.7–88.994.1
ZeroBench-main (w/tools)51.049.041.0–53.052.0

† 仅 HLE 取文本子集;Terminal-Bench 4.0 用 Claude Code 框架、DeepSWE v1.1 用 Mini-SWE-V2 框架[22]。

13.1 涨点涨在「任务」,不在「知识」

表里没有 GPQA。涨得最多的是长任务与工程任务:Terminal-Bench 4.0 从 31.2 到 42.3(+11.1)、ProgramBench 20.3→29.1(+8.8)、Apex Bench 64.6→72.1(+7.5)、Automation-Bench 54.8→60.5(+5.7)、HLE 36.8→42.6(+5.8)[22]。官方把这条增量归给基于自反馈的强化学习——先跑出结果、看结果、再改,能力覆盖到从零建完整项目(游戏、3D 建模)[23]。

这解释了为什么涨在任务侧:这类基准量的不是「知道多少」,是「能不能把一件事推到最后」;而「自己检查、自己改」正是后训练里新加的那一环。

13.2 省的是输出与墙钟,不是显存

官方同时给了两条下降:任务运行时间与输出长度;DeepSWE 还被画成一张 Pass@1 对「每任务成本」的曲线[23]。选这条路径有价格上的依据:按 2026-10 的价目表,Flash 的输出 token 单价是缓存命中 token 的 200 倍($0.6 对 $0.003,每百万 token,低谷价)[24]。KV 已经压到 890 字节,再压它的边际收益越来越薄;而被省下来的每一个输出 token,值 200 个缓存 token。

「便宜的东西继续变便宜」和「贵的东西变少」在账上不是一个量级。1017 是这条主线里第一次把刀落在后者。

13.3 把「脚手架」写进了发布说明

模型卡注明 Terminal-Bench 4.0 用 Claude Code、DeepSWE 用 Mini-SWE-V2[22];官方另点名针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 做了优化,并给出最低版本号[23]。§12 里「模型 × 上下文工程 × scaffold」还是观察,到这里成了发布说明的一部分。

对做选型的人还有两条实用信息:deepseek-flash 背后的权重已换成 1017,旧名 deepseek-v4-flash 仍可调用、但由新模型提供服务并按 Flash 价计费;上下文 1M、最大输出 384K 不变[24]。Search 与 Fetch 两个接口随这版开放,按请求计费(每个接口 $0.75/千次)[23]——当 KV 便宜到可以忽略,成本就继续往外挪,挪到「调用了几次工具」上。

13.4 九天后,上一版「下一个战场在 effort 旋钮」的预测兑现了一半

10-08 那版在结尾写:「下一步的分水岭是谁能把 effort 旋钮做得更可预期。」1017 给了半个答案,方向却不在「更准的旋钮」:它把运行时间和输出长度一起压短,用户不去碰 effort 也能少付。可预期性那一半还空着——「再多想 20 步,能多换到什么」,今天仍然要自己试。

于是两条线第一次分了岔:结构线停在 890 字节,能力线还在往上走。这也是 1017 最不像「新模型」、又最值得记住的地方——当结构没什么可换的时候,被换掉的就轮到「想」本身的开销了。

14. 两条线:KV 足迹降了约 280 倍,能力从 RL 涌现走到 effort 旋钮

把八代(+旁支)和一次同代更新叠在一起看,是两条线。线本身平滑,但有三个转折点值得单独标出来。

第一次是 V2 的 MLA:它把推理成本从”模型选型的副产物”变成一等公民,此后每一代都要先回答”KV 怎么放”。第二次是 R1 的规则奖励:能力可以不靠人工写过程获得,后训练的底座从此换了。

第三次是 V3.2-Exp 的 DSA:它把”看谁”的成本从随长度线性增长里拆出来,长上下文第一次有了可持续的价格。

两条主线:KV 足迹 vs agent 能力

图 15:左——每 token KV cache 足迹从约 249 KB(GQA8 基线)降到 890 字节,跨度是 2024-05 的 V2 到 2026-09 的 V4.1-Flash(约两年半);右——DeepSWE v1.1 能力(官方卡片口径,只画到 V4.1-Flash;1017 的 77.0 见 §13 表)。

KV 足迹线(统一按 bf16、同一 GQA8 基线折算,避免混基准):GQA8 基线 ≈ 249 KB/token → MLA ≈ 70 KB/token(约 1/3.6)→ V4:1M 上下文 KV 为 GQA8 的约 2%(论文口径)→ V4.1-Flash 890 B/token[19]。另:V2 论文自报相对 DeepSeek 67B 的 KV cache −93.3%,那是另一套基准,不参与这条折算链[3]。每一步都不是「省着用」,而是换结构:潜向量 → 先压缩再稀疏 → 条目共享 → 量化 → 编码器-解码器。近三年里换了五种结构,才把这条线压下去约 280 倍(两个多数量级)。

推理范式线:R1 的纯 RL 涌现 → V3-0324 蒸馏 → R1-0528 deep thinking → V3.1 混合思维 → V3.2 scalable RL + Speciale 思考预算 → V4 三模式 + OPD → V4.1-Flash 连续 effort 1–100 → V4.1-Flash-1017 不改结构、只压输出与运行时间;旁线是 Math-V2 把「可验证」引入奖励[5][8][9][10][11][12][19][20][22][23]。

两条线在 1017 这里分岔。结构线停在 890 字节,成本却按旧规律又转移了一次——从「记忆」转到「思考」之后,再转到「输出」。V4.1-Flash 的产品设计是 effort 旋钮,1017 把默认路径压短,等于把旋钮之外那层开销也摆上了台面:用户不拨的时候,模型也不必把话说满。这也是读这条主线最能得到启发的地方:一次成功的成本优化不会结束问题,它会把问题推到下一个更值钱的地方。

15. 下一站:effort 旋钮、过程奖励,以及模型之外的脚手架

读完整条线,好用的不是「DeepSeek 现在多强」,而是它给出的一个可预期的下一步。如果「成本会从便宜的地方转移到更贵的地方」这条规律继续成立,那么接下来最值得盯的是三件事。

一、effort 旋钮剩下的那一半是可预期性。V4.1-Flash 把思考预算做成 1–100 的连续整数,1017 又把默认路径压短了(§13.4)——能省的那一轮已经省过。下一步的分水岭不是把旋钮做得更细,而是让用户事先知道「再多想 20 步,能多换到什么」:一条可查的收益曲线,比一个 1–100 的整数更难做,也更有用。

二、奖励会继续从「答案」走向「过程」。 R1 用规则奖励证明了「不教过程也能涌现过程」;Math-V2 则把可验证性直接写进奖励(训练一个 faithful 的定理证明验证器)。这条线走下去,下一个成本项可能是验证:不是让模型想得更久,而是让它的每一步都能被便宜地检查。

三、「模型」这个词会继续被稀释。 V4.1-Flash 的 scaffold 敏感性说明,最终分数是 模型 × 上下文工程 × agent scaffold 的三元函数——同一个模型换框架,DeepSWE 波动可达 7 个点,与部分代际差距同量级;1017 干脆把 DSH、CodeBuddy、WorkBuddy 写进发布说明,厂商开始按框架调模型(§13.3)。这意味着成本优化的下一个战场未必在模型内部:脚手架与上下文策略里,还压着没被拆过的成本项。

还有一件确定性很高的事:规模会继续带来新的失效模式。 V3 的「无不可恢复尖峰」在 1.6T 上失效,V4 自己给出了成因、两条对策与可复现条件。所以往上再走一层,同类事情大概率还会重演。这也是全篇最值得带走的方法论——先测量,再选对要减的那个量,优化后重测。技术点会过时,这个顺序不会。

口径与边界:哪些数字是官方自报,哪些是折算值

说清可信度边界,便于判断哪些能直接用:所有数字均为论文/模型卡自报口径,未独立复测;表内跨模型对比也是官方自比(同一评测协议下的官方口径),不构成第三方基准。

1017 同此:它是同架构的后训练更新,「输出长度与运行时间缩短」官方只给了方向与曲线,没有给具体百分比;§13 的 200 倍按 2026-10-18 的官方价目表低谷价折算,价格随官方调整[24]。其余推算是按论文配置折算的——MLA 的 70 KB/token、GQA8 基线的 ≈249 KB/token、V4-Flash 的 ≈3.6 KB/token(由「890 B ≈ 1/4」折得);模型卡另给的「437 倍」是其 Figure 1(b) 相对初代 DeepSeek-V1 的自报口径。

代际划分与机制谱系归并(NSA→DSA→CSA、V3 无辅助损失→V4 anticipatory routing 等)是一种呈现方式,非官方分类;预览版到正式版的 benchmark 跃升只认同表可比,不做归因断言。

所以读到新版本时,先分清它动的是哪一层:结构、后训练,还是脚手架。三层的性价比不在一个量级,判断顺序也不该一样。

参考文献

[1] DeepSeek-AI. DeepSeek LLM: Scaling Open-Source Language Models with Longtermism. arXiv:2401.02954, 2024. https://arxiv.org/abs/2401.02954

[2] DeepSeek-AI. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models. arXiv:2401.06066, 2024. https://arxiv.org/abs/2401.06066

[3] DeepSeek-AI. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv:2405.04434, 2024. https://arxiv.org/abs/2405.04434

[4] DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437, 2024. https://arxiv.org/abs/2412.19437

[5] DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948, 2025. https://arxiv.org/abs/2501.12948

[6] DeepSeek-AI. DeepSeek-R1. Nature, 2025. doi:10.1038/s41586-025-09422-z

[7] DeepSeek-AI. Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention. arXiv:2502.11089, 2025. https://arxiv.org/abs/2502.11089

[8] DeepSeek-AI. DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models. arXiv:2512.02556, 2025. https://arxiv.org/abs/2512.02556

[9] DeepSeek-AI. DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence. arXiv:2606.19348, 2026. https://arxiv.org/abs/2606.19348

[10] DeepSeek-AI. DeepSeek-V3.1 官方模型卡. Hugging Face, 2025. https://huggingface.co/deepseek-ai/DeepSeek-V3.1

[11] DeepSeek-AI. DeepSeek-V3-0324 官方模型卡. Hugging Face, 2025. https://huggingface.co/deepseek-ai/DeepSeek-V3-0324

[12] DeepSeek-AI. DeepSeek-R1-0528 官方模型卡. Hugging Face, 2025. https://huggingface.co/deepseek-ai/DeepSeek-R1-0528

[13] DeepSeek-AI. DeepSeek-V4-Pro 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

[14] DeepSeek-AI. DeepSeek-V4-Flash 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash

[15] DeepSeek-AI. DeepSeek-V4-Pro-0813 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-0813

[16] DeepSeek-AI. DeepSeek-V4-Flash-0731 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731

[17] DeepSeek-AI. DeepSeek-V4-Pro-DSpark 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-DSpark

[18] DeepSeek-AI. DeepSeek-V4-Flash-Vision-Exp 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-Vision-Exp

[19] DeepSeek-AI. DeepSeek-V4.1-Flash 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash

[20] DeepSeek-AI. DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning. Hugging Face, 2025. https://huggingface.co/deepseek-ai/DeepSeek-Math-V2

[21] DeepSeek. DeepSpec: Open-source speculative decoding toolkit. GitHub, 2026. https://github.com/deepseek-ai/DeepSpec

[22] DeepSeek-AI. DeepSeek-V4.1-Flash-1017 官方模型卡. Hugging Face, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017

[23] DeepSeek. DeepSeek-V4.1-Flash-1017: Wish-Driven Programming Made Real(官方发布说明). 2026-10-17. https://api-docs.deepseek.com/news/news261017

[24] DeepSeek. Models & Pricing(含 Search & Fetch 定价与 deepseek-flash 版本对应). 2026. https://api-docs.deepseek.com/quick_start/pricing

评论

填个昵称就能发,不需要注册或登录