垂直整合的代价：DeepInfer 只服务一种模型，64 卡以下拿不到它的收益
工程为基2026-10-20 DeepSeek 开源了内部推理框架 DeepInfer。它承认自己最初主要基于 vLLM 构建，只支持 V4.1-Flash、只跑 SM100 与昇腾 950，发布包里不含 KV 存储、PD 分离和负载均衡。把官方 README、部署 Q&A 和 benchmark 图逐条对到 vLLM / SGLang / TensorRT-LLM 的机制上，能看清垂直整合真正买到的三样东西：高交互性一侧的吞吐、用 140 个 token 换掉整段 prefill 重放、以及只值 4–7% 的置信度调度。所有吞吐数字都是厂商自测，文中逐条标注口径与失效区间。
0次浏览0条评论0个赞
