昨天（10月20日），DeepSeek 宣布了一件在开发者圈层引发不小震动的事：将其内部推理框架 DeepInfer 全面开源，同时开源生产级 Token 编解码组件 deepseek-recipe，并附带一份把集群架构、并行策略、缓存设计讲透的部署 Q&A。

这不是又一次模型权重开源。这次放出的，是决定「一个大模型服务每天烧多少电、扛多少流量」的那一层——服务层。

推理框架是什么，为什么它才是成本的咽喉

普通用户使用 AI 产品时，感知到的是模型的回答质量。但在模型和用户之间，存在一个庞大而沉默的中间层：推理框架。它决定了同样一块 GPU 能扛住多少并发请求、每次响应的延迟是多少、电费账单最后有几个零。

业内一个普遍共识是：训练是一次性投入，推理是每天都在发生的持续成本。当模型进入大规模商用阶段，推理效率就取代训练性能，成为真正的竞争焦点。DeepSeek 此次开源公告中也明确表示，希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐量与延迟（来源：人民财讯/凤凰网财经）。

换句话说，模型决定了能力上限，而推理框架决定了这份能力的「单价」。

DeepInfer 到底开源了什么

根据 OSCHINA 的技术梳理和 DeepSeek 官方公告，DeepInfer 包含几个关键能力：

  • 高性能算子与深度优化的推理引擎：DeepSeek 表示，DeepSeek V4.1 Flash 的高吞吐、低延迟大规模线上推理服务正是基于这套框架运行的——这不是实验室代码，而是每天承接真实流量的生产系统。
  • 分布式推理与推测解码：前者解决规模问题，后者用小模型「抢跑」加速大模型生成，是当前提升推理吞吐的主流技术路线之一。
  • SWA Bounded Replay 与结构化输出：针对长上下文场景的显存优化，以及对 JSON 等结构化输出的原生支持——后者对构建 Agent 应用的开发者尤其重要。
  • 同时兼容英伟达与华为昇腾双平台：这一点对国内团队意义重大。在国产算力加速渗透的背景下，一套推理栈同时覆盖两个硬件生态，意味着企业在算力选型上多了真实的迁移自由度。

同步开源的 deepseek-recipe 是生产级 Token 编解码组件，与 DeepSeek 官方 API 的处理逻辑完整对齐。这意味着使用这套组件做私有化部署的团队，在 Token 计费口径和处理行为上可以与官方 API 保持一致——消除了自建服务和官方服务之间最麻烦的那部分差异。

GitHub 仓库已上线：deepseek-ai/DeepInfer。

为什么是现在：调用量第一的成本压力

DeepSeek 选择在这个时间点放出推理栈，与其市场位置直接相关。

根据 OpenRouter 最新数据，10月5日至11日一周内，全球 AI 大模型总调用量约 172 万亿 Token，其中中国大模型周调用量约 86.74 万亿 Token，连续二十四周超过美国。而全球调用量排名第一的正是 DeepSeek V4.1 Flash，单周约 41 万亿 Token，环比增长 60%。

当你的模型承载着全球最大的单一调用量时，推理效率每提升一个百分点，放大到这个规模上都是可观的成本差异。开源推理框架，对 DeepSeek 而言至少有三重收益：

  1. 摊薄研发成本：让社区共同参与推理栈的优化，加速问题暴露和修复；
  2. 建立部署标准：当大量企业按 DeepSeek 的推理栈标准部署私有化服务时，生态就长在了它的技术体系之上；
  3. 反哺模型迭代：部署侧收集到的真实瓶颈，会直接反馈到下一代模型的架构设计中。

这是一种典型的「以开放换标准」策略——模型权重是产品，推理栈是基础设施，后者的影响半径更大。

对开发者和企业意味着什么

如果你是需要自建 AI 服务的团队，这次开源的实用价值可能超过任何一次模型发布：

  • 私有化部署有了生产级参考。此前想复现大规模推理服务的团队，往往只能从 vLLM、SGLang 等开源框架起步，再自己踩坑补足工程细节。现在可以直接对照 DeepSeek 的生产实践——包括那份部署 Q&A 里对集群架构、并行策略和缓存设计的说明。
  • 国产算力适配路径更清晰。DeepInfer 对昇腾平台的支持是官方级的，不是社区补丁。对于使用国产芯片的团队，这提供了一条经过大规模验证的工程路径。
  • 结构化输出等能力开箱即用。做 Agent 和企业级应用的开发者，不再需要在自建服务上单独处理输出格式的可靠性问题。

开源主线的下一步

回看 DeepSeek 的开源节奏：先是模型权重，然后是 TileLang 编译工具和推理算子库，如今补上推理框架和编解码组件——模型、算子、框架、组件，整条服务链路已经完整浮出水面。

这条主线的终点不难推测：当推理层的工程细节成为公共品，模型层的竞争会进一步聚焦到架构创新本身，而服务能力的竞争则转向效率和稳定性。硬件层面的差异（英伟达还是昇腾）在软件栈被拉平之后，权重也会相应下降。

对整个行业来说，这可能是一个分水岭时刻：大模型竞争的主战场，正在从「谁的模型更强」转向「谁的服务更便宜、更稳、更容易部署」。这场新的较量，开发者是第一波受益者。

参考来源：