DeepSeek 开源生产推理栈 DeepInfer,单集群日处理 155T tokens
DeepSeek 开源了支撑 V4.1 Flash 的推理引擎 DeepInfer,并公布单集群日处理 155T tokens、96% 输入缓存命中、400ms 平均首 token 延迟、230 tokens/s 生成速度等生产数据。
推荐理由:DeepSeek 开源生产推理栈,同时给出单集群吞吐与缓存命中数据,可对照 vLLM 的复现结果看差距。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
1 条精选近 30 天 1 条共收录 7 条
DeepSeek 开源了支撑 V4.1 Flash 的推理引擎 DeepInfer,并公布单集群日处理 155T tokens、96% 输入缓存命中、400ms 平均首 token 延迟、230 tokens/s 生成速度等生产数据。
推荐理由:DeepSeek 开源生产推理栈,同时给出单集群吞吐与缓存命中数据,可对照 vLLM 的复现结果看差距。