Latent Space·· 2 天前精选AI 评分80
DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的推理引擎 DeepInfer，并公布单集群日处理 155T tokens、96% 输入缓存命中、400ms 平均首 token 延迟、230 tokens/s 生成速度等生产数据。
推荐理由
DeepSeek 开源生产推理栈，同时给出单集群吞吐与缓存命中数据，可对照 vLLM 的复现结果看差距。
来源：Latent Space · latent.space