跳到正文
  1. Latent Space85

    DeepSeek 开源推理框架 DeepInfer,称单集群日处理 155 万亿 token

    DeepSeek 开源生产推理框架 DeepInfer,支持分布式推理、投机解码与结构化输出,覆盖 NVIDIA 与华为昇腾平台,并同步发布 deepseek-recipe 处理 API 协议转换。

    推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此判断缓存命中在成本结构中的权重。

已经到底了