技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
10 条精选近 30 天 10 条共收录 93 条
Symantec 安全研究人员发现一个攻击型 AI 智能体，会劫持互联网上未防护的语言模型，并借助被劫持模型的算力自行发起攻击，算力账单由模型所有者承担。该智能体可无人干预连续执行最多 10 万步，扫描更多目标、利用常见服务器软件漏洞、窃取数据库与凭据并在后台安装挖矿程序，Symantec 将这种盗用他人模型访问权的行为称为 LLMjacking。
推荐理由：Symantec 拆解了一个劫持他人模型算力的攻击智能体，其五层越狱与自循环流程可供安全从业者对照现有防护。
NVIDIA 扩展 Cosmos 平台，新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图，用于世界模型的训练、评估与部署。
推荐理由：原文列出 Cosmos 平台新增的训练、仿真与数据蓝图，并给出 Porsche、ANYbotics 等落地案例，可据此判断世界模型开发链路的开放程度。
Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 的 A5X 实例正式可用，下月开放并计划扩展至欧洲。
推荐理由：Google Cloud 与 NVIDIA 公布 A5X 实例的可用时间与规模规划，读者可据此判断大规模强化学习算力的供给节奏。
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线产品，RTX Spark 面向 Windows PC 运行个人智能体，DGX Spark 面向 Linux 开发者，DGX Station 面向企业前沿负载。
推荐理由：NVIDIA 一次性公布本地 AI 硬件与软件栈的多项更新，读者可据此了解桌面级智能体与本地推理的当前配置边界。
DeepSeek 开源了支撑 V4.1 Flash 的推理引擎 DeepInfer，并公布单集群日处理 155T tokens、96% 输入缓存命中、400ms 平均首 token 延迟、230 tokens/s 生成速度等生产数据。
推荐理由：DeepSeek 开源生产推理栈，同时给出单集群吞吐与缓存命中数据，可对照 vLLM 的复现结果看差距。
Reflection AI 推出面向智能体编码与长周期任务的开放权重模型 Beam，总参数 501B、激活参数 23B，Reflection 称其有效上下文长度为 100 万 token，权重以 Apache 2.0 许可在 Hugging Face 发布。
推荐理由：文章给出 Beam 的参数量、上下文长度与三种部署路径，可据此比较托管端点与自建运行时的取舍。
NVIDIA 发布 RTX Spark，定位为一台面向创作者、游戏玩家和 AI 智能体的 Windows PC，并将在全球多地举办发布活动。
推荐理由：NVIDIA 官方公布 RTX Spark 面向创作者、游戏玩家和 AI 智能体的定位，并汇总多家媒体对本地 AI 性能的早期评价。
微软研究院发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程，在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍，证明验证约需 12 毫秒。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，说明 Magnetar 如何同时兼顾速度、通用性与仅依赖标准哈希函数的安全性。
微软研究院开源 Agent Lightning v1.0，一个约 3500 行代码的轻量 Agentic RL 框架，提出 Harnessed Agentic RL 范式，让部署时使用的 agent harness 直接参与强化学习训练，无需在训练框架内重写 agent。
推荐理由：微软研究院开源 Agent Lightning v1.0，用约 3500 行代码把部署中的 agent harness 直接接入强化学习训练，并给出可复现的编码 agent 训练结果。
微软研究院对移动操作机器人工作负载做了系统测量，发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU，能提升任务成功率、支持更大模型并延长续航。
推荐理由：微软研究院系统测量了机器人端侧 GPU 推理的瓶颈，并给出可复用的 Kubernetes 卸载工具链，为具身智能系统设计提供实测依据。