如何设计一套可持续演进的 AI 服务框架
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架,即架构、内存管理、调度与推理优化的工程系统。其核心主张是先按工作负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致 GPU 显存瓶颈为例,强调先测量再优化。框架还应便于吸收新模型与硬件变化,使换模型成为评估与配置决策而非架构重建。
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架,即架构、内存管理、调度与推理优化的工程系统。其核心主张是先按工作负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致 GPU 显存瓶颈为例,强调先测量再优化。框架还应便于吸收新模型与硬件变化,使换模型成为评估与配置决策而非架构重建。
SpaceX 与 Tesla 已成立特别委员会讨论合并,马斯克在 SpaceX 财报电话会上称两家公司合并“很有价值”,理由是可在超级智能软件上合作。SpaceX 第三季度 AI 部门收入达 75.6 亿美元,其中 Cursor 贡献 6.08 亿美元,其余多来自向 Anthropic 和 Google 出租算力。
微软公布名为 Diagnostic Orchestrator 的诊断系统,用多个 AI 智能体推理症状与病史、决定检查项目并给出诊断,研究结果发表在 Science。
推荐理由:微软用多智能体编排做诊断,在自建 SDBench 上把准确率与医生拉开差距,也交代了临床验证尚未完成。
AWS 为 Amazon SageMaker AI 的无服务器模型定制新增训练会话 API,把 forward_backward()、optim_step()、sample() 等操作变成 API 调用,模型在托管 GPU 上保持加载,用户只需在本地 Python 进程里编写训练循环。
AWS 宣布 SageMaker AI 无服务器模型定制的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由平台负责。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,覆盖零售运营、兽医护理、人事入职与采购,支持四种语言、三个国家,无需自建 RAG 基础设施。
微软 AI 的多智能体诊断系统 MAI-DxO 在《Science》发表的模拟研究中,对《新英格兰医学杂志》疑难病例的诊断准确率为 83%,而单独工作的全科医生为 36%。
Modal 在 $5B C 轮后已跨过 $1 billion 年化收入,并以 $16B 估值完成 $750 million D 轮融资,累计启动近 three billion 个沙箱。
Gartner 对 2002 名 CIO 及技术高管的调查显示,仅 13% 的受访者表示 AI 带来了重大或变革性回报。58% 的 CIO 被要求用 AI 实现降本,但 51% 预计 AI 反而会推高其技术栈的总运营成本,44% 的 CEO 难以向利益相关方证明 AI 的财务回报。尽管回报不确定,75% 的 CEO 仍计划增加技术支出。
针对 Kokoro-82M(8200 万参数 TTS 模型)在 Amazon SageMaker AI 实时端点上的部署,该方案用实测的 Q_max(单实例不突破 SLO 的最高并发)和 T_total(一次完整扩容耗时)经算术推导出扩容阈值、缩容阈值与两个冷却时间,替代凭猜测设定的自动扩缩容目标。
Moshi 正在为大宗商品交易员构建推荐引擎,把市场信息与交易员持仓组合真正相关的部分连接起来。CEO Anekha Sokhal 称 Moshi 像是 Bloomberg、Claude 和 Netflix 的结合体:市场数据、操作界面,以及为交易员量身定制的推荐。她还在 AI Engineer New York 谈及可信信源、文档提取与自建还是采购模型的取舍。
Google DeepMind 与 Google Research 联合 WRI、IIASA 发布 Forest Typology(ForTy)2020,把全球每块 10×10 米土地按 FAO 定义分为原始林、自然再生林、人工林、种植园林、树作物与农林复合、其他土地六类,作为 EU 反毁林法规(EUDR)的关键基线。
投资研究公司 Citrini 与 Anthropic 合作,用未发布的 Claude 版本设计蝎子抗毒血清蛋白,最终未造出可用药物。Claude 生成近 32 万个候选蛋白,经筛选后由外部实验室测试 211 个设计,其中 17 个能结合 5 种蝎毒中的 4 种,但无一能结合超过一种毒素。Anthropic 承担近 5 万美元算力与 token 费用,外部测试另花约 15 万美元。
OpenAI 与 PerturbAI、Scripps Research 合作,用数千个基于 GPT-Rosalind 的智能体分析小鼠全脑 CRISPR 图谱,完整分析耗时 32 分钟,团队估计人工完成需数月至一年。
WD 内部测量显示,一段 8 秒 AI 视频(用户拿到的 720p 文件仅 3.97MB)在后端留下超过 500MB 关联数据,是输出文件体积的 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查中,近 95% 称过去 12 个月生成式 AI 导致数据量增长,约 61% 增幅达 25% 以上。
休斯顿高级研究中心(HARC)报告称,若德州所有规划中的数据中心按预期电网结构接入供电,五年内电力部门细颗粒物污染将增至三倍以上,达 2006 年以来最高水平,形成雾霾的 NOx 排放增加 136%,接近 2004 年水平,二氧化碳排放比 2025 年高出 90%。
NVIDIA Earth-2 开放模型家族新增面向欧洲的区域版 StormScope EU,基于 EUMETSAT 卫星观测,以 10 分钟间隔预测 16 个 Meteosat 通道的云况变化。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图,用于世界模型的训练、评估与部署。
推荐理由:原文列出 Cosmos 平台新增的训练、仿真与数据蓝图,并给出 Porsche、ANYbotics 等落地案例,可据此判断世界模型开发链路的开放程度。
Revolut 正基于 NVIDIA 加速计算用单一基础模型 PRAGMA 重建技术栈,初期服务 8000 万客户并设计支持 3 倍扩展。Starling Bank、Lloyds、bunq、NatWest、Santander 等机构也在用开放权重模型构建自有智能,其中 bunq 的 Finn 助手以领先闭源模型 60% 的单次回答成本达到同等质量。
Blackstone 高管 Jas Khaira 在 TechCrunch Disrupt 上表示,市场对 AI 基建债务引发信贷危机的担忧被夸大,因为多数数据中心由超大规模云厂商建设,债务最终由信用最好的公司背书。
在单台 trn2.48xlarge(16 颗 Trainium2、64 个逻辑 NeuronCore)上,torchtitan 通过 TorchNeuron 把 Trainium 注册为原生 PyTorch 设备。
美国非营利组织 U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并通过 Quick Spaces 共享 KPI 定义与财务文档。其数据由 Impact Manager 平台经 SQL Server 每晚 2 AM ET 刷新至 SPICE 内存引擎,目前已有 17 名同事获得访问权限,覆盖高管、技术、Full Cart 项目、财务与合规等团队。
Mistral 与 Nvidia 宣布合作,将 Mistral Large 4 和 Mistral 的物理 AI 与 Nvidia 的 CUDA-X、Warp 及 Omniverse 结合,用于加速工程仿真和工业产品设计。
Monday.com 委托 Nielsen 对七国 1700 名董事和高管调查发现,超半数高管认为采用 AI 后更难评估员工工作,近半数管理者花更多时间审核团队产出。94% 的管理者对用 AI 改进工作感到兴奋,78% 已改变员工评估方式,更看重提示词能力与任务分配判断。46% 的管理者用 AI 辅助决策,39% 用 AI 起草绩效评估,58% 预计一年内管理的 AI 智能体数量将超过人类员工。
OpenAI、PerturbAI 与 Scripps Research 使用分布式 AI 智能体,从数百万个脑细胞的数据中挖掘出有前景的研究线索。该合作展示了用数千个 AI 智能体处理生物数据的路径。
NVIDIA 扩展其开放模型家族,覆盖语言、机器人、生物和量子计算,包括新的 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt。
推荐理由:NVIDIA 一次性放出覆盖语言、机器人、生物、量子的开放模型家族,并列出各模型的开放下载渠道与首批企业用例。
据泄露给《华尔街日报》的 S-1 文件,Anthropic 难以从 AWS、Google 和 Microsoft 获得足够云容量,这些云厂商日益将其视为竞争对手而非客户。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将采用 GLA 架构的 Laplace 3B 线性注意力模型移植到 AWS Trainium2。
SpaceX 三季度营收 146 亿美元,AI 业务已占收入 52%,包含新收购的 Cursor 编码工具、Grok 和拥有 1.7 GW 算力的 neocloud 业务。
SF Compute 正把 GPU 算力做成可交易市场,不仅支持买卖当前与未来的 GPU 小时,还能以编程方式控制从网络到内存的整栈资源。CEO Evan Conrad 称公司已从转租集群扩展到自建云运营能力,以实现"物理交割"——买家拿到可用算力而非现金结算。他认为 NVIDIA 因缺乏中立性无法自建此类交易所,而 SF Compute 通过匹配不同约束条件的订单在技术迭代期维持交易可行。
Meta 在版权诉讼中主张没有人“决定”盗版书籍用于训练 AI,试图把责任归于下载数据的员工而非高管。法院已要求 Meta 披露批准用种子下载数据训练 AI 的高管姓名。
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调,基座模型在 50 例测试中仅 22% 用目标语言推理(英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%)。
Electric Plant 构建大语言模型 Bombadil,可解读约 125 种植物体内的微弱电信号,并将植物需求反馈给种植者。其传感器成本仅数十美元,每英亩只需几个,数据经云端模型分析后回传客户。公司称该系统可提升产量并将用水量降低 20% 以上,近日完成 1120 万美元种子轮融资。
该教程演示如何用 Strategy Mosaic 作为语义层,在 Amazon Redshift 与 Amazon Aurora 上以两个链接模型建模 C360 域,无需 ETL。
HPE 提出企业 AI 的成本衡量应从 token 或 GPU-hour 单价转向"每个有用成果的有效成本",即完成可被业务使用的请求或工作流所需的平台、模型、运营与算力总成本。
Eka Robotics 完成 1.5 亿美元 A 轮融资,由 a16z 和 F-Prime 领投,投后估值 14.5 亿美元。
TripleTen 2026 年调查显示,科技行业领跑 AI 采用,金融紧随其后:48% 的金融从业者被要求使用 AI 聊天机器人,32% 被要求自动化部分工作流程;医疗为 18%、教育为 25%。79% 的受访者被要求学习至少一项新技能,但仅 30% 的管理者认为判断 AI 输出对错是必备能力。科技从业者年均自费培训 $1,758,医疗与教育分别仅 $990 和 $883。
三星在韩国平泽建设大型半导体制造园区,目前已有三座晶圆厂全天候运转,第四座即将投产,第五座在2024年因存储芯片需求下滑停工后随AI热潮重启。三星预计存储芯片需求将持续激增到2028年,并试图借此重夺被SK Hynix抢占的高带宽存储市场领先地位。
AWS 发布 TorchNeuron 开发工具,让用 PyTorch 编写的 AI 应用只需改一行配置就能运行在亚马逊自研芯片 Trainium 上,无需重写代码。
NVIDIA 与德国联邦政府签署联合意向声明,将围绕物理 AI 前沿模型展开合作,并接入德国“工业 4.0 平台”。黄仁勋同时宣布对 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace 四家德国初创公司的新投资,属于 NVIDIA 在欧洲近 100 亿美元投入承诺的一部分。