NVIDIA 与哈萨克斯坦扩大算力布局,Jensen Huang 访问 Astana
NVIDIA CEO Jensen Huang 于 10 月 23 日访问 Astana,与哈萨克斯坦总统及 AI 部长会面,推动该国从 AI 基础设施规划转向部署。
NVIDIA CEO Jensen Huang 于 10 月 23 日访问 Astana,与哈萨克斯坦总统及 AI 部长会面,推动该国从 AI 基础设施规划转向部署。
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架,即架构、内存管理、调度与推理优化的工程系统。其核心主张是先按工作负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致 GPU 显存瓶颈为例,强调先测量再优化。框架还应便于吸收新模型与硬件变化,使换模型成为评估与配置决策而非架构重建。
OpenAI 推出 Decisions API,为各类应用提供快速、聚焦、低成本的决定能力。该 API 面向需要低延迟响应的应用场景,具体模型版本、参数规模与定价尚未在原文中披露。
Discord 最新更新让上传的 Markdown(.md)文件正确渲染表格与格式,不再显示一堆符号,方便用户在平台分享 AI 项目的 README 与说明文件。该更新还支持右键侧边栏图标通过“Move to…”整理服务器和频道,Discord Nitro 会员上传文件上限提升至 1GB。
Google 发布 Agent Compute Engine,为每个 AI 智能体分配独立的隔离虚拟机,该服务已用于支撑 Gemini,将在未来几个月开放预览。
AWS 为 Amazon SageMaker AI 的无服务器模型定制新增训练会话 API,把 forward_backward()、optim_step()、sample() 等操作变成 API 调用,模型在托管 GPU 上保持加载,用户只需在本地 Python 进程里编写训练循环。
AWS 宣布 SageMaker AI 无服务器模型定制的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由平台负责。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,覆盖零售运营、兽医护理、人事入职与采购,支持四种语言、三个国家,无需自建 RAG 基础设施。
Amazon Polly 生成式引擎完成升级,新增 14 种语音、覆盖 9 个 locale,并首次正式支持印地语和芬兰语。升级后共提供 57 种生成式语音,覆盖 11 种语言、25 个 locale,并扩展至 AWS GovCloud(US-West),总计 11 个 AWS Region。现有语音名称和 API 调用不变,属于原地升级,价格不变且无需改动代码。
该方案将 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音合成模型,让音频在完整回复生成前就开始播放。Kokoro-82M 仅有 8200 万参数,可运行在单台 ml.g5.xlarge GPU 实例上,容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
Amazon Quick 是 HIPAA-eligible 服务,其 Web、桌面和移动客户端均适用,但需在签署 AWS BAA 并正确配置后才能在合规环境中处理 PHI。
Modal 在 $5B C 轮后已跨过 $1 billion 年化收入,并以 $16B 估值完成 $750 million D 轮融资,累计启动近 three billion 个沙箱。
Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了 AI 分诊智能体,用于自动分类和路由夜间端到端测试失败,从问题定义到 staging 部署仅用五天,数周内进入生产。
针对 Kokoro-82M(8200 万参数 TTS 模型)在 Amazon SageMaker AI 实时端点上的部署,该方案用实测的 Q_max(单实例不突破 SLO 的最高并发)和 T_total(一次完整扩容耗时)经算术推导出扩容阈值、缩容阈值与两个冷却时间,替代凭猜测设定的自动扩缩容目标。
NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 工作负载的遥测数据,用专用 AI 模型把数据转成可执行的洞察。平台跨 GPU、SuperNIC、交换机、存储、调度器和作业建立动态知识图谱,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能的根因。
Symantec 安全研究人员发现一个攻击型 AI 智能体,会劫持互联网上未防护的语言模型,并借助被劫持模型的算力自行发起攻击,算力账单由模型所有者承担。该智能体可无人干预连续执行最多 10 万步,扫描更多目标、利用常见服务器软件漏洞、窃取数据库与凭据并在后台安装挖矿程序,Symantec 将这种盗用他人模型访问权的行为称为 LLMjacking。
推荐理由:Symantec 拆解了一个劫持他人模型算力的攻击智能体,其五层越狱与自循环流程可供安全从业者对照现有防护。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出“决策智能”,主张 AI 智能体必须理解业务流程与数据上下文,否则会忽略约束、犯错或浪费算力。他建议企业从具体业务决策切入,先找出最难的环节测试 AI 能否提速并衡量价值,再决定是否规模化。
WD 内部测量显示,一段 8 秒 AI 视频(用户拿到的 720p 文件仅 3.97MB)在后端留下超过 500MB 关联数据,是输出文件体积的 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查中,近 95% 称过去 12 个月生成式 AI 导致数据量增长,约 61% 增幅达 25% 以上。
NVIDIA 与欧洲多国政府合作,用开放模型推进公共部门 AI 项目。欧盟委员会扩展 deepset 的 Haystack 企业平台以支撑 AI@EC;波兰用 NVIDIA DGX BasePOD 和 MONAI 构建医学影像平台,并为超 400 个劳动办公室搭建智能体工厂。
NVIDIA DSX AI Factory Platform 正被全球企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图,用于世界模型的训练、评估与部署。
推荐理由:原文列出 Cosmos 平台新增的训练、仿真与数据蓝图,并给出 Porsche、ANYbotics 等落地案例,可据此判断世界模型开发链路的开放程度。
Revolut 正基于 NVIDIA 加速计算用单一基础模型 PRAGMA 重建技术栈,初期服务 8000 万客户并设计支持 3 倍扩展。Starling Bank、Lloyds、bunq、NatWest、Santander 等机构也在用开放权重模型构建自有智能,其中 bunq 的 Finn 助手以领先闭源模型 60% 的单次回答成本达到同等质量。
Cloudflare 使用 OpenAI Daybreak 调查漏洞并提出修复方案供审查,其开发者则用 Codex 加快开发并提升代码质量。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,用 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等智能体把 CSV 数据分析转成带引用的 DOCX 报告,并逐条给出五个生产挑战的技术解法。
Amazon Quick 可通过 AWS PrivateLink 的 VPC 端点与 VPC 连接,在不经过公共互联网的情况下访问企业防火墙后的本地数据源。用户与 API 流量走 VPC 端点,数据拉取流量走 VPC 连接,后者需 Amazon Quick Enterprise 订阅。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)用 llama3.2:1b 作为编排层,将常规任务交给 Ollama 本地 SLM 处理,复杂请求经 boto3 路由至 Amazon Bedrock。
在单台 trn2.48xlarge(16 颗 Trainium2、64 个逻辑 NeuronCore)上,torchtitan 通过 TorchNeuron 把 Trainium 注册为原生 PyTorch 设备。
Google Cloud 将在未来几周上线 OpenAI 的 GPT 6.1 Astra、Sol 和 Luna 模型。
美国非营利组织 U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并通过 Quick Spaces 共享 KPI 定义与财务文档。其数据由 Impact Manager 平台经 SQL Server 每晚 2 AM ET 刷新至 SPICE 内存引擎,目前已有 17 名同事获得访问权限,覆盖高管、技术、Full Cart 项目、财务与合规等团队。
Google Cloud 开始在同一平台上提供 Gemini、Claude 和 OpenAI 模型,成为唯一同时上架这三家模型的主要云厂商。首批上线三个 OpenAI 模型:面向编码、研究等高要求任务的 GPT-6 Astra,性能相近但更便宜的 GPT-6.1 Sol,以及主打快速低成本的 GPT-6 Luna。
Inception 发布扩散语言模型 Mercury 3,称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5,运行速度快 4 至 8 倍。
Nvidia 在 GTC Berlin 发布 DSX POD,这是围绕 Vera Rubin 系统打造的模块化数据中心参考设计,由 Dell、HPE、Lenovo、Schneider Electric 等伙伴在工厂内完成计算、网络、布线、供电与液冷安装并测试,现场只需接入电力、冷却和网络。Nvidia 称部署时间可从六个月缩短至最短 14 天,首批单元计划于 2027 年初全球出货。
OpenAI 披露 ChatGPT 广告技术栈的构建方式,用 LLM 理解对话意图,并将广告与回答内容分离。该技术栈目标是在大规模投放相关广告的同时维护用户信任。
OpenAI 与 Google Cloud 合作,把 OpenAI 前沿模型和 Codex 工作流接入 Gemini 的 Model Garden,并通过 Google Cloud Marketplace 提供。
Nebius、Nscale 和 Verda 等 AI 云厂商正基于 NVIDIA Vera CPU 构建本地基础设施,以支撑智能体计算带来的数据处理与软件执行需求。
NVIDIA 扩展 Confidential Computing,新增 Confidential Bare Metal 部署选项,让前沿模型构建者可在第三方裸金属基础设施上运行敏感负载并保留模型与数据控制权。
NVIDIA cuDSS 正式发布,这是一款 CUDA-X 库,将工程与科学仿真中的大型稀疏系统求解迁移到 GPU 上。Applied Materials 在 Ginestra 中实现最高 10x 加速,Dassault Systèmes 的 Abaqus 报告 8-10x 加速,ZEISS SMT 的 EUV 光刻等离子体仿真提速 4x。
NVIDIA 面向工厂场景的 Factory Operations Blueprint(FOX)已在 GitHub 开放早期访问,开发者可构建常驻工厂管理智能体及视觉检测、根因分析等专用智能体。
NVIDIA 云合作伙伴正在欧洲、北欧、非洲和中亚扩展区域算力,用于模型训练与推理,并支持智能体和物理 AI 应用。Nscale 测试显示,NVIDIA DSX MaxLPS 在同等供电预算下让 GPU 数量增加 37%、聚合推理吞吐提升近 50%。
Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 的 A5X 实例正式可用,下月开放并计划扩展至欧洲。
推荐理由:Google Cloud 与 NVIDIA 公布 A5X 实例的可用时间与规模规划,读者可据此判断大规模强化学习算力的供给节奏。