如何设计一套可持续演进的 AI 服务框架
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架，即架构、内存管理、调度与推理优化的工程系统。其核心主张是先按工作负载确定约束再定架构，并以 KV cache 随并发与上下文增长导致 GPU 显存瓶颈为例，强调先测量再优化。框架还应便于吸收新模型与硬件变化，使换模型成为评估与配置决策而非架构重建。
全部 AI 动态
MIT Technology Review · AIAI 评分1515 AWS Machine Learning BlogAI 评分2222 IskayPet 如何用 Amazon Bedrock Managed Knowledge Bases 统一企业知识
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手，覆盖零售运营、兽医护理、人事入职与采购，支持四种语言、三个国家，无需自建 RAG 基础设施。
AWS Machine Learning BlogAI 评分3636 在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
该方案将 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音合成模型，让音频在完整回复生成前就开始播放。Kokoro-82M 仅有 8200 万参数，可运行在单台 ml.g5.xlarge GPU 实例上，容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
AWS Machine Learning BlogAI 评分2626 如何在 HIPAA 合规环境中用 Amazon Quick 部署 AI
Amazon Quick 是 HIPAA-eligible 服务，其 Web、桌面和移动客户端均适用，但需在签署 AWS BAA 并正确配置后才能在合规环境中处理 PHI。
AWS Machine Learning BlogAI 评分3636 Rescale 如何用 Strands Agents 和 AI-DLC 构建 AI 分诊智能体
Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了 AI 分诊智能体，用于自动分类和路由夜间端到端测试失败，从问题定义到 staging 部署仅用五天，数周内进入生产。
AWS Machine Learning BlogAI 评分3434 别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
针对 Kokoro-82M（8200 万参数 TTS 模型）在 Amazon SageMaker AI 实时端点上的部署，该方案用实测的 Q_max（单实例不突破 SLO 的最高并发）和 T_total（一次完整扩容耗时）经算术推导出扩容阈值、缩容阈值与两个冷却时间，替代凭猜测设定的自动扩缩容目标。
AWS Machine Learning BlogAI 评分5858 AWS 详解 Deep Insight 多智能体系统的 5 个生产挑战与解法
AWS 解决方案架构团队开源了多智能体系统 Deep Insight，用 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等智能体把 CSV 数据分析转成带引用的 DOCX 报告，并逐条给出五个生产挑战的技术解法。
AWS Machine Learning BlogAI 评分2222 如何通过 AWS PrivateLink 让 Amazon Quick 从企业网络私有访问数据源
Amazon Quick 可通过 AWS PrivateLink 的 VPC 端点与 VPC 连接，在不经过公共互联网的情况下访问企业防火墙后的本地数据源。用户与 API 流量走 VPC 端点，数据拉取流量走 VPC 连接，后者需 Amazon Quick Enterprise 订阅。
AWS Machine Learning BlogAI 评分3434 基于 Strands Agents 的自适应智能体框架 AAIF：用本地 SLM 与 Amazon Bedrock 分层路由请求
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework（AAIF）用 llama3.2:1b 作为编排层，将常规任务交给 Ollama 本地 SLM 处理，复杂请求经 boto3 路由至 Amazon Bedrock。
AWS Machine Learning BlogAI 评分3232 在 AWS Trainium 上用 torchtitan 训练 Qwen3
在单台 trn2.48xlarge（16 颗 Trainium2、64 个逻辑 NeuronCore）上，torchtitan 通过 TorchNeuron 把 Trainium 注册为原生 PyTorch 设备。
AWS Machine Learning BlogAI 评分2020 U.S. Hunger 如何用 Amazon Quick 连接领导层与数据
美国非营利组织 U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据，并通过 Quick Spaces 共享 KPI 定义与财务文档。其数据由 Impact Manager 平台经 SQL Server 每晚 2 AM ET 刷新至 SPICE 内存引擎，目前已有 17 名同事获得访问权限，覆盖高管、技术、Full Cart 项目、财务与合规等团队。
OpenAI NewsAI 评分3838 OpenAI 如何为 ChatGPT 构建广告技术栈以兼顾用户信任与相关性
OpenAI 披露 ChatGPT 广告技术栈的构建方式，用 LLM 理解对话意图，并将广告与回答内容分离。该技术栈目标是在大规模投放相关广告的同时维护用户信任。
Latent SpaceAI 评分6060 Claude Mods：把智能体框架翻转成注意力界面
作者 Dan McAteer 介绍 Claude Mods，即运行在 Claude Code 内的 TypeScript/JavaScript 插件，可响应提示词、工具调用和界面渲染事件，改变 CLI 与桌面端的执行和渲染流程。
AWS Machine Learning BlogAI 评分4141 i14 的 Laplace 3B 线性注意力模型如何在 AWS Trainium2 上用原生 PyTorch 训练与推理
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，将采用 GLA 架构的 Laplace 3B 线性注意力模型移植到 AWS Trainium2。
Simon WillisonAI 评分4242 Battle Drones：用音频实现多人联机的 vibe coded RTS 游戏
Simon Willison 用 Claude Code 打造了一款 Command & Conquer 风格的浏览器 RTS 游戏 Battle Drones，经过 12 个大版本、321 次由编码智能体提交的 commit，支持手机和桌面游玩。游戏包含 9 种建筑、7 种地面载具、6 种空中载具和 3 种步兵单位，并支持两台邻近设备通过音频消息同步游戏状态实现多人对战。
AWS Machine Learning BlogAI 评分3636 Octave 如何基于 Amazon Bedrock 构建安全的多租户 AI 基础平台
Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 搭建多租户 AI 基础，用 Cohere Embed v4 嵌入 20 亿份文档，并将单用例部署时间缩短 50%。
AWS Machine Learning BlogAI 评分4040 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调，基座模型在 50 例测试中仅 22% 用目标语言推理（英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%）。
AWS Machine Learning BlogAI 评分3636 用 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能
Amazon Quick 与 Amazon Bedrock AgentCore 组合，让供应链管理者用自然语言跨系统查询并执行操作。AgentCore 将企业 MCP 服务器暴露为可组合工具层，答案来自实时记录系统而非模型记忆。演示中一次中断评估显示 75 万美元风险、23 笔订单和 3 天库存，所有变更需指定人员审批。
AWS Machine Learning BlogAI 评分4040 Smartsheet MCP Server 上线 AWS，AI 智能体可读写工作管理数据
Smartsheet 已在 AWS 上推出正式可用的 MCP Server，AI 助手可通过标准化协议读写和管理 Smartsheet 数据，覆盖超过 40 个工具，用于探索、创建和管理表格、行、列与自动化流程。该服务支持 Amazon Quick 和 Kiro 两种接入方式，前者面向业务用户以自然语言查询和更新表格，后者让开发者在编码工作流内引用项目规格、更新任务状态并跟踪依赖关系。
AWS Machine Learning BlogAI 评分4040 Smartsheet MCP Server 上线 AWS，AI 智能体可读写项目数据
Smartsheet 已在 AWS 上推出正式可用的 MCP Server，AI 助手可通过标准化协议读写和管理 Smartsheet 数据，覆盖 40 多个工具，支持用自然语言更新任务状态、创建行和调整项目结构。
AWS Machine Learning BlogAI 评分3838 在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全
AWS 与 Keyfactor 联合发布参考架构，用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份，弥补 MCP 缺乏内置认证标准的缺口。
AWS Machine Learning BlogAI 评分5858 AWS 发布 Agent Registry 运行时工具发现教程
AWS 官方博客介绍如何用 AWS Agent Registry 在运行时发现工具，替代把工具硬编码进编排器。编排器先向 Registry 数据面发起自然语言检索，拿到 MCP 服务器或 A2A 智能体的描述符后构造客户端，再为单次请求临时组装内层智能体并在结束后销毁。
GitHub Blog · AI & MLAI 评分2222 三位 Java Champion 如何用 GitHub Copilot 提升生产力
三位拥有十余年 Java 经验的 Java Champion 分享了在生产与开源项目中使用 GitHub Copilot 的实践。Vlad Mihalcea 借助 Copilot 将 Hypersistence Optimizer 新功能开发从数周缩短到两天，并用 65 篇文章训练自定义技能模仿其写作风格。
AWS Machine Learning BlogAI 评分3838 用 AtScale 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 AtScale 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体，构建 Customer 360 场景。
AWS Machine Learning BlogAI 评分2929 用 Strategy Mosaic 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
该教程演示如何用 Strategy Mosaic 作为语义层，在 Amazon Redshift 与 Amazon Aurora 上以两个链接模型建模 C360 域，无需 ETL。
AWS Machine Learning BlogAI 评分3030 用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体，联邦查询 Amazon Aurora、Amazon Redshift 与本地 PostgreSQL 三处数据源。
AWS Machine Learning BlogAI 评分4242 Eon 如何基于 Amazon Bedrock AgentCore 的 MCP Gateway 构建多云调查能力
Eon 用 Amazon Bedrock AgentCore 的 MCP Gateway 替换了逐工具凭证和本地 MCP 进程，让开发者和自主智能体通过单一认证网关统一访问 AWS、GCP、Azure 三朵云上的调查工具。
GitHub Blog · AI & MLAI 评分2727 如何在 VS Code 中继续 GitHub Copilot 应用会话
GitHub Copilot 应用中的会话可直接在 VS Code 中打开并继续，保留原有对话、代码改动和工作上下文。VS Code 会打开该会话关联的 worktree，并在 Copilot 侧边栏显示同一会话，便于逐行审查 diff、手动编辑、本地运行测试，最后提交并推送到该会话对应的 pull request。
AWS Machine Learning BlogAI 评分2828 Deepgram 如何借助 AWS Trainium 优化大规模语音 AI
Deepgram 将 Nova-3 语音转文字模型移植到 AWS Trainium2，在单台 Amazon EC2 trn2.3xlarge 实例上运行八个模型副本，离线批处理场景下每美元处理的音频量比原有算力方案提升 11–70%。
AWS Machine Learning BlogAI 评分3636 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，将 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的测试显示 push 模式相比 pull 模式 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
AWS Machine Learning BlogAI 评分4545 vLLM 双向 KV 传输如何提升多轮智能体工作负载的 TTFT
vLLM 引入双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署测试中，该机制使 Qwen3-32B 的 TTFT 最高提升 1.6 倍，zai-org/GLM-5-FP8 最高提升 3.3 倍。
AWS Machine Learning BlogAI 评分3636 用 Amazon Bedrock AgentCore 构建 AI 智能体可信度：一套生产级评估框架
AWS SMGS Operations 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了一套覆盖全生命周期的智能体质量评估框架，用于其服务 AWS 全球现场销售的多智能体系统。
GitHub Blog · AI & MLAI 评分3838 GitHub 如何用 ModernBERT 分类器更少噪声地检测密钥
GitHub 用微调后的 ModernBERT 分类器替换原有 LLM 流水线来识别通用密钥，用户接受率提升 11.5%，推送后扫描中位执行时间缩短 86%，服务成本降低 98% 以上。该方案先用正则表达式高召回生成候选，再由分类器结合文件路径、变量名和上下文判断是否为真实凭据。效率提升使通用密钥检测得以扩展到推送保护阶段。
GitHub Blog · AI & MLAI 评分4040 GitHub Copilot 入门：如何让 Copilot 了解你的代码库
GitHub Copilot 可通过四种方式定制项目上下文：仓库级 .github/copilot-instructions.md 自定义指令、按 applyTo 匹配路径的指令文件、打包可复用流程的 agent skills（如 .github/skills/quality-checks），以及定义专用角色的 custom agents。
GitHub Blog · AI & MLAI 评分2222 AI 正在改变开发者工作，GitHub 给出三项需要强化的技能
GitHub 提出 AI 时代开发者应强化的三项技能：学会指挥 AI 智能体而非仅使用它、不轻信 AI 的第一个答案、用 AI 节省的时间解决更大问题。GitHub Copilot 内置的 Rubber Duck agent 会用第二个模型审查计划、代码和测试，以发现首个模型遗漏的问题。
GitHub Blog · AI & MLAI 评分5555 GitHub Copilot 应用如何用 canvases 构建自定义工作流
GitHub Copilot 应用中的 canvas 是一种用户与智能体共享的可定制界面，可以是看板、问题分诊板、发布清单或表格，双方都能实时修改。创建时只需在智能体会话中输入 /create-canvas 并用自然语言描述工作流、界面操作和智能体可执行的动作，智能体就会生成界面并在右侧面板打开。