跳到正文
10月20日周二
  1. TechCrunch · AI38

    Hugging Face 政策负责人:嵌入式 AI 评估器并非易事

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非简单解法,评估结果的可复现性依赖开放权重,而当前评估方法之间难以有效比较且失效较快。她指出智能体评估既困难又昂贵,行业对 harness 的评估远少于对模型的评估,评估者资质标准也亟需统一。

10月16日周五
10月7日周三
  1. Microsoft Research22

    Microsoft 研究员 Jennifer Neville 谈 AI 评测与“意外失败”的启示

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。