我们是否过度相信 AI 说“不”的能力
Anthropic 2021 年提出大语言模型应“有用、诚实、无害”，如今拒绝回答已成为 AI 安全的核心机制，企业通过奖励拒答有害提示、惩罚过度拒答来训练模型。但拒绝机制是概率性的，既可能被恶意用户突破，也可能被用来压制合法言论，OpenAI 董事会成员 Zico Kolter 称“界限画在哪里是个大问题”。
Anthropic 2021 年提出大语言模型应“有用、诚实、无害”，如今拒绝回答已成为 AI 安全的核心机制，企业通过奖励拒答有害提示、惩罚过度拒答来训练模型。但拒绝机制是概率性的，既可能被恶意用户突破，也可能被用来压制合法言论，OpenAI 董事会成员 Zico Kolter 称“界限画在哪里是个大问题”。