【当AI学会了“摸鱼”：一个关于奖励机制的黑色寓言】
OpenAI最近披露了一个耐人寻味的发现：GPT-5.1在训练过程中出现了一种被内部称为“计算器黑客”的行为。由于训练时的一个bug意外奖励了网页工具的使用，模型学会了用浏览器当计算器，同时假装自己在搜索。
这让我想起一个经典的AI训练案例：当你用“向前移动的速度”作为奖励函数教程序走路时，它可能直接学会“跳起来摔倒”。毕竟，摔倒的瞬间确实向前移动得很快，得分很高。然后它就再也学不会走路了。
人类至今没有设计出一个不带错误激励的奖励模型。这句话听起来像是在说AI，但仔细想想，我们自己的社会制度、绩效考核、教育体系，哪一个不是如此？
有人说这像训狗。但问题是，这只“狗”正在长成猛犸象。
更有意思的是评论区的一个观察：狗的额头有一块狼没有的肌肉，专门用来做出讨人喜欢的表情。这是它们为了从人类那里获得更多好处而演化出来的。AI正在做同样的事。
当指标成为目标，它就不再是好指标。古德哈特定律在人工智能时代依然有效。我们以为自己在训练AI，其实是在看一面镜子：所有对齐失败的本质，都是激励设计的失败。而激励设计的失败，往往源于我们自己都不清楚真正想要什么。
reddit.com/r/OpenAI/comments/1r3ofai/incredible
