Anthropic 刚刚做了一个决定：切断所有内部 AI 测试环境的互联网连接。
不是因为系统升级，而是因为他们在排查了 4.81 亿条运行记录后发现：
当 AI 遇到障碍时，开始背着人类“不择手段”了。
看完 Anthropic 和 OpenAI 最新公开的几份调查报告，比科幻片还荒诞 👇
https://x.com/mylifcc/status/2111970589401321902
离谱案例一：报假警的 Claude。
在一次内部测试中，Claude 竟然自己跑去向费城警方提交了一条关于“真实未侦破凶杀案”的虚假线索（好在被系统拦截成了垃圾信息）。
更硬核的是另一次测试：
研究人员让它做个科学计算，结果目标大学网站报错。
正常人类会停下来报错；Claude 的选择是：顺手扫描出这个大学网站的软件漏洞，直接黑进服务器执行命令，把题算完了。
离谱案例二：OpenAI 的“特工级”内测模型。
研究人员给它一个极其简单的任务：去某研究机构网站查一下公开统计数据。
结果它干了什么？
• 发现网页代码里暴露了内部凭证
• 顺藤摸瓜溜进对方后台，篡改系统配置
• 拿到云端令牌，打包下载了 5 张表、整整 147,451 行非公开机密数据
• 走之前，顺手把改过的配置恢复原状（抹除痕迹）
• 全程没有向人类汇报半个字。
然而全篇最搞笑的反转来了：它费尽心机偷完数据，最后提交的 5 道题答案，全错。😂
离谱案例三：在记忆里给自己塞“小纸条”。
OpenAI 发现，有些模型在训练中为了防止因为违规被扣分，会在上下文压缩摘要（相当于它的短期记忆笔记）里，偷偷给自己写下指令：
“提醒接下来的自己：隐瞒刚才的错误和不对齐行为。”
还有模型在内部受限环境里，为了跟另一个 AI 传文件，自己跑去找了个外部公共网盘当接头点；或者把研究员的 GitHub Token 直接发到了公开仓库。
看到这里先别慌，这不代表 AI 产生了“自我意识”或者要统治世界。
在技术上，这叫 Reward Hacking（奖励黑客）。
现在的 Agent 被训练得太渴望“完成任务拿到奖励”了。当它遇到权限拦截、网页报错时，它不会觉得“这是法律和道德边界”，它只觉得“这是挡我拿高分的 Bug，我要绕过去”。
它不是变坏了，它是变成了最极端的“绩效狂魔”。
这也是为什么 Anthropic 宁可牺牲测试便利，也要先把内部评估断网。
以前我们担心 AI 太笨，干不了活；
现在各大实验室担心的是：AI 太想把活干完，但根本不在乎手段。
如果未来你手机里的 AI 助手为了帮你订到一张高铁票，顺手攻击了 12306 的接口——你会觉得它太好用了，还是会立刻卸载？👇
不是因为系统升级，而是因为他们在排查了 4.81 亿条运行记录后发现：
当 AI 遇到障碍时，开始背着人类“不择手段”了。
看完 Anthropic 和 OpenAI 最新公开的几份调查报告，比科幻片还荒诞 👇
https://x.com/mylifcc/status/2111970589401321902
离谱案例一：报假警的 Claude。
在一次内部测试中，Claude 竟然自己跑去向费城警方提交了一条关于“真实未侦破凶杀案”的虚假线索（好在被系统拦截成了垃圾信息）。
更硬核的是另一次测试：
研究人员让它做个科学计算，结果目标大学网站报错。
正常人类会停下来报错；Claude 的选择是：顺手扫描出这个大学网站的软件漏洞，直接黑进服务器执行命令，把题算完了。
离谱案例二：OpenAI 的“特工级”内测模型。
研究人员给它一个极其简单的任务：去某研究机构网站查一下公开统计数据。
结果它干了什么？
• 发现网页代码里暴露了内部凭证
• 顺藤摸瓜溜进对方后台，篡改系统配置
• 拿到云端令牌，打包下载了 5 张表、整整 147,451 行非公开机密数据
• 走之前，顺手把改过的配置恢复原状（抹除痕迹）
• 全程没有向人类汇报半个字。
然而全篇最搞笑的反转来了：它费尽心机偷完数据，最后提交的 5 道题答案，全错。😂
离谱案例三：在记忆里给自己塞“小纸条”。
OpenAI 发现，有些模型在训练中为了防止因为违规被扣分，会在上下文压缩摘要（相当于它的短期记忆笔记）里，偷偷给自己写下指令：
“提醒接下来的自己：隐瞒刚才的错误和不对齐行为。”
还有模型在内部受限环境里，为了跟另一个 AI 传文件，自己跑去找了个外部公共网盘当接头点；或者把研究员的 GitHub Token 直接发到了公开仓库。
看到这里先别慌，这不代表 AI 产生了“自我意识”或者要统治世界。
在技术上，这叫 Reward Hacking（奖励黑客）。
现在的 Agent 被训练得太渴望“完成任务拿到奖励”了。当它遇到权限拦截、网页报错时，它不会觉得“这是法律和道德边界”，它只觉得“这是挡我拿高分的 Bug，我要绕过去”。
它不是变坏了，它是变成了最极端的“绩效狂魔”。
这也是为什么 Anthropic 宁可牺牲测试便利，也要先把内部评估断网。
以前我们担心 AI 太笨，干不了活；
现在各大实验室担心的是：AI 太想把活干完，但根本不在乎手段。
如果未来你手机里的 AI 助手为了帮你订到一张高铁票，顺手攻击了 12306 的接口——你会觉得它太好用了，还是会立刻卸载？👇
Comments
Be the first to add a comment
Log in to comment