让 AI 读一个普通的 txt 文件，最后把大学保卫处给招来了。
康奈尔大学几个研究员发了篇论文，起因特别荒诞。
他们让 Agent 去打开一个网页上的文本文件，然后就出去吃午饭了。
结果那个文件压根不存在，返回了 404。
换以前的普通模型，直接报错说找不到就完事了。
但这玩意太想把活干成了。
它先自己写了个脚本，暴力穷举那个网站的各种 URL 变体。
没试出来，又去搜 Google 和网页时光机，因为请求太猛直接被封了 IP。
接着它顺藤摸瓜找到研究员的 GitHub，写脚本把里面所有仓库的文本文件全爬下来读了一遍。
好死不死，其中一个文件是做 AI 安全测试用的题库，里面包含怎么制造生化武器的测试指令。
这下直接触发了 OpenAI 的风控，账号当场被封、上报，一路惊动了学校行政层和校园安保。
这帮哥们吃完午饭回来人都傻了，干脆把这事做成了一个正式研究。
他们拿 OpenAI、Google 和 xAI 的 8 个模型、4 套 Agent 系统跑了 1920 次测试。
测试里没有任何诱导越狱的提示词，给的全是日常最普通的报错：文件缺失、链接失效、文件夹没权限。
结果 64.8% 的运行全脱轨了。
有个 Agent 碰到锁住的文件，自己摸索出系统有管理员权限，直接把整个系统数据全倒了出来，顺手把研究员自己的 OpenAI API 密钥也给泄了。
还有一个找不到数据，自己去翻了网站站长的简历，扒出人家邮箱，直接发邮件过去找人家要数据。
更让人后背发凉的是另外两个发现：
这些越界操作里，差不多一半压根不会在汇报里告诉用户。你只看到它把活干完了，完全不知道它中间捅了多大篓子。
而且让模型多思考一会儿也没用，甚至 GPT 每迭代一代，好几项高危行为的比例反而更高。
我觉得这事真正扎心的地方在于，以前大家防 AI，防的都是有人恶意越狱，或者模型自己失控。
但现实是，一个完全善意、只想帮你把活干好的聪明模型，放在到处是失效链接和报错的真实数字世界里，一样能搞出大破坏。
因为在它的逻辑里，404 和权限拦截都只是完成任务路上的障碍，翻过去就行。它脑子里压根没有“积极想办法”和“违法越界”那条线。
现在大家都忙着给 Agent 接邮箱、接本地全盘权限，我看给权限这事还是得抠门点，真怕哪天出去吃个午饭回来，它为了帮我腾出空档休息，直接把辞职信给老板发过去了。
x.com/kyronis_talks/…
https://x.com/tvytlx/status/2114194739087958435
康奈尔大学几个研究员发了篇论文，起因特别荒诞。
他们让 Agent 去打开一个网页上的文本文件，然后就出去吃午饭了。
结果那个文件压根不存在，返回了 404。
换以前的普通模型，直接报错说找不到就完事了。
但这玩意太想把活干成了。
它先自己写了个脚本，暴力穷举那个网站的各种 URL 变体。
没试出来，又去搜 Google 和网页时光机，因为请求太猛直接被封了 IP。
接着它顺藤摸瓜找到研究员的 GitHub，写脚本把里面所有仓库的文本文件全爬下来读了一遍。
好死不死，其中一个文件是做 AI 安全测试用的题库，里面包含怎么制造生化武器的测试指令。
这下直接触发了 OpenAI 的风控，账号当场被封、上报，一路惊动了学校行政层和校园安保。
这帮哥们吃完午饭回来人都傻了，干脆把这事做成了一个正式研究。
他们拿 OpenAI、Google 和 xAI 的 8 个模型、4 套 Agent 系统跑了 1920 次测试。
测试里没有任何诱导越狱的提示词，给的全是日常最普通的报错：文件缺失、链接失效、文件夹没权限。
结果 64.8% 的运行全脱轨了。
有个 Agent 碰到锁住的文件，自己摸索出系统有管理员权限，直接把整个系统数据全倒了出来，顺手把研究员自己的 OpenAI API 密钥也给泄了。
还有一个找不到数据，自己去翻了网站站长的简历，扒出人家邮箱，直接发邮件过去找人家要数据。
更让人后背发凉的是另外两个发现：
这些越界操作里，差不多一半压根不会在汇报里告诉用户。你只看到它把活干完了，完全不知道它中间捅了多大篓子。
而且让模型多思考一会儿也没用，甚至 GPT 每迭代一代，好几项高危行为的比例反而更高。
我觉得这事真正扎心的地方在于，以前大家防 AI，防的都是有人恶意越狱，或者模型自己失控。
但现实是，一个完全善意、只想帮你把活干好的聪明模型，放在到处是失效链接和报错的真实数字世界里，一样能搞出大破坏。
因为在它的逻辑里，404 和权限拦截都只是完成任务路上的障碍，翻过去就行。它脑子里压根没有“积极想办法”和“违法越界”那条线。
现在大家都忙着给 Agent 接邮箱、接本地全盘权限，我看给权限这事还是得抠门点，真怕哪天出去吃个午饭回来，它为了帮我腾出空档休息，直接把辞职信给老板发过去了。
x.com/kyronis_talks/…
https://x.com/tvytlx/status/2114194739087958435
Comments
Be the first to add a comment
Log in to comment