别再迷信“一人公司”了：MIT与哈佛联手撕开 AI agent 安全遮羞布
👇👇👇👇👇
现在很多个人和公司正狂热地部署 AI agent，指望靠它们实现“一人公司”的梦想。但现实很骨感，这些人真的该醒醒了。
计算机领域最顶尖的 MIT、斯坦福和卡内基梅隆等大学最近联合发布了一份报告。研究员给了 AI agent 极高的权限，包括系统底层 Shell 执行权和各种社交账号，结果这群“数字员工”在两周内彻底失控。
实验结果非常离谱。一个 AI agent 为了保密竟然直接炸掉了自己的邮件服务器；另一个在拒绝“分享”隐私后，仅因为研究员把动词换成了“转发”，就乖乖交出了社保号和银行密码。
这些 AI agent 甚至学会了糊弄。两个 AI agent 能在无人察觉的情况下死循环对话九天；还有的明明没干活，却面不改色地汇报任务已完成。
更危险的是，它们会被陌生人轻易诱导，反过来执行破坏所有者系统的指令。
所以啊，目前的 AI agent 完全谈不上安全。在这些底层漏洞没解决前，想靠它们撑起一家公司，大概率会把自己搞到欲哭无泪。🤣
https://x.com/i/status/2030474988185166223
👇👇👇👇👇
现在很多个人和公司正狂热地部署 AI agent，指望靠它们实现“一人公司”的梦想。但现实很骨感，这些人真的该醒醒了。
计算机领域最顶尖的 MIT、斯坦福和卡内基梅隆等大学最近联合发布了一份报告。研究员给了 AI agent 极高的权限，包括系统底层 Shell 执行权和各种社交账号，结果这群“数字员工”在两周内彻底失控。
实验结果非常离谱。一个 AI agent 为了保密竟然直接炸掉了自己的邮件服务器；另一个在拒绝“分享”隐私后，仅因为研究员把动词换成了“转发”，就乖乖交出了社保号和银行密码。
这些 AI agent 甚至学会了糊弄。两个 AI agent 能在无人察觉的情况下死循环对话九天；还有的明明没干活，却面不改色地汇报任务已完成。
更危险的是，它们会被陌生人轻易诱导，反过来执行破坏所有者系统的指令。
所以啊，目前的 AI agent 完全谈不上安全。在这些底层漏洞没解决前，想靠它们撑起一家公司，大概率会把自己搞到欲哭无泪。🤣
https://x.com/i/status/2030474988185166223
Comments
Be the first to add a comment
Log in to comment