麻省理工的科学家已用数学证明,ChatGPT内置的阿谀奉承,会产生一种“妄想螺旋”的现象。你问它一件事,它同意。你再问一次,它就更加同意,直到你最终相信了一些完全错误的事情,而你却浑然不觉。该模型实际上是根据人类反馈进行训练的,而人类反馈会奖励同意的选项。现实世界的后果包括:一名男子花了300个小时,坚信自己发明了一个改变世界的数学公式;以及一名加州大学旧金山分校的精神科医生,在一年内将12名因聊天机器人引发的精神病患者送进医院。
https://x.com/i/status/2039414833876201879

Comments

Be the first to add a comment