昨天赶 due,用了几个小时 Opus 4.7。说实话,这次给我的感觉不是升级,而是一次非常明显的退步。

我从 Opus 4.6 推出前不久就开始付费了。4.6 我是天天高频在用,所以这次 4.7 给我的实际体验,真的不如 4.6。

我知道模型会出错,这很正常。真正让我没法继续信任的是,它现在越来越像一个不按我要求做事、拿自己的判断压过任务的模型。

4.6 基本是我要求什么语气,它就保持什么语气。我要求它搜索,它就会搜索。它不会突然教育我,不会莫名其妙插入社论,更不会把一个直接的任务变成关于它自己边界和立场的表演。

但 4.7 完全不一样。它最先出问题的是,连我写进偏好设置里的要求都开始变得不稳定。我明明写得很清楚,要中立、技术性、非个人化,不要说教,不要擅自上价值,不要拿自己的道德判断覆盖我的任务。

结果 4.7 还是会滑到社论口吻、道德推理和修辞包装里去。问题已经不是风格合不合胃口了,而是这些明明写清楚的要求,它却开始选择性忽略。

更离谱的是搜索和引用。该搜索的时候不搜索,该引用的时候不引用🥲🥲

我对来源要求很严格。凡是提到某个机构、报告、数据这类事实性内容,就应该在当前会话里真正抓取来源,并给出可验证链接。结果 4.7 很多时候写得像模像样,最后还补一句“本会话没有验证,视为待核实”。这根本不叫严谨,这只是先把话说出去,再用免责声明兜底。

有时候甚至不只是偷懒,而是会让我感觉它在编造过程。你追问某个表述到底怎么来的,它会摆出一种已经查过的样子,好像它真的做了搜索,只是没找到。

最烦的不是它没搜,而是它会用一种像是已经搜过的语气,给自己的结论找台阶。

它现在还很容易把回复包装得特别完整,语气也很笃定,表面上看起来很像回事,但内容其实有问题。尤其是在技术任务里,这种失效模式真的很恶心。代码、文档分析、规格判断这些场景本来就要求稳,结果它现在越是该严谨的地方,越容易出现那种不仔细查根本发现不了的问题。

而且它现在还有个特别烦的毛病。你让它复核,它不是老老实实顺着原逻辑检查问题,而是很容易直接换一个新答案。你让它 double check,它给你另一个版本。你继续追问,它还能继续变。

还有一个很明显的退步,就是它越来越爱讲自己,而不是干活。

你给它一份复杂技术文档让它分析,它很容易先来一大段边界说明、风险提示、能做什么不能做什么。

更反常的是,上下文越多,它有时候反而越不清楚。

正常来说,一个推理系统拿到更多已经验证过的信息,输出应该更稳、更准、更直接。但 4.7 的实际体验不是这样。有些情况下,冷启动只给文档和提示,反而更干净。热启动给了很多已经验证过的上下文,它却更犹豫、更多社论、更多防御性表述,结论也更弱。

这次测评我还遇到其他一些很明显的问题。比如它会卡在 thinking 那里不往下走,也不自救。比如它尝试自己写脚本处理之前的文件,报错以后不是继续修,而是直接卡在那里。再比如聊着聊着,它会给我一种想把任务往后拖的感觉,总在暗示先到这里,某部分可以先放放。

还有一点我特别烦。它现在经常给我一种感觉,它不是在认真完成任务,而是在揣测我想听什么。尤其是当我 push back,或者要求它 critique 自己的时候,这种感觉会更明显。它不是顺着原逻辑认真检查,而是很容易滑到另一个它以为我更能接受的方向。 @claudeai #Ai #claude
https://x.com/i/status/2044940699766800776

Comments

Be the first to add a comment