Infos beyond the wall
所有人都在死盯大语言模型的更新。
Yann LeCun悄悄扔了个王炸。
这篇新论文可能会改变未来十年的游戏规则。
它叫LeWorldModel。
大语言模型的本质只是猜词游戏。
它们极度擅长语言,但根本不懂现实。
LLM能给你写一万字小球撞墙的优美散文。
但它算不出小球到底落在哪。
世界模型干的就是算落点。
预测物理世界下一秒发生什么。
物体移动,碰撞,坠落。
这是自动驾驶和实体机器人的真正底座。
但以前的世界模型有个致命伤。
它会“崩溃”。
为了偷懒,它会把所有输入都算成同一个输出。
就像天气软件每天都预报晴天。
为了防崩溃,科学家只能疯狂打补丁。
冻结编码器,加一堆超参数,堆上各种数学黑科技。
勉强维持一个摇摇欲坠的纸牌屋。
LeCun团队直接掀了桌子。
把那些破烂补丁全扔了。
LeWorldModel只用两招。
一个预测损失,一个强制特征保持多样性的正则化器。
超参数从6个直接砍到1个。
越简单,越恐怖。
参数量极小,只有1500万。
单张普通GPU,几个小时就能训完。
规划速度比基于大底座的世界模型快了整整48倍。
消耗的token少了200倍。
从2022年起,LeCun就在死磕JEPA架构。
同行笑他理论好听,但根本没法稳定训练。
今天这篇论文把质疑者的嘴堵上了。
小模型,稳定训练,没打补丁,不崩溃。
目前的AI界有两条路。
一条是继续烧钱堆算力,喂海量文本给巨型LLM。
另一条,是让模型通过原始像素直接学习物理法则。
第二条路不仅走得通。
而且正在以极低的成本,从物理维度包抄算力巨兽。
https://x.com/i/status/2036720121943626078
Comments
Be the first to add a comment