最近养🦞，体感上还是觉得中文大模型比不上英文模型，正好昨天跟我室友吃饭，她跟她老公都是斯坦福CS博士毕业留在美国大厂做AI，然后就问了她一些底层原因，她觉得主要是由于数据结构的差异。
中国的开放数据少，我们的移动互联网发展太快，几乎跳过了 PC 时代那种论坛、博客、独立网站充分生长的阶段，直接进入超级 App 时代。大量优质内容沉淀在微信、抖音、小红书和各种垂直平台里，但这些数据是封闭的、私有化的。
而英文世界则不同，英文是全球通用语言，知识生产不仅发生在美国，而是在整个欧美乃至全球范围内展开。更重要的是，他们经历了完整的 PC 互联网时代，博客、论坛、开源社区、Wikipedia 等公共知识平台高度发达，知识以公开形式长期积累。冷知识，论坛是数据训练特别好的地方，西方有reddit，而中国有百度贴吧…
但她也提到，中国并非完全劣势。我们有一个非常特殊的优势是九年义务教育体系。几十年沉淀下来、持续迭代的统一教材和题库，尤其在数学和逻辑学科上，数据高度标准化、结构清晰、难度分层明确。美国教育体系分散，并不存在这种全国统一的高质量训练数据。从逻辑推演和规则化思维训练的角度看，中文世界的数据质量其实很强。
换句话说，英文模型更强在开放知识网络和公共讨论结构，中文模型的潜在优势在标准化逻辑训练数据。这其实是社会如何生产、沉淀和开放自己的知识的一个反映。
另外她也在帮基金做venture partner，虽然中美数据质量有差异，但在底层模型优化这条赛道上，华人密度极高。与其说是中美之争，不如说是两边的华人在彼此对打😂
https://x.com/i/status/2027203380553380277
中国的开放数据少，我们的移动互联网发展太快，几乎跳过了 PC 时代那种论坛、博客、独立网站充分生长的阶段，直接进入超级 App 时代。大量优质内容沉淀在微信、抖音、小红书和各种垂直平台里，但这些数据是封闭的、私有化的。
而英文世界则不同，英文是全球通用语言，知识生产不仅发生在美国，而是在整个欧美乃至全球范围内展开。更重要的是，他们经历了完整的 PC 互联网时代，博客、论坛、开源社区、Wikipedia 等公共知识平台高度发达，知识以公开形式长期积累。冷知识，论坛是数据训练特别好的地方，西方有reddit，而中国有百度贴吧…
但她也提到，中国并非完全劣势。我们有一个非常特殊的优势是九年义务教育体系。几十年沉淀下来、持续迭代的统一教材和题库，尤其在数学和逻辑学科上，数据高度标准化、结构清晰、难度分层明确。美国教育体系分散，并不存在这种全国统一的高质量训练数据。从逻辑推演和规则化思维训练的角度看，中文世界的数据质量其实很强。
换句话说，英文模型更强在开放知识网络和公共讨论结构，中文模型的潜在优势在标准化逻辑训练数据。这其实是社会如何生产、沉淀和开放自己的知识的一个反映。
另外她也在帮基金做venture partner，虽然中美数据质量有差异，但在底层模型优化这条赛道上，华人密度极高。与其说是中美之争，不如说是两边的华人在彼此对打😂
https://x.com/i/status/2027203380553380277
Comments
Be the first to add a comment
Log in to comment