DeepSeek刚刚发布了OCR-V2! 用LLM替代CLIP, 这思路太野了！
不是这还没过年呢! DeepSeek-OCR-2 来了！这次不是简单升级，而是搞了个大动作：用 LLM 架构直接替掉传统的 CLIP 视觉编码器！
先说下 CLIP 是啥。CLIP 是 OpenAI 搞的一个视觉编码器，通过海量图文对比学习，让模型能把图像"翻译"成语言模型能理解的向量。DeepSeek-OCR V1 就用的 CLIP VIT (300M参数)，效果已经很不错了。但问题是，CLIP 天生是为"图文匹配"设计的，不是为"按顺序读文档"设计的——它看图像就像拍照片，一眼看全局，但不会像人一样"从头读到尾"。
DeepSeek-OCR-2 的核心创新叫视觉因果流 (Visual Causal Flow)，说白了就是让模型学会"智能阅读"。怎么做到的？用 Qwen2-0.5B 这个小型 LLM 替代 CLIP 做视觉编码——所谓视觉编码，就是把一张图片转换成一串数字序列（token），让语言模型能"看懂"图片内容。
这里引入了一个关键设计：可学习的 "causal flow tokens"（因果流token）。简单理解就是，模型会生成一组"阅读指针"，这些指针可以自己学习按什么顺序去关注图像的不同区域。
打个比方：
https://x.com/i/status/2016037684737933489
不是这还没过年呢! DeepSeek-OCR-2 来了！这次不是简单升级，而是搞了个大动作：用 LLM 架构直接替掉传统的 CLIP 视觉编码器！
先说下 CLIP 是啥。CLIP 是 OpenAI 搞的一个视觉编码器，通过海量图文对比学习，让模型能把图像"翻译"成语言模型能理解的向量。DeepSeek-OCR V1 就用的 CLIP VIT (300M参数)，效果已经很不错了。但问题是，CLIP 天生是为"图文匹配"设计的，不是为"按顺序读文档"设计的——它看图像就像拍照片，一眼看全局，但不会像人一样"从头读到尾"。
DeepSeek-OCR-2 的核心创新叫视觉因果流 (Visual Causal Flow)，说白了就是让模型学会"智能阅读"。怎么做到的？用 Qwen2-0.5B 这个小型 LLM 替代 CLIP 做视觉编码——所谓视觉编码，就是把一张图片转换成一串数字序列（token），让语言模型能"看懂"图片内容。
这里引入了一个关键设计：可学习的 "causal flow tokens"（因果流token）。简单理解就是，模型会生成一组"阅读指针"，这些指针可以自己学习按什么顺序去关注图像的不同区域。
打个比方：
https://x.com/i/status/2016037684737933489
Comments
Be the first to add a comment
Log in to comment