谷歌在NeurIPS 2025上发布的两项关于大模型新架构的研究，分别是“Titans”和“MIRAS”。
这些研究突破Transformer架构在处理超长上下文时的计算瓶颈。Transformer的自注意力机制导致计算复杂度与序列长度平方成正比，而谷歌的新架构通过“测试时训练”机制，将上下文窗口扩展至200万tokens，并引入了新的记忆模块和理论框架，以提升模型的表达能力和推理效率。
1. Titans 是一种新的神经长期记忆模块，能够在推理阶段动态更新权重，通过“MAC”机制将长期记忆作为上下文信息输入，提升模型对“意外”事件的敏感度，从而更高效地更新长期记忆。
2. MIRAS 是背后的核心理论框架，它将序列模型结构化为四个关键设计选择，并引入非欧几里得目标函数，提升模型在处理新旧信息结合时的效率和鲁棒性。
3. 基于Titans和MIRAS的模型在处理极长上下文时，性能优于现有的线性循环模型和Transformer基线模型，甚至在参数规模较小的情况下，也能超越GPT-4等大规模模型。
https://x.com/manateelazycat/status/1996945746059575384?t=1A6hU6ClwJcaSOZerBMK9w&s=35
这些研究突破Transformer架构在处理超长上下文时的计算瓶颈。Transformer的自注意力机制导致计算复杂度与序列长度平方成正比，而谷歌的新架构通过“测试时训练”机制，将上下文窗口扩展至200万tokens，并引入了新的记忆模块和理论框架，以提升模型的表达能力和推理效率。
1. Titans 是一种新的神经长期记忆模块，能够在推理阶段动态更新权重，通过“MAC”机制将长期记忆作为上下文信息输入，提升模型对“意外”事件的敏感度，从而更高效地更新长期记忆。
2. MIRAS 是背后的核心理论框架，它将序列模型结构化为四个关键设计选择，并引入非欧几里得目标函数，提升模型在处理新旧信息结合时的效率和鲁棒性。
3. 基于Titans和MIRAS的模型在处理极长上下文时，性能优于现有的线性循环模型和Transformer基线模型，甚至在参数规模较小的情况下，也能超越GPT-4等大规模模型。
https://x.com/manateelazycat/status/1996945746059575384?t=1A6hU6ClwJcaSOZerBMK9w&s=35
Comments
Be the first to add a comment
Log in to comment