苹果联合研究照亮多模态 AI 未来方向：早期融合 + 稀疏架构

科技媒体 marktechpost 昨日（4 月 15 日）发布博文，报道称苹果工程师联合法国索邦大学，通过对比早期融合和后期融合模型，发现从头训练的早期融合模型在计算效率和扩展性上更具优势。

多模态 AI 现状与面临的挑战

IT之家援引博文介绍，多模态 AI 旨在同时处理图像、文本等多种数据类型，但整合这些异构数据仍是一大难题。当前技术多采用后期融合（late-fusion）策略，即组合使用预训练的单模态模型（如视觉编码器和语言模型）。

这种方法虽然操作简便，却难以实现真正的多模态理解，单模态预训练带来的固有偏差，可能限制模型捕捉跨模态依赖关系。

此外，随着系统规模扩大，各组件的参数、预训练需求和扩展特性差异显著，导致计算资源分配复杂，影响性能，尤其是在需要深度多模态推理的任务中。

早期融合与稀疏架构的突破

苹果联合团队挑战了传统架构选择，深入研究从头训练的原生多模态模型（NMMs）的扩展特性。

团队对比了早期融合（early-fusion）和后期融合模型，发现从头训练时，两者性能相当，但早期融合模型在低计算预算下更高效且易于扩展。

研究还探索了专家混合（MoE）稀疏架构，发现其能动态分配参数，针对不同模态进行专项优化，相较于稠密模型，可以显著提升性能，这点在小规模模型中优势明显。

分析显示，稀疏模型更倾向于优先扩展训练数据（training tokens）而非活跃参数（active parameters），这与稠密模型的扩展模式形成鲜明对比。

研究团队通过系统实验，训练了从 0.3 亿到 40 亿活跃参数的多模态模型，验证了早期融合和稀疏架构在多模态处理中的潜力。

结果表明，原生多模态模型的扩展规律与语言模型相似，但跨模态数据类型和训练组合会略微影响扩展系数。此外，稀疏模型在等效推理成本下持续优于密集模型，展现出处理异构数据的强大能力。

这些发现挑战了传统设计理念，表明统一早期融合架构结合动态参数分配，或将成为未来高效多模态 AI 系统的重要方向。