多模态模型的崛起，依托于神经网络架构的底层突破，更源于“跨模态信息协同”的技术创新。在多模态大模型的起源探索阶段，佐治亚理工学院、俄勒冈州立大学与 Facebook联合推出的 ViLBERT 和北卡罗来纳大学教堂山分校推出的 LXMERT 是多模态预训练的先驱模型，上述模型开创性地采用 Transformer 架构实现视觉与语言的联合预训练，首次从技术层面验证了跨模态信息深度交互的可行性；2021 年 OpenAI 推出的 CLIP 不再满足于简单的特征拼接，通过 40 亿规模“文本-图像”的对比预训练，实现了图像与文本在统一语义空间的映射，突破性达成零样本图像分类能力，彻底打开了多模态大模型“以自然语言理解图像、以图像反哺语言语义”的双向交互大门，成为多模态领域具有里程碑意义的标志性研究。在 CLIP 构建的强大图文理解能力之上，生成模型迎来了大爆发。2022年 8 月 CompVis 正式发布 Stable Diffusion，通过开源极大降低了高质量文生图（AIGC）的门槛，引发全球性创作热潮；而 2022 年 11 月 Midjourney 发布的 Midjourney V4 模型，则凭借其对复杂、艺术性提示语的深刻理解和卓越的图像生成质量，创造富有想象力和风格化的艺术作品。