通过拼接或更通用的交叉注意力机制对潜在扩散模型（LDMs）进行条件约

5.2 多模态生成技术路线：跨越图像、音频与视频的融合创造 在图像生成技术领域，扩散模型通过“正向扩散加反向去噪”的机制实现图像生成：先对初始图像逐步添加随机噪声使其演变为纯粹随机噪声，模型则学习反向去噪以从随机噪声重构清晰图像。其生成流程为，利用文本编码模型将输入文本转化为嵌入向量，以此作为条件输入送入 U-Net 去噪网络，经 U-Net 逐步去噪最终生成清晰图像。Open AI 于 2021年 1 月推出的 DALLE 以 CLIP 模型对齐文本与图像空间，在训练阶段将文本特征向量转化为图像特征向量，decoder 融合 U-Net 与 Transformer 实现加噪-去噪的图像还原，奠定了多模态文生图的技术基础。Latent Diffusion Models（LDM）在潜在空间执行扩散，通过拼接或更通用的交叉注意力机制对潜在扩散模型进行条件约束，大幅降低计算成本；Diffusion Transformers（DiT）以 Transformer 替代 U-Net，提升生成质量；多条件控制方式如 CLIP 引导、分类器无关引导，增强了生成可控性。扩散模型优势在于生成图像质量高、细节丰富且条件控制灵活，但生成速度慢，需较多采样步骤，计算成本较高。