定义
“模态”指信息的类型或形式，比如文字、图像、音频、视频，乃至传感器数据。多模态（Multimodal）AI 是指能够处理两种或以上模态的模型：它可以看图回答问题、听语音做总结、根据文字生成图片，或者在一次对话中混合使用多种信息。
与之相对，只处理一种信息的模型称为单模态模型，例如早期只懂文字的语言模型、只识别图片的分类模型。人类理解世界本来就是多感官协同的，多模态模型正是朝这个方向努力。
工作原理
多模态模型的核心难题是：如何让不同类型的信息在同一个“语义空间”里对话。常见的技术路线包括：
对比学习对齐。 以 CLIP 为代表，用大量“图片—文字描述”配对数据训练两个编码器，让匹配的图文在向量空间里靠近、不匹配的远离。训练好之后，模型就能比较任意图片和文字之间的相似度，可用于以文搜图、零样本分类等。
编码器 + 大语言模型。 这是当前视觉语言模型的常见结构：先用视觉编码器把图片转换成一组向量，再通过一个连接层（投影层）把这些向量映射成语言模型能“读懂”的形式，像普通 Token 一样送进大语言模型。语言模型因此能结合图片内容进行推理和回答。
原生多模态。 一些模型从预训练阶段就把文字、图像、音频等数据统一切分成 Token，混合在一起训练，而不是后期把单独的模块拼接起来。这种方式有利于模态之间更深度的融合。
多模态生成。 生成图片、音频、视频时，通常由文本编码器理解提示词，再由扩散模型或其他生成模型产出目标模态的内容。
训练多模态模型需要大规模、配对良好的跨模态数据，数据质量对效果影响很大。
典型应用
- 看图问答：识别截图里的报错、解释图表、描述照片内容。
- 文档理解：直接读取扫描件、发票、表格中的信息。
- 文生图、文生视频：根据文字描述生成视觉内容。
- 语音交互：语音识别、语音对话、语音合成。
- 无障碍辅助：为视障用户描述图片和周围环境。
- 跨模态检索：用文字搜索图片或视频片段，或以图搜图。
相关概念
- 大语言模型：多模态模型中常作为推理核心的语言部分。
- Embedding：不同模态需映射到向量空间才能比较和融合。
- 扩散模型：图像、视频生成的主流方法。
- 注意力机制：交叉注意力常用于融合不同模态的信息。
- Transformer：同样适用于处理图像块、音频片段等非文本序列。
参考论文：Learning Transferable Visual Models From Natural Language Supervision（CLIP）