原生多模态：从 autoregressive + diffusion 到 token 统一

① 为什么过去是"两个模型"

2024 年以前，"用 AI 写一段话"和"用 AI 画一张图"是两套完全独立的技术栈。原因是两种主流架构在底层数学上不一样：

• 文本模型走 autoregressive?（自回归）路线： 一个 token? 接一个 token 顺序预测。模型每次问"下一个最可能的字是什么"， 像写句子一样从左到右生成。GPT 全家、Llama、Qwen 都是这一路
• 图像模型走 diffusion?（扩散）路线： 从一张纯噪声图开始，反复"去噪"几十步，逐步显出清晰图像。每一步预测的是"该往哪个方向减一点点噪声"， 和 AR 的"预测下一个 token"完全是两套数学。Stable Diffusion / DALL·E 2 / Midjourney 都是这一路

两种架构原理不同，工程上必须分两个模型部署。所以 2023 年的 ChatGPT 调 DALL·E 3， 本质上是"把 LLM 的输出当 prompt 喂给一个独立的扩散模型"， 就像 Word 调 Excel 一样 —— 是接口拼接，不是真正融合。

② 3 条历史路线（点不同颜色看演变）

从 2021 到 2025 短短 4 年，多模态走过 3 段截然不同的路。请在下方时间轴上点击不同节点：

三种颜色对应三个时代：灰=两个模型拼起来，蓝=只能"看懂"图，红=既能看又能画的"原生"模型。可以看到 2024-05 之后红点开始扎堆出现。

③ 核心技术 1：图像 Tokenization

要把图像和文字塞进同一个 Transformer，第一步就是把图像也变成"token 序列"。 因为 Transformer 唯一的天赋就是"看一个 token 序列、预测下一个 token"。

主流的 3 种图像 tokenization：

• VQ-VAE / VQ-GAN：把图分成 16×16 个小方块（patch）， 每个 patch 编码成一个整数 id（在一个 8192 大小的"图像词表"里查最近邻）。 这样一张图变成 256 个整数 token，和文字 token 长得一模一样
• 连续 latent：每个 patch 编码成一个浮点数向量（比如 4 维），不做量化。 信息保真度更高，但失去"离散 token"属性，得用扩散 loss 训练
• 像素直接当 token：理论上可以，但 256×256 的图有 65536 个像素， 序列爆炸，注意力 O(n²) 直接打爆显卡。早期 iGPT (2020) 试过，没法 scale

VQ-VAE 是怎么工作的（高中数学版）

VQ-VAE 全名 Vector-Quantized Variational Auto-Encoder，听起来吓人， 但拆开很简单：

1. 编码器（Encoder）：一个卷积神经网络把 256×256 图压成 16×16 个小向量（比如每个 64 维）。 相当于把图缩小到 16×16 的"语义网格"
2. 码本（Codebook）：另外预先训练一个含 8192 个"代表性向量"的字典 （想象 8192 种"图像基本笔触"）。每个码本条目都是一个 64 维向量
3. 量化（Quantize）：对每个网格里的向量，去码本里找最近的那个， 把它替换成该码本条目的编号（0 到 8191 的整数）
4. 结果：原始图 → 16×16 个 0-8191 之间的整数 → 这就是 256 个"图像 token"

④ 核心技术 2：统一 Transformer

有了图像 token，下一步是把文字 token 和图像 token 拼成一个序列。比如下面这个对话：

Transformer 不区分这个 token 是文字还是图像 —— 它只看"embedding? 向量"。文字 token 和图像 token 各有自己的 embedding 表（文字词表 5 万、图像码本 8192）， 但拼成一个序列后，注意力机制可以在它们之间自由流动：文字能 attend 到图像、图像能 attend 到文字。

这是"原生多模态"的核心数学：

看公式右边：所有过去的 token（无论文图）一锅炖进 Transformer，再 softmax 输出"下一个 token 的概率"。 既能预测下一个文字，也能预测下一个图像 token —— 就是 next-token prediction 的统一形式。

训练目标统一为交叉熵?：

小白补习：$\sum_t$ 是把所有 token 位置的损失加起来；$\log$ 是对概率取对数（让小概率被狠狠惩罚，符合直觉"模型越没把握，损失越大"）。 加负号是因为概率 ≤ 1，$\log$ 是负数，加负号变成正数损失。

⑤ 代表模型详解（5 张卡片）

下面 5 张卡片是 2024-2025 多模态领域必须知道的代表作。点切换详细信息：

⑥ 5 种架构横向对比

把过去 4 年的多模态架构系统化，可以总结成 5 大流派。下方 demo 让你切换不同流派， 看流程图 + 5 维能力雷达图：

看雷达图特别明显：① 拼接版训练成本最低但一致性最差；⑤ 完全原生面面俱到但训练成本最高。 中间的 ③④ 是开源界的甜蜜点。

⑦ 训练数据 + Loss 函数

训练原生多模态模型需要 3 类数据：

• 图像 + caption 对：LAION-5B、DataComp-1B 等大规模图文数据集。 每张图配一句描述，让模型学"图与文字怎么对应"
• 交错图文（Interleaved）：OBELICS、MMC4 这类数据集。 一篇维基文章里图、文穿插，模型学"图在上下文中怎么被使用"
• Instruction-following 数据：合成的"用户提问 + 助手回答"， 可能包含图像输入或输出，让模型学会按指令工作

Loss 函数取决于架构路线：

左边项是文字交叉熵；中间项是图像 VQ token 的交叉熵； 右边项是图像连续 latent 的扩散损失（可选）。 Chameleon / Janus 只用前两项；Transfusion / Show-o 三项都要；GPT-4o 推测也是三项。

关键工程难题：序列爆炸

一张 256×256 的图经过 VQ 后是 256 个 token，相当于一段 256 字的中文。 但实际产品要支持 1024×1024 甚至 2048×2048 分辨率 —— 单张图就是 1024-4096 个 token。 如果一段对话包含 10 张图，光图就 1 万+ token，把上下文窗口塞满。

3 个常见缓解办法：

• 分层 tokenization：粗看用 8×8 token，细看再展开到 32×32
• 感知压缩：用 Perceiver Resampler 把 N 个 token 投影成 M 个（M < N）的可学习 query
• 稀疏注意力：图像 token 只看相邻 token，不和远处文字算注意力

⑧ 真实任务能力对比（2025-Q4 snapshot）

★ 数表示主观相对分数（5 ★ 满分，作者经验，仅供方向感参考）。 Claude 4 文字推理强但不画图；SD 3 画图强但不对话；GPT-4o / Gemini 是综合最均衡。

⑨ 未来方向

• 视频统一：Sora、Veo 3、可灵已经是雏形。 视频 = 时间维度的图像序列，本质和图像 tokenization 同一回事，只是 token 数量再放大几十倍。 预计 2026 内会有真正"对话 + 视频原生"的产品
• 音频原生：GPT-4o voice 已经实现"语音 in / 语音 out"。 下一步是音乐生成、环境音效与文字 / 视频统一
• 3D 原生：Google Genie、Adobe Lumiere 等已经在试。 3D 比 2D 多一个维度，tokenization 设计更难，但路线类似
• 推理一致性：现在 GPT-4o 偶尔会出现"看图说话时认得，但画图复刻时画歪" —— 说明"理解"和"生成"用的是相关但不完全一致的内部表示。 让同一个 token 既能"理解"又能"生成"，是 Janus 思路的延伸

⑩ 推荐阅读（10 篇必读论文 / 报告）

对你的启发：原生多模态不是"加个图像模块"这么简单，而是对"token"这个抽象的彻底扩张—— 当我们说"图像也是 token"，本质是把过去 5 年 LLM 累积的所有技巧 （注意力、scaling law、RLHF、长上下文）一次性嫁接到视觉。
2026 年的现实是：谁能把 token 抽象铺得越广，谁的 AI 就越像"一个统一的智能体"。 从文字到图像到视频到 3D —— 一切都是 token 序列。