文生图是什么
你在 Midjourney 里敲一句话，10 秒后得到一张高清图。 这背后的技术不是一夜冒出来的 —— 它是过去 12 年好几代人的工作堆出来的。 这一章先用一张图带你看全貌。
① 一张图看完 12 年演化
2014 年 GAN 横空出世到 2026 年 Flux 让人人都能玩 —— 中间发生了什么？
点任一站，看这一代是什么、解决了什么、留下什么问题。 下面的"画质条"是大致示意 —— 让你看出每一代相对前代的跃升。
※ 画质评分仅为示意，让你看出"跃升关系"，不是严格基准。CLIP 不直接生成图，所以没分数。
CLIP + 扩散 + Latent 压缩 = 人人能跑
Stable Diffusion（稳定扩散）2022 年由 Stability AI 开源发布，第一次让普通人能在自己的显卡上跑文生图模型。它的关键创新是 Latent Diffusion ——不在像素上扩散，先用 VAE 压成 latent（潜空间）再扩散，显存降到 1/64。同年 DALL-E 2 也发布了，但闭源。
开源 + 能在消费级显卡跑（8GB 显存就够），引爆了全球开源 AI 艺术社区。Stable Diffusion → ComfyUI → 各种 LoRA / ControlNet 生态都从这开始。
手指还是经常画错，文字内容渲染不准，复杂构图能力有限。
SD 1.5、SD 2.0、SDXL 是这条线的代表作；同期 DALL-E 2 把质量推到新高度但不开源。
💡 规律：每一代都解决前代的问题。GAN 训练难 → VAE 训练稳但糊 → 扩散稳又好但慢 → Latent Diffusion 又快又省 → CLIP 接上文字 → Transformer 架构再翻一倍效果。
② 现在的文生图，到底是怎么"画图"的？
以前你以为 AI"画图"是这样的：一笔一笔从空白画布画出图 —— 像人类画家那样。 其实完全不是。现代的文生图模型（扩散模型）的工作方式更接近：从一团雪花里"看出"一张图。
听上去玄乎，但你看下面这个动画就明白了：选一个 prompt，按"自动播放"。
这是扩散模型生成图像的核心过程：从一团纯噪声出发，根据文字提示一步步"去噪"，最终画出清晰图像。 选一个 prompt，按播放看完整过程。
💡 真实模型一般做 20-50 步去噪（这里简化成 8 步）。每一步都用同一个神经网络 —— 给它"当前还有点噪声的图 + 文字描述"，它输出"应该减去的噪声"。后续章节会讲这个网络具体怎么训练、文字怎么影响每一步。
每一步都是同一个神经网络在工作 —— 输入"还有点噪声的图 + 你的文字提示"，输出"该减掉哪些噪声"。 反复几十步，就从纯雪花变出一张图。这就是扩散模型（Diffusion Model）。
③ 文生图 vs 大语言模型，差在哪
如果你学过LLM 原理课， 会发现文生图和 LLM 有几个根本不同：
| 维度 | 大语言模型（LLM） | 文生图（Diffusion） |
|---|---|---|
| 数据形式 | 离散 token | 连续像素 / latent 向量 |
| 生成方式 | 一个 token 一个 token 往后蹦 | 从噪声反复去噪，整张图同时改 |
| 步数 | 输出多长就多少步 | 固定 20-50 步 |
| 输出 | 文字 / 代码 | 图像 / 视频 / 3D |
| 采样核心参数 | temperature / top-p | CFG（无分类器引导） / 调度器 |
但有一点是共通的 —— 现代的文生图模型骨架（Flux / SD3）开始用Transformer， 跟 LLM 是同一种东西，只是处理的不是文字 token 而是图像 patch。 这叫 DiT（Diffusion Transformer，扩散版 Transformer）。
④ 这本书后面要讲的
- 扩散模型的核心：加噪与去噪的具体机制（第 2 章）
- 文字怎么"指挥"图像：CLIP + cross-attention（第 3 章）
- Stable Diffusion 怎么省钱：Latent Diffusion（第 4 章）
- 采样参数：步数 / 调度器 / CFG（第 5 章）
- 精细控制：ControlNet / LoRA / IP-Adapter（第 6 章）
- 从图像到视频和 3D：Sora / 可灵 / 3D Gaussian（第 7 章）
- 实战：本地跑 ComfyUI + 调出好图（第 8 章）