进阶 · 12 章全本完成
文生角色动画大模型:从复现到改造
复现 T2M-GPT / 微调到你的角色 / 部署到游戏引擎
12 章带你从骨骼系统、MoCap 数据集、Motion Tokenization 一路走到亲手训练并部署一个能"听话"的文生动画模型 —— 不是从 0 训 SOTA,而是复现 2023 开源 SOTA + 微调到自己的项目。
学完这本书你能做到
看懂论文不发懵
T2M-GPT / MotionGPT / MDM / MoMask —— 主流 paper 全部能读得下来。
复现 2023 开源 SOTA
单卡 4090 + 几周时间,跟着 M6 把 T2M-GPT 从 git clone 训到 inference 跑通。
微调到你的角色
LoRA + 自定义 MoCap 数据 —— 让模型输出你想要的风格 / 你的角色骨骼。
部署到游戏引擎
Unity / Unreal / Godot 实时调用 —— 学完能直接用进真实游戏项目。
实事求是:能做什么 / 不能做什么
能做到
复现开源 SOTA、在自己数据上微调、集成到游戏 —— 这 3 件个人 + 1 卡 + 几周就行。
需要积累才能做到
改 backbone 架构 / 提出新方法 —— 需要 PhD 级理解,本书是入门到中级,不是博士论文级。
不承诺
训出比 Adobe Mixamo / Unity Muse 商用闭源更好的模型 —— 那需要团队 + 数据 + 经费。
T2M-GPT (CVPR 2023) / MotionGPT (NeurIPS 2023) / MDM 的代码 + 数据集全部公开。 论文用 8×V100,单张 4090 也能跑完整流程。这是真实的"复现可达",不是吹牛。
开始前你需要
Python + PyTorch 基础
会写 nn.Module / 看得懂 DataLoader / 用过 .cuda()
Transformer 基础理解
看完 LLM 课 M5-M6 注意力 + Transformer 即可。
一张 GPU
RTX 3090 / 4090 / A100 都行,云上租也行(autodl / featurize 都有)
~4-6 周业余时间
每周 5-10 小时;前 5 章主要看懂,后 7 章主要动手
课程目录
模块 01· 试学开始学习 →
角色动画 50 年简史
手 K → MoCap → 物理仿真 → 神经网络 → 文生动画 五代演进
模块 02🔒 登录解锁
骨骼系统与 SMPL 参数化
24 关节 / IK / FK / 蒙皮 / SMPL / SMPL-X / 旋转表示
模块 03🔒 登录解锁
动作数据集:从下载到可视化
AMASS / HumanML3D / KIT-ML / Motion-X 真实下载 + 清洗 + 可视化
模块 04🔒 登录解锁
Motion Tokenization:动作的"字母表"
VQ-VAE for motion 完整 PyTorch 实现 + codebook 可视化
模块 05🔒 登录解锁
扩散路线 vs 自回归路线
MDM / MotionDiffuse vs T2M-GPT / MotionGPT 全方位对比
模块 06🔒 登录解锁
T2M-GPT 完整复现
从 git clone 到训完 50 epoch 的全步骤 + 单卡 4090 配置
模块 07🔒 登录解锁
训练 Pipeline 调优
损失函数 / lr schedule / 多 GPU / 显存优化 / 梯度爆炸排查
模块 08🔒 登录解锁
评估指标实战
FID / Diversity / R-Precision / MultiModal Distance 自己算
模块 09🔒 登录解锁
微调到你自己的角色
LoRA / 全量微调 + 自定义 MoCap 数据 + 风格控制
模块 10🔒 登录解锁
部署到游戏引擎
Unity / Unreal / Godot 实时调用 + Retargeting + 性能优化
模块 11🔒 登录解锁
前沿:交互式 + 实时 + 物理感知
实时控制 / GENMO / OmniControl / Avatar 2.0 / 物理仿真融合
模块 12🔒 登录解锁
终章:你的 motion 模型 demo + 学习路径
一个可玩的"文字 → 动画"小项目 + 后续研究方向地图