进阶 · 12 章全本完成

文生角色动画大模型:从复现到改造

复现 T2M-GPT / 微调到你的角色 / 部署到游戏引擎

12 章带你从骨骼系统、MoCap 数据集、Motion Tokenization 一路走到亲手训练并部署一个能"听话"的文生动画模型 —— 不是从 0 训 SOTA,而是复现 2023 开源 SOTA + 微调到自己的项目。

学完这本书你能做到

看懂论文不发懵
T2M-GPT / MotionGPT / MDM / MoMask —— 主流 paper 全部能读得下来。
复现 2023 开源 SOTA
单卡 4090 + 几周时间,跟着 M6 把 T2M-GPT 从 git clone 训到 inference 跑通。
微调到你的角色
LoRA + 自定义 MoCap 数据 —— 让模型输出你想要的风格 / 你的角色骨骼。
部署到游戏引擎
Unity / Unreal / Godot 实时调用 —— 学完能直接用进真实游戏项目。

实事求是:能做什么 / 不能做什么

能做到
复现开源 SOTA、在自己数据上微调、集成到游戏 —— 这 3 件个人 + 1 卡 + 几周就行。
需要积累才能做到
改 backbone 架构 / 提出新方法 —— 需要 PhD 级理解,本书是入门到中级,不是博士论文级。
不承诺
训出比 Adobe Mixamo / Unity Muse 商用闭源更好的模型 —— 那需要团队 + 数据 + 经费。
T2M-GPT (CVPR 2023) / MotionGPT (NeurIPS 2023) / MDM 的代码 + 数据集全部公开。 论文用 8×V100,单张 4090 也能跑完整流程。这是真实的"复现可达",不是吹牛。

开始前你需要

Python + PyTorch 基础
会写 nn.Module / 看得懂 DataLoader / 用过 .cuda()
Transformer 基础理解
看完 LLM 课 M5-M6 注意力 + Transformer 即可。
一张 GPU
RTX 3090 / 4090 / A100 都行,云上租也行(autodl / featurize 都有)
~4-6 周业余时间
每周 5-10 小时;前 5 章主要看懂,后 7 章主要动手

课程目录