课程平台
交互式工程师课
← LLM 原理课
00LLM 50 年简史
01什么是语言模型🔒
02Tokenization🔒
03词向量 / Embedding🔒
04从 Bigram 到 MLP🔒
05注意力(一):QKV 与公式🔒
06注意力(二):Mask + 多头🔒
07Transformer 完整架构🔒
08训练循环🔒
09预训练 → SFT:教模型听话🔒
10RLHF + DPO:用偏好训练🔒
11推理与量化🔒
12数据:模型吃什么🔒
13评估:好不好怎么测🔒
14安全:对齐为什么会失败🔒
15涌现 + CoT + o1:推理时代🔒
16RAG:让模型联网🔒
17Agent:让模型动手🔒
18实战项目 nanoGPT🔒
●专题4
Logit 函数:从概率回到分数softmax 的数值稳定技巧:减去最大值知识蒸馏:从 Hinton 到 DeepSeek原生多模态:从 autoregressive + diffusion 到 token 统一
🔒 仅试学第一节。免费注册·登录解锁全部章节。
登录免费注册
所有课程/LLM 原理课/专题
● 专题 · Deep Dives

延伸知识点

课程主线之外的深入讲解 —— 每个专题独立成篇,10-15 分钟读完。 想搞清楚"为什么"、"还能怎么样",看这里。

●专题

Logit 函数:从概率回到分数

"logit" 这个名字不是凭空起的。了解一下它在统计学里的原始含义,以及为什么神经网络也用这个词。

阅读 →
●专题

softmax 的数值稳定技巧:减去最大值

为什么所有 softmax 实现都要先减去最大 logit?背后是浮点数的限制和一个数学上的小巧妙。

阅读 →
●专题

知识蒸馏:从 Hinton 到 DeepSeek

大模型怎么"教"小模型?soft labels 里藏着什么 dark knowledge?DeepSeek 怎么靠蒸馏一口气放出 6 个小模型?

阅读 →
●专题

原生多模态:从 autoregressive + diffusion 到 token 统一

2025 年 AI 模型最大变化 —— 文本和图像生成融合到同一个大脑里。三条历史路线、图像 tokenization、统一 Transformer,把 Chameleon / GPT-4o / Gemini 2.5 / Janus-Pro 一次讲透。

阅读 →