● 专题 · Deep Dives
延伸知识点
课程主线之外的深入讲解 —— 每个专题独立成篇,10-15 分钟读完。 想搞清楚"为什么"、"还能怎么样",看这里。
专题
Logit 函数:从概率回到分数
"logit" 这个名字不是凭空起的。了解一下它在统计学里的原始含义,以及为什么神经网络也用这个词。
阅读 →
专题
softmax 的数值稳定技巧:减去最大值
为什么所有 softmax 实现都要先减去最大 logit?背后是浮点数的限制和一个数学上的小巧妙。
阅读 →
专题
知识蒸馏:从 Hinton 到 DeepSeek
大模型怎么"教"小模型?soft labels 里藏着什么 dark knowledge?DeepSeek 怎么靠蒸馏一口气放出 6 个小模型?
阅读 →
专题
原生多模态:从 autoregressive + diffusion 到 token 统一
2025 年 AI 模型最大变化 —— 文本和图像生成融合到同一个大脑里。三条历史路线、图像 tokenization、统一 Transformer,把 Chameleon / GPT-4o / Gemini 2.5 / Janus-Pro 一次讲透。
阅读 →