函数库

深度学习常用函数

从激活函数到位置编码，从损失函数到优化器 — 大模型设计中绕不开的数学构件。每个都附 Python 实现，可以在底部的「计算器」里直接画曲线。

激活函数

σ(x) = 1 / (1 + e⁻ˣ)

tanh(x) = (eˣ − e⁻ˣ) / (eˣ + e⁻ˣ)

ReLU(x) = max(0, x)

LeakyReLU(x) = max(αx, x)

GELU(x) = x · Φ(x) ≈ 0.5x(1 + erf(x/√2))

SiLU(x) = x · σ(x)

ELU(x) = x if x>0 else α(eˣ-1)

softmax(xᵢ) = e^(xᵢ/T) / Σⱼ e^(xⱼ/T)

log_softmax(xᵢ) = xᵢ − logΣⱼ e^xⱼ

损失函数

H(p, q) = −Σᵢ pᵢ log qᵢ

Binary Cross-Entropy

BCE(y, p) = −[y log p + (1−y) log(1−p)]

KL(p ∥ q) = Σᵢ pᵢ log(pᵢ / qᵢ)

MSE = (1/N) Σᵢ (yᵢ − ŷᵢ)²

MAE = (1/N) Σᵢ |yᵢ − ŷᵢ|

Huber(r) = ½r² if |r|<δ else δ(|r|−½δ)

Label Smoothing

y_smooth = (1−ε) · y + ε/K

注意力

Scaled Dot-Product Attention

Attention(Q,K,V) = softmax(QKᵀ/√d_k) V

Multi-Head Attention

MHA = Concat(head₁,…,headₕ) Wᴼ

M[i,j] = 1 if j ≤ i else 0

归一化

LN(x) = γ · (x − μ) / σ + β

RMSNorm(x) = γ · x / RMS(x)

BN(x) = γ · (x − μ_B) / σ_B + β

位置编码

正弦位置编码

PE(pos, 2i) = sin(pos / 10000^(2i/d))

(x_even, x_odd) → 旋转 (cosθ, sinθ)

scores[i,j] += −m · (i − j)

采样 / 解码

Temperature Scaling

p_T = softmax(logits / T)

只在概率最高的 k 个候选里采样

Top-p（Nucleus）

累积概率前 p 的最小集合内采样

保留 top-b 个候选序列同时扩展

优化器

m,v 滑动平均 → 自适应步长

Adam + 解耦权重衰减

学习率 Warmup

lr(t) = lr_max · min(1, t / t_warmup)

信息论

H(p) = −Σᵢ pᵢ log₂ pᵢ

PPL = exp(平均交叉熵)

I(X; Y) = Σ p(x,y) log[p(x,y)/(p(x)p(y))]

初始化

Xavier 初始化

W ~ U(−√(6/(n_in+n_out)), √(6/(n_in+n_out)))

Kaiming 初始化

W ~ N(0, 2/n_in)

指数 / 对数

三角函数

双曲函数

sinh(x) = (eˣ − e⁻ˣ)/2

cosh(x) = (eˣ + e⁻ˣ)/2

极值 / 范围

取整 / 取模

sign(x) ∈ {−1, 0, 1}

特殊函数

erf(x) = (2/√π) ∫₀ˣ e⁻ᵗ² dt

常数

π ≈ 3.14159265

e ≈ 2.71828183