← 返回函数库
激活函数
ELU
ELU(x) = x if x>0 else α(eˣ-1)
Exponential Linear Unit。负区间用 α(eˣ−1) 平滑趋近 -α，比 ReLU 更接近零均值，比 GELU 计算便宜。
参数
| 名称 | 类型 | 说明 |
|---|---|---|
| x | float | tensor | 输入 |
| α | float | 负区间饱和值（常用 1.0） |
Python 实现
下面是教学用的最小实现，目的是让你看懂原理。生产中请用 PyTorch / TensorFlow 的高性能 op。
python
在计算器里试试
打开底部工具栏的「计算器」，把下面这个表达式贴进表达式输入框，拖动参数滑块看曲线变化：
x > 0 ? x : (exp(x) - 1)
ELU (α=1)