← 返回函数库
初始化
Kaiming 初始化
W ~ N(0, 2/n_in)
He 初始化。专为 ReLU 设计:考虑 ReLU 砍掉一半激活,把方差放大一倍。
Python 实现
下面是教学用的最小实现,目的是让你看懂原理。生产中请用 PyTorch / TensorFlow 的高性能 op。
python
He 初始化。专为 ReLU 设计:考虑 ReLU 砍掉一半激活,把方差放大一倍。
下面是教学用的最小实现,目的是让你看懂原理。生产中请用 PyTorch / TensorFlow 的高性能 op。