← 返回函数库
信息论
香农熵
H(p) = −Σᵢ pᵢ log₂ pᵢ
一个分布的不确定性。p 均匀时熵最大，p 极尖时熵接近 0。语言模型评估 / 信息论的基础。
Python 实现
下面是教学用的最小实现，目的是让你看懂原理。生产中请用 PyTorch / TensorFlow 的高性能 op。
python
在计算器里试试
打开底部工具栏的「计算器」，把下面这个表达式贴进表达式输入框，拖动参数滑块看曲线变化：
-x * log2(x) - (1-x) * log2(1-x)
二项熵 H(p)