以 2 为底的对数。算「比特」单位的熵和信息量。
下面是教学用的最小实现，目的是让你看懂原理。生产中请用 PyTorch / TensorFlow 的高性能 op。
打开底部工具栏的「计算器」，把下面这个表达式贴进表达式输入框，拖动参数滑块看曲线变化：