← 返回函数库
信息论
互信息
I(X; Y) = Σ p(x,y) log[p(x,y)/(p(x)p(y))]
两个变量"共享"多少信息。表征学习、信息瓶颈、对比学习都用它。
Python 实现
下面是教学用的最小实现，目的是让你看懂原理。生产中请用 PyTorch / TensorFlow 的高性能 op。
python
两个变量"共享"多少信息。表征学习、信息瓶颈、对比学习都用它。
下面是教学用的最小实现，目的是让你看懂原理。生产中请用 PyTorch / TensorFlow 的高性能 op。