mutualinformation(互信息(Mutual Information))

朋友们，mutualinformation和互信息(Mutual Information)是当今热门话题，但是它们的内涵和影响力可能会让人感到困惑。在本篇文章中，我将为你们揭示它们的本质和重要性，希望能够为你们带来新的认识。

互信息(Mutual Information)

互信息（Mutual Information）- gatherstars-博客园(cnblogs.com)

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y)和分解的边缘分布的乘积 p(X)p(Y)的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息是点间互信息（PMI）的期望值。互信息最常用的单位是bit。

信息论基础学习笔记（1）-知乎(zhihu.com)

互信息(mutual information)是信息论中最重要的概念之一。它的对象是两个随机变量。互信息就是指这两个随机变量包括对方的信息的量。举个例子：X指性别，男生还是女生；Y指头发长度，长头发还是短头发。这一个有一个人，Ta是长头发，那Ta是女生的概率就更大。同理，Ta是男生，那么Ta拥有短头发的概率就更大。可以看出，头发长短暗含了一定的性别信息。那么暗含的信息量有多少呢？就是互信息。我们可以如下定义互信息：

互信息(Mutual Information)浅尝辄止（一）：基础概念-知乎(zhihu.com)

互信息是信息论中用以评价两个随机变量之间的依赖程度的一个度量。

举个例子：x=今天下雨与y=今天阴天，显然在已知y的情况下,发生x的概率会更大

其中是观察到的变量分布，q是我们找到的一个尽量分布。是一个非对称的度量，这里我们希望对于较大概率出现的时，近似值和实际分布的信息量差异应该有个较大权重。

Mutual Information互信息

互信息(Mutual Information)是信息论中的概念，用来衡量两个随机变量之间的相互依赖程度。对于Mutual Information的介绍会用到KL散度(Kullback–Leibler divergence)的知识，可以参考 https://www.jianshu.com/p/00254c4d0931。

互信息可以定义为两个随机变量的联合分布与边缘分布的乘积的KL散度。

根据上述定义，不难发现，如果随机变量和相互独立，即，则；

1，由KL Divergence的性质可以直接得出

2

Pf：

其中表示熵，同理可以证明

通过性质2，我们可以从另一个角度认识互信息。比如可以视为已知之后，的不确定性减少的程度；同理，可以视为已知之后，的不确定性减少的程度.

这里我们直接使用归一化之后的互信息，经过归一化之后，互信息的取值范围为[0,1]

数据分布如下所示：

这里我们将pcc的结果和nmi的结果进行对比，对于如上数据，pcc的结果为0.00083，完全没有相关性。而nmi的结果为1，表明x和y有很强的依赖关系。

https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF

非常感谢您的阅读！我们希望本文对于解决您关于mutualinformation和互信息(Mutual Information)的问题提供了一些有价值的信息。如果您还有其他疑问，我们将很乐意为您提供进一步的帮助。