恋上你看书

熵熵增逆熵（第2页）

这里的想法是，

比较不可能生的事情，

当它生了，会提供更多的信息！

由于一些其他的原因，

把信息（熵）定义为

概率分布的对数的相反数是有道理的。

事件的概率分布和每个事件的信息量

构成了一个随机变量，

这个随机变量的均值（即期望）

就是这个分布产生的信息量的平均值（即熵）。

熵的单位通常为比特，

但也用sh、nat、hart计量，

取决于定义用到对数的底。

采用概率分布的对数，

作为信息的量度的原因是其可加性。

例如，

投掷一次硬币提供了1sh的信息，

而掷m次就为m位。

更一般地，

你需要用1og2（n）位，

来表示一个可以取n个值的变量。

熵增

??熵增?是?热力学中的一个基本概念，

描述了一个系统从有序状态

向无序状态的自转变过程。?

熵增定律，

也称为热力学第二定律，

表明在一个封闭系统中，

热量总是从高温物体流向低温物体，

系统的总能量不变，

但可用能量减少，

最终导致系统达到最大混乱状态。

熵增的过程是不可逆的，

意味着系统会逐渐失去其组织结构和功能，