——从通信技术, 物理、和投资的关系谈起

上篇回顾：

一、从牛顿投资说起

二、玻尔兹曼熵

上篇摘要：“我可以计算出天体运行的轨道，但不能描述人们的混乱和疯狂”，在遭遇一次严重的投资泡沫后，牛顿有此番感慨。他体会到，要描写人们的疯狂混乱，需要经典动力学以外的概念。第一个需要的概念就是：熵。

三、现代通信技术和香农熵

第二次世界大战中，由于战争的需要，美国军方大力发展现代通信技术。战后，他们仍然大力支持通信技术的研究。先后在贝尔实验室，麻省理工学院工作、学习的香农(Claude Shannon，1916～2001)在20世纪40年代末，做出了开创性的工作，奠定了现代通信技术的理论基础。香农对通信技术的贡献是多方面的和原创性的，这里简单介绍几个贡献。

一个通信系统可以简单地理解为，有一个发送端、一个接收端、一个连接发送端和接收端的通路，通常称为信道。通常遇到的实际通信问题是，发送端不断地发送很多信号，接收端接收到很多信号，由于信道常常有噪音，信号在信道中传输常常有损失和扭曲，导致接收端接收到的信号和发送端发的信号很不一样。通信技术研究的内容包括如何从接收到的信号中恢复发送端发出的信号，以及给定一个信道，如何能通过这个信道在一定时间内传输尽可能多的信息。

举例来说，大家上网常用到的宽带DSL服务，它有两端：一端是位于用户端的DSL Modem，俗称“DSL猫”；另一端是DSLAM，归各种电信运营商管理。连接“DSL猫”和DSLAM的电话线就是信道。宽带上网的网速就是指DSL系统的传输速度。

再举一个例子，大家都用到的无线业务，手机是一端，基站是另一端。连接手机和基站的空间就是信道（追根求源的话，这个信道的特性就是电磁波在空气以及介质，包括墙壁中的传输特性，应该求解麦克斯韦方程在复杂介质和边界条件的解，同时要考虑别的干扰。如一个手机信号对邻近的手机，一个基站信号对临近的基站就是干扰。但在实际应用中，信道的特性常常是测量出来的，而不是通过求解麦克斯韦方程）。

通常，如果有可能，人们都是想要更高的传输速率，无论对于有线还是无线传输都是如此。香农对通信技术的主要贡献是给出了一个通信系统的传输速率的上限

这里，B代表频段的宽度，S代表信号强度，N代表噪音强度，S/N代表信号噪音比。

一个通信系统的传输速率的上限是由通信频宽和信噪比决定的。这个公式对于通信技术是很基本的。通信技术经常研究的一个问题，就是如何提高系统的性能，使它的传输效率尽可能地逼近理论上限（2）。

举例来说，在DSL技术之前，电话线上的数据传输技术通常是音频段的modem技术（voice band modem）。这种技术只用一个很窄的频段，通常只有4千赫兹。最高传输速率只能达到56千比特/秒。早期的DSL技术，ADSL1用了1.1兆赫兹的频段，把实际最高传输速率提高到几兆比特/秒。ADSL2+用了2.2兆赫兹的频段，把实际最高传输速率提高到24兆比特/秒。ADSL的后续技术，VDSL2+用了17兆赫兹的频宽，可以提供30~100兆比特/秒（用户能够达到的实际传输速率还取决于很多因素，比如DSL modem 和 DSLAM的距离）。

从上面来看，好像通过拓展频宽来提高传输速率是很容易的，而实际实现上远没有这么简单。早期DSL技术，单是斯坦福大学的John Cioffi教授和他的学生就投入了近十年时间的研究。从早期DSL发展到今天的VDSL2+，用了差不多二十年的时间。

提高通信速率的另一个方面是提高信噪比。通常信号强度是有限制的，不能无限制地提高。这是由于，一方面，高的信号强度会给“周围邻居”造成更大的信号干扰，这在无线通信和许多有线通信应用中都是需要控制的；另一方面，高的信号强度意味着更高的能源消耗，在当前世界节能减排的大趋势下，这也是需要避免的。对于手机等移动通信设备，高的信号强度意味着更短的电池工作时间。因此，在给定信号强度时，人们通过各种技术降低噪音，来提高通信速率。还是以DSL技术为例，VDSL2+之后，为了提高速率，一种基于协同处理的降低噪音的技术正在被研究，并被融合到相关的国际标准。用了这种最新降低噪音技术的DSL技术称为“矢量DSL”(VectorDSL)。由ASSIA等公司推动的这项技术，会进一步提高通过电话线的数据传输速率，使之可以达到数百兆比特/秒。这与常用的光纤接入技术性能上相似，但成本却只有光纤接入解决方案的几分之一或更低。

这种数据传输速率对频段和信噪比的依赖，一样适用于无线通信。不同的无线通信技术，常常使用不同的频段，以及有特定的信噪比。对于无线通信，频段是稀缺资源，不同的运营商，不同的技术常常为一个频段的使用权发生争吵。

说了这些应用，就是为了说明香农定理对于通信技术的贡献是多么的重要。这样一个对通信技术极为根本的定理，香农是通过研究香农熵得到的。举一个例子来说明香农熵。一个记者到现场看世界杯决赛， 西班牙队对荷兰队。为了能尽快在比赛结束时把消息发出去，这位记者比赛之前提前写好了两条短消息：“西班牙队赢了”，“西班牙队输了”，并准备在比赛结束时从中选择一个发出去。香农研究了这样一个问题，这个记者将要发出去的消息包含的信息量是多少？比赛之前，由于不知道哪一个结果会发生，我们不知道哪一条消息会被发出去，只能假设两个结果都有一定的概率发生，并来研究将要发出去的消息包含的平均信息量是多少。

我们把这两个结果发生概率记为：p₀，p₁，p₀＋p₁＝1。对这个例子，香农发现可以用如下定义的H来描写每条消息包含的平均信息量，

这个H就是香农熵（在我国大部分热学教科书上香农熵写为信息熵）。

对于一般的一个通信系统，需要发送的消息(symbol)有多个，假设每个消息可能出现的概率是pi，那么它的香农熵是：

如果对比公式(1)和(4)，就会发现香农熵和玻尔兹曼熵的确很相似。这种相似不仅显示在数学表达式上，它们的统计意义也是非常相似的。一个系统越混乱，它的玻尔兹曼熵就越大；一个系统越混乱，它包含的信息量越大，它的香农熵就越大（从这个意义上理解，热力学第二定理——熵增原理，可以理解为信息量增加原理）。

为什么一个系统越混乱，它包含的信息量越大？这可能有些与直觉相抵触。我们举一个例子来解释它。有一张方格纸，它可以有两种状态。一种是全部格子都涂成同一种颜色，比如蓝色。另外一种状态是每个格子的颜色都是完全任意随机的。那么从感官上，第二种状态比第一种状态“更混乱”。哪种状态包含的信息量更多呢？第一种状态包含的信息量是很少的，因为为了完整地描述它的状态，我们只需要说全部格子都是蓝色。第二种状态，为了完整地描述它的状态，我们需要给出每个格子的颜色。这个例子又是现代数字压缩技术的理论基础，被广泛地应用到存储、图形和图像的压缩传输。一个系统可以被压缩的最大程度取决于它所包含的信息量。

香农不仅仅导出了一个通信系统的传输速率上限公式(2)，还定义了我们通常说的信息量的单位“比特(bit)”。由于现代通信技术和计算机的广泛应用，比特已经进入人们的日常生活用语。也许你已无意识地时常在用这个词了。比如，你会说：“我用的宽带上网ADSL的速度是24兆的，我的3G无线上网的速度是1.5兆的，或我买了一个的20G的移动硬盘”。这里，24兆就是指24´10⁶比特/秒，1.5兆就是指1.5´10⁶比特/秒，20G就是说移动硬盘的存储容量是20´10⁹字节(byte)，一个字节有8个比特。这个移动硬盘存储容量是20´10⁹´8＝160´10⁹比特。或许你已经注意到了，上面的例子中比特既被作为通信传输的单位，又被作为计算机存储的单位。实际上，正是它搭建了沟通现代通信技术和计算机技术的桥梁。

那么，一个比特是如何定义的？在我们举的例子中，如果西班牙队赢和输的概率都一样，p₀＝p₁＝1/2，代入公式(3)就会算出：H＝1比特。也就是说，这种情况下，这个记者将要发出去的消息包含的信息量就是一个比特。回到物理学的例子：对于一个真空中的自由电子，它只有两个微观态，自旋向上或向下，这两个微观态发生的概率都是一样的，p₀＝p₁＝1/2。那么这个系统的香农熵是H＝1比特，玻尔兹曼熵是S＝kln2=0.9569939´10^-23焦耳/开尔文。由于香农熵和玻尔兹曼熵都是关于系统混乱的描写，他们是一样的，所以

(5)式是很有意思的。因为，出现在左边是信息量的单位，出现在右边是能量焦耳和温度开尔文的单位。这说明了信息和能量温度是可以转换的。如何理解这种转换呢？有待进一步地研究。

香农除了对通信技术做出了巨大贡献以外，他对于股票投资也很有兴趣。

未完待续　　

下一章预告《香农和股票投资》