扫码获取 VIP 码
添加管理员微信获取 VIP 码
1948年，克劳德·香农在贝尔系统技术杂志发表了论文《通信的数学理论》，标志着信息论作为一门独立学科的诞生。香农的核心贡献在于回答了一个看似简单实则深刻的问题：信息能否被量化度量？在香农之前，信息是一个模糊的日常概念，人们知道信息有多有少，但无法精确说出"这条消息包含多少信息量"。香农创造性地提出用概率来定量描述信息，将信息量定义为不确定性的消除程度——事件发生概率越低，它发生时带来的信息量越大。
这一思想可以用一个简单的例子来理解：如果有人告诉你"明天太阳会升起"，这条消息的信息量几乎为零，因为它的发生概率是1，毫无不确定性；但如果有人告诉你"明天会地震"，这条消息的信息量极大，因为地震的发生概率极低，不确定性极高。香农将这种直觉形式化为数学公式，由此衍生出信息熵、信道容量、信源编码等一系列核心概念，奠定了现代通信技术、数据压缩和密码学的理论基础。
在系统规划与管理师考试中，信息论基础是近年来的高频考点。2023年上半年真题中，第1题直接考察信息熵公式中各变量的含义，第2题考察信息传输模型的基本组成。这些题目虽然分值不高，但几乎每年必出，属于"送分题"类型——只要概念清晰，不可能丢分。但恰恰是这种"送分题"，很多考生因为轻视而失分，原因在于信息论属于交叉学科知识，不是IT管理的传统领域，备考时容易被忽略。
香农信息熵公式表述为：H(X)等于负的求和，其中pi表示事件X出现第i种状态的概率，对数通常以2为底。整个公式的计算结果以比特为单位。在2023年真题中，题目直接问公式中H(X)表示什么，pi表示什么，答案是H(X)表示事件X的信息熵，pi是事件出现第i种状态的概率。
理解这个公式需要把握三个要点。第一，信息熵是对整体不确定性的度量，不是对单次事件信息量的度量。它描述的是信源（信息产生的源头）的平均信息量。第二，信息熵的值取决于各状态的概率分布。当所有状态等概率分布时，信息熵最大，不确定性最高；当某个状态概率接近1而其他状态概率接近0时，信息熵趋近于0，不确定性极低。第三，信息熵的取值范围在0到log2(n)之间，其中n是状态总数。一个有n种等概率状态的信源，其信息熵恰好等于log2(n)比特。
以抛硬币为例，硬币有两面，正反面概率各为0.5。代入公式计算，信息熵为1比特。这意味着每次抛硬币的结果携带1比特的信息量。如果硬币有偏差，正面概率0.9、反面概率0.1，信息熵约为0.469比特——不确定性降低了，因为我们对结果有更强的预期。极端情况下，如果硬币两面都是正面，概率为1和0，信息熵为0——毫无不确定性，每次结果已知，没有任何信息量。
再以掷骰子为例，六面等概率骰子的信息熵为log2(6)约等于2.585比特。如果骰子有偏差，某一面概率偏高，信息熵会下降。这个计算在考试中可能以数值题形式出现，考生需要记住等概率分布时信息熵等于log2(n)，有偏差时信息熵小于这个值。
还需要理解信息量的概念。单个事件的信息量定义为该事件概率的负对数（以2为底），即I(x)等于负log2(p)。概率越低的事件，其发生时带来的信息量越大。例如"明天太阳升起"的概率为1，信息量为0比特；"某号码中奖"概率为百万分之一，信息量约为20比特。信息熵就是所有可能事件信息量的概率加权平均。当所有事件等概率时，信息量相等，加权平均等于单个事件的信息量；当概率不等时，高频事件信息量低但权重大，低频事件信息量高但权重小，最终的信息熵小于等概率时的最大值。这个推导过程帮助理解信息熵公式的内在逻辑。
香农不仅提出了信息熵，还构建了信息传输的通用模型。这个模型由五个核心要素组成：信源、编码器、信道、解码器和信宿。信源产生信息，编码器将信息转换为适合传输的信号形式，信道是信号传输的物理通道，解码器将接收到的信号还原为信息，信宿是信息的接收方。此外，信道中不可避免地存在噪声干扰，使得接收信号与发送信号之间存在差异。整个模型的运行过程就是信源发出的信息经过编码器转换后进入信道，在信道中受到噪声影响，接收端解码器从受干扰的信号中恢复原始信息，最终送达信宿。
在2023年真题第2题中，题目问"什么负责信息的向外传播，什么负责信息的接收，什么负责信息的传输"。答案是信源负责信息的向外传播，信宿负责信息的接收，信道负责信息的传输。这个对应关系看似简单，但考生需要注意区分信源和编码器、信宿和解码器的角色。信源是信息的"源头"，编码器是信号变换的"加工厂"，两者功能不同但在物理实现中可能集成在同一设备内。同样，信宿是信息的"终点"，解码器是信号还原的"翻译机"。
在实际IT系统中，信息传输模型的每个环节都有对应的实体。比如电子邮件系统中，发送方邮箱客户端是信源，SMTP协议将邮件编码为网络数据包是编码器，互联网骨干网络是信道，接收方POP3或IMAP协议解码数据是解码器，接收方邮箱界面是信宿。又如企业IT服务台流程中，用户提交工单是信源，工单系统的分类和格式化处理是编码器，内部流转系统是信道，工程师端的工单展示是解码器，处理工程师是信宿。将抽象模型映射到具体系统，有助于深刻理解信息传输模型的普适价值。
香农不仅定义了信息传输的基本架构，还推导出了信道容量的理论上限。香农定理指出，在带宽为B赫兹、信噪比为S/N的信道中，最大无差错传输速率C等于B乘以log2(1+S/N)。这个公式告诉我们在给定信道条件下，信息传输速率有一个物理极限，不可能通过任何编码方式无限提升。
香农定理在通信工程中有巨大的指导意义。以4G移动通信为例，其信道带宽约为20MHz，在良好的信噪比条件下理论峰值速率约为100Mbps量级。5G通过增加带宽（毫米波频段）和提升信噪比（大规模MIMO波束赋形）两个维度同时发力，将峰值速率推升到10Gbps以上。这正是香农定理指出的两条提升路径：增大带宽B或提升信噪比S/N。理解这个公式，就理解了现代通信技术演进的底层逻辑。
香农定理还有一个常被忽略但意义重大的推论：当传输速率超过信道容量时，不可能实现无差错传输，无论用什么编码方案。这意味着信道容量不是工程限制而是物理限制。在系统规划中，如果评估发现业务带宽需求超过了物理信道的香农容量，就必须升级信道（增加带宽或改善信噪比），不能指望通过编码或协议优化来突破这个极限。这种物理规律约束下的规划思维，是系统规划与管理师需要具备的基本素养。
信源编码的目的是在保证信息不失真（或可接受失真）的前提下，尽可能压缩数据量，提高传输效率。信源编码的核心原理是利用信源产生数据的统计冗余——如果某些符号出现概率高、某些低，就可以用短编码表示高频符号、长编码表示低频符号，从而降低平均编码长度。哈夫曼编码就是这种思想的经典实现，它在软考中也经常出现。
信源编码的极限就是信息熵。任何无损信源编码的平均码长不可能小于信源的信息熵，这是香农第一定理（信源编码定理）的核心结论。如果一个信源的信息熵为2.585比特，那么每个符号至少需要2.585比特来编码，无论用什么编码方案都无法更短。这个极限决定了数据压缩的理论下限，所有的压缩算法都在逼近这个极限。
在实际工程中，大多数自然语言文本和多媒体数据都存在大量统计冗余，因此信源编码可以显著减少数据量。以英文文本为例，英文字母有26个，如果等概率分布，每个字母需要log2(26)约等于4.7比特。但实际上英文字母频率分布极不均匀——E的频率约12%，Z的频率约0.07%——因此英文文本的信息熵大约只有1到1.5比特每字母。这意味着英文文本理论上可以压缩到原始ASCII编码（8比特每字母）的五分之一左右。实际压缩软件（如gzip
本篇完！