1940s-至今 · 关于信息的度量、传输与处理的科学革命
信息论是研究信息的度量、传输、存储和处理的数学理论。它由克劳德·香农于 1948 年正式创立，核心概念包括信息熵、信道容量、编码定理等。信息论不仅奠定了现代通信的理论基础，还深刻影响了计算机科学、物理学、生物学、经济学等多个领域，是数字时代的基石理论之一。
1940s-1950s
1960s-1970s
1980s-2000s
2000s-至今
"信息论的基本概念是信息熵，它度量了信息的不确定性。通信的基本问题是在一点精确或近似地复现在另一点选择的消息。"
| 传统通信 | 信息论方法 | 优势 |
|---|---|---|
| 经验设计 | 数学理论指导 | 最优性能保证 |
| 模拟信号 | 数字化处理 | 抗干扰能力强 |
| 无编码保护 | 纠错编码 | 可靠传输 |
| 低效传输 | 数据压缩 | 提高传输效率 |
20 世纪 40 年代的特殊历史背景促进了信息论的诞生：
奈奎斯特研究电报传输速率，提出采样定理基础。
哈特利发表《信息传输》，首次尝试量化信息。
香农发表划时代论文，创立信息论学科。
香农发表第二篇论文，完善信息论理论体系。
霍夫曼发明最优前缀码，数据压缩重要突破。
伯利坎普等发展纠错编码理论。
信息论基本极限被深入研究和理解。
公钥密码学诞生，信息论应用于密码学。
本内特和布拉萨德提出量子密钥分发。
多用户信息论、网络编码理论发展。
量子通信、量子计算与信息论深度融合。
Claude Shannon (1916-2001)
核心贡献：信息论之父
美国数学家、电子工程师，1948 年发表《通信的数学理论》，创立信息论学科。他定义了信息熵，证明了信道编码定理，为数字通信奠定理论基础。被誉为"信息时代之父"，是 20 世纪最伟大的科学家之一。
Ralph Hartley (1888-1970)
核心贡献：信息量化先驱
美国物理学家，1928 年发表《信息传输》，首次尝试用对数度量信息量。他的工作为香农信息论奠定了基础，"哈特利"成为信息单位的名称。
David Huffman (1925-1999)
核心贡献：霍夫曼编码
美国计算机科学家，1951 年发明霍夫曼编码，这是最优前缀码算法。他的算法至今广泛应用于数据压缩，包括 ZIP、JPEG、MP3 等格式。
Richard Hamming (1915-1998)
核心贡献：纠错码理论
美国数学家，1950 年发明汉明码，开创纠错编码理论。他的工作使可靠数字通信成为可能，对计算机存储和通信影响深远。
Charles Bennett (1943-)
核心贡献：量子信息论
美国物理学家，1984 年与布拉萨德提出量子密钥分发协议，开创量子密码学。他是量子信息论的奠基人之一，推动了量子通信的发展。
Andrew Viterbi (1935-2025)
核心贡献：维特比算法
意大利裔美国工程师，1967 年发明维特比算法，用于卷积码解码。他的算法广泛应用于移动通信、卫星通信等领域，是高通公司联合创始人。
香农 (1948)
用熵度量信息的不确定性。核心公式 H(X)=-Σp(x)log₂p(x)。是信息论的基础概念，连接了信息论与热力学。
香农 (1948)
证明存在编码方式可以任意接近信道容量传输信息。是通信系统设计的理论基础。
香农 (1948)
证明信息可以被压缩到熵的极限。为数据压缩技术提供理论依据。
汉明等 (1950s)
通过添加冗余实现错误检测和纠正。包括汉明码、卷积码、LDPC 码等。
霍夫曼等 (1950s)
无损压缩和有损压缩算法。包括霍夫曼编码、LZ 系列、算术编码等。
埃尔盖等 (1980s)
研究多用户通信网络的信息传输。包括多址信道、广播信道、中继信道等。
本内特等 (1990s)
将信息论扩展到量子领域。包括量子熵、量子信道、量子纠错等。
香农等 (1949)
信息论在密码学中的应用。包括完善保密性、密钥理论、公钥密码等。
| 概念 | 公式 | 含义 | 应用 |
|---|---|---|---|
| 信息熵 | H(X)=-Σp(x)log₂p(x) | 度量不确定性 | 数据压缩极限 |
| 联合熵 | H(X,Y) | 两个变量的总不确定性 | 多源编码 |
| 条件熵 | H(Y|X) | 已知 X 后 Y 的不确定性 | 信道分析 |
| 互信息 | I(X;Y)=H(X)-H(X|Y) | 两个变量的共享信息 | 特征选择 |
| 信道容量 | C=max I(X;Y) | 信道最大传输速率 | 通信系统设计 |
信息论在 21 世纪具有特殊重要意义：
信息论的诞生是 20 世纪科学史上的重大事件。香农的信息论不仅创立了一门新学科，更重要的是为数字时代奠定了理论基础。从手机通信到互联网，从数据压缩到密码学，从人工智能到量子计算，信息论的思想无处不在。它是数字文明的基石，影响了人类社会的方方面面。
"信息论是数字时代的基石。从香农 1948 年的开创性工作到今天的人工智能、量子计算，信息论的思想一直在推动技术进步。21 世纪将是信息论继续深化和扩展的世纪。"