1948 年 - 至今 | 信息熵·信道容量·编码理论 | 从比特到数字世界的基石
| 问题 | 核心内容 | 解决方案 |
|---|---|---|
| 信息度量 | 如何量化信息的不确定性 | 信息熵（香农熵） |
| 数据压缩 | 如何用最少的比特表示信息 | 信源编码定理 |
| 可靠传输 | 如何在噪声信道中可靠传输 | 信道编码定理 |
| 信道容量 | 信道的最大传输速率是多少 | 香农公式 |
| 信息安全 | 如何保证通信的保密性 | 完美保密理论 |
电报、电话、无线电等通信技术的发展，需要理论指导提高传输效率
概率论和统计力学的发展，为信息量化提供数学工具
电子管、晶体管等电子器件发展，使复杂信号处理成为可能
战争对保密通信、雷达、火控的需求，推动信息理论研究
| 人物 | 时间 | 贡献 | 影响 |
|---|---|---|---|
| 哈里·奈奎斯特 | 1924 年 | 电报传输速率理论 | 奠定带宽与速率关系 |
| 拉尔夫·哈特利 | 1928 年 | 信息量对数度量 | 首次提出信息量化公式 |
| 安德烈·柯尔莫哥洛夫 | 1930 年代 | 概率论公理化 | 为信息论提供数学基础 |
| 阿兰·图灵 | 1936 年 | 图灵机、计算理论 | 奠定计算机科学基础 |
| 诺伯特·维纳 | 1940 年代 | 控制论、滤波理论 | 与信息论相互影响 |
定义：度量随机变量不确定性的量
公式：H(X) = -Σ p(x) log₂ p(x)
单位：比特 (bit)
意义：信息论最核心概念，量化信息
定义：信道能可靠传输的最大信息速率
公式：C = B log₂(1 + S/N)
意义：确定通信系统理论极限
目的：压缩数据，减少冗余
定理：信源编码定理
应用：ZIP、JPEG、MP3 等压缩技术
目的：添加冗余，纠正错误
定理：信道编码定理
应用：纠错码、通信协议
定义：两个变量之间的信息共享量
公式：I(X;Y) = H(X) - H(X|Y)
应用：特征选择、机器学习
噪声：干扰信号传输的因素
冗余：超出必要的信息量
关系：冗余可抗噪声
| 分支 | 时间 | 核心内容 | 代表人物 |
|---|---|---|---|
| 经典信息论 | 1948 年起 | 信源编码、信道编码 | 香农 |
| 算法信息论 | 1960 年代 | 柯尔莫哥洛夫复杂度 | 柯尔莫哥洛夫、蔡廷 |
| 量子信息论 | 1980 年代 | 量子比特、量子纠缠 | 贝内特、肖尔 |
| 网络信息论 | 1990 年代 | 多用户通信网络 | 埃尔·盖马尔等 |
| 生物信息论 | 1990 年代 | 生物系统中的信息 | 阿德里安等 |
| 信息几何 | 1980 年代 | 信息空间的几何结构 | 甘利俊一 |
哈里·奈奎斯特发表《影响电报速度的某些因素》，发现带宽与传输速率的关系，信息论思想萌芽
拉尔夫·哈特利发表《信息传输》，首次提出信息量的对数度量公式 H = n log s，是香农熵的前身
阿兰·图灵发表《论可计算数》，提出图灵机模型，奠定计算机科学和信息处理理论基础
克劳德·香农在《贝尔系统技术杂志》发表《通信的数学理论》，正式创立信息论，提出信息熵、信道容量等核心概念
香农发表《保密系统的通信理论》，奠定现代密码学的理论基础，提出完美保密概念
香农发表《英语的预测与熵》，研究自然语言的统计特性，开创语言信息论研究
人工智能会议召开，香农等参会，信息论与 AI 开始交叉融合
各种纠错码相继提出，包括汉明码、BCH 码等，信息论开始实际应用
柯尔莫哥洛夫、蔡廷等提出算法信息论，用计算复杂度定义信息，扩展信息论范畴
迪菲 - 赫尔曼密钥交换 (1976)、RSA 算法 (1977) 提出，公钥密码学诞生
贝内特等提出量子密码学、量子隐形传态，量子信息论成为研究热点
甘利俊一出版《微分几何与统计学》，创立信息几何学，用几何方法研究信息
多用户信息论、网络编码理论发展，适应互联网时代需求
彼得·肖尔提出量子质因数分解算法，展示量子计算的强大能力
信息论应用于神经科学、基因研究，理解生物系统中的信息处理
信息论概念 (熵、互信息) 广泛应用于机器学习，信息瓶颈理论等新发展
| 领域 | 应用 | 代表成果 |
|---|---|---|
| 通信工程 | 数字通信、移动通信 | 4G/5G、WiFi、卫星通信 |
| 计算机科学 | 数据压缩、存储 | ZIP、JPEG、MP3、视频编码 |
| 密码学 | 加密、数字签名 | RSA、AES、区块链 |
| 人工智能 | 机器学习、深度学习 | 交叉熵损失、信息瓶颈 |
| 物理学 | 统计力学、量子物理 | 麦克斯韦妖、黑洞信息悖论 |
| 生物学 | 基因信息、神经编码 | DNA 测序、脑机接口 |
| 经济学 | 信息经济学 | 不对称信息理论 (诺贝尔奖) |
| 语言学 | 自然语言处理 | 语言模型、机器翻译 |
信息与物质、能量并列为宇宙三大基本量，"信息即物理"成为新范式
信息论是互联网、移动通信、数字媒体的理论基础，塑造了现代社会
信息处理范式成为理解心智和大脑的核心框架
信息论概念和方法被广泛应用于各学科，成为通用科学语言