第1章 绪论

信息论的形成与发展

产生背景

• 原始通信方式：烽火通信、信鸽报信等

技术准备

• 从原始方式到电气表征、传输
• 有线通信的发明：电报、电话、电码

• 无线通信的发明

  • 需要解决的问题：如何远距离传输

• 三极管的发明

  • 放大器放大电路

理论准备

• 核心问题：如何提高信道利用率
• 滤波器的发明：频分复用
• 采样定理的提出：时分复用
• 信息测度：确定性观点

体系产生

• 核心问题：远距离传输中的噪声与抗干扰问题
• 引入概率论，描述随机过程，研究随机信号
• 对噪声的研究：S.O.Rice于1944-1945年发表的Mathemetical Analysis of Random Noise
• 控制论观点：N.Wiener于1948年发表的Etrapolation, interpolation and smoothing of stationary times series
• 信息论的最终产生：Shannon于1948年发表的A Mathematical Theory of communication

技术发展

• 核心问题：信源编码与信道编码的具体构造方法及保密通信问题的研究
• 无失真信源编码：提高有效性
• 信道编码：提高可靠性
• 限失真信源编码
• 保密编码：提高安全性（DES, EES, AES）

未来发展

• 网络信息论的兴起

  • 从双路通信，到多元接入信道，到广播信道，再到中继信道（解决高并发、高容量问题）

• MIMO技术

  • 在不增加带宽的前提下，成倍地提高系统的容量和频谱利用率

• 协同通信

  • 在多用户通信环境中共享天线协同发送

• 物理层安全途径

  • 密码学、物理层安全途径

• 6G技术

  • 基于Shannon信息论及其扩展形式，探讨未来6G移动通信系统性能提升的潜能
    参考文献：[1]尤肖虎.Shannon信息论与未来6G技术潜能[J].中国科学:信息科学,2020,50(09):1377-1394.

• 深度学习应用

  • 基于信息论，对数据进行特征提取，应用于深度学习人工智能领域
    参考文献：[1]李春晓.基于信息论的有监督特征选择算法研究.2022.吉林大学,MA thesis.

信息论的研究内容

狭义信息论

• 主要研究信息测度、信道容量、信息率失真函数以及和他们相对应的香农三定理，信源编码，信道编码

广义信息论

• 研究所有与信息有关的领域，如心理学、遗传学、神经生理学、语言学、社会学等

一般信息论

• 主要研究信息传输和处理问题，是广义通信中客观存在的问题的理论提升

通信系统

模型框图

模块作用

• 信源

  • 向系统提供消息的人或机器，消息的“源头”

• 信道

  • 传送物理信号的设施，消息的“传递通道”

• 干扰源

  • 通信系统中干扰的集中反映，干扰的“源头”

• 密钥源

  • 产生密钥的“源头”

• 信宿

  • 接收消息的人或机器，消息的“归宿”

评价指标

• 可靠性
• 有效性
• 安全性

信息论的应用领域

生物学

• 生物信息收集、基因测序、药物设计等

医学

• 把生命系统看作接收和传递信息的调节控制系统

管理科学

• 物流与信息流

经济学

• 经济学作用于信息领域

  • 用经济学的观点研究信息的一般问题

• 信息论作用于经济学

  • 用信息科学的观点和方法重新认识和探讨经济活动的规律