WBY's Blog - Informatics
type: channel
link: https://wbyblog.cn/category/Informatics/
items: 信息论基础 | 信道编码
items: 信息论基础 | 信源编码
items: 信息论基础 | 信息率失真函数
items: 信息论基础 | 信道及信道容量
items: 信息论基础 | 信源分类与数学模型
items: 信息论基础 | 绪论

信息论基础 | 信道编码
type: item
date: 2022-12-16T22:32:00+08:00
description: 第6章 信道编码噪声信道中的编码前言平均互信息（信息传输率）为$I(X;Y)=H(X)-H(X|Y)$信道容量为$C=\max I(X;Y)$通过调整信源的概率分布，使得信息传输率尽量接近信道容量，也就是让信息传输率尽可能大，这一过程称为信源和信道匹配信源编码的目的：增加信源熵$H(X)$，理解为信源发出的所有符号中每个符号带有的平均信息量，实现符号匹配，压缩冗余信道编码的目的：减少损失熵$H(X|Y)$，提高传输信号的抗干扰能力避免少量差错信号对信息内容的影响：使用纠错编码（纠错、检错）信道编码的研究对象：信息序列（即码元间彼此无关且等概率出现）基本思路：在传输的信息码中按照一定规律产生一些附加码元，经过信道传输，在传输中若码字出现错误，接收端则利用编码规律发现码的内在相关性被破坏，从而按照一定的译码规则自动纠正或发现错误，降低误码率基本方法前向纠错(FEC)纠错过程在接收端独立进行，没有反馈，信息一直朝着前面的方向传播，因此叫前向译码设备复杂，适用于实时性高容错能力强的场合反馈重发(ARQ)在接收端判断收到的序列是否符合编码规则，如果不符合就通知重发如循环冗余校验码(CRC)混合纠错(HEC)结合前向纠错和反馈重发的纠错方法，兼有检错和纠错的能力检错后在能力范围内直接纠错，如果超过该范围就通知重发差错描述与控制纠错码的传送形式是有形的，承载信息比特的基本单位为码元或符号，大的符号畸变会引起符号差错，使得其携带的信息比特也发生差错信号差错和信息差错分别用差错符号和差错比特来描述，有区别也有联系差错符号：符号出错的概率（误码概率），即信号差错概率差错比特：误比特率，信息差错概率对于二进制系统来说，因为一个符号承载的信息量就是$\log_22=1$，因此符号差错数值上等于比特差错，但对于多进制系统而言，一个符号差错对应的比特差错根据不同的编码方式而有所区别反射二进制码（格雷码/循环二进制码）编码特点：任意两个相邻代码中只有一位是不同的，且最大编码和最小编码间也仅有一位不同举例（三位格雷码）：$000、001、011、010、110、111、101、100$转换方法：递归法、异或转换、卡诺图等优点：差错比特小，对于一般高斯信道来说，最可能的符号差错是畸变一个量级，此时格雷码明显优于自然二进制码差错图样(Error Pattern)定义：差错图样=发码-收码$$ E=C-R $$举例：8进制码，发$C=(0,2,5,4,7,5,2)$，收$R=(0,1,5,4,7,5,4)$，则$E=C-R=(0,1,0,0,0,0,6)$特别地，对于二进制码来说，若发$C=(0,1,1,0,1,0,1)$，收$R=(0,1,0,0,1,0,1)$，则$E=C-R=(0,0,1,0,0,0,0)$，可以等效为模2相加，此时差错图样中的1既表示符号差错，又表示比特差错差错的个数称为汉明距离(Hamming Distance)从通信角度来看，收码是可测得的一直量，如果要从收码获知发码，那就要设法找到差错图样，就能通过反变换得到发码禁用码组和许用码组将信源发出的信息序列按照一定的编码规则，在n重矢量中编出的一组可用码字称为许用码组，剩下的矢量称为禁用码组在信道编码过程中应当在许用码组中尽量寻找差异化最大的码组，以降低误码率信道编码的分类类别检错码：能否发现错误的码纠错码：能够发现并纠正错误的码纠删码：能够纠正删除错误的码纠错码线性与非线性码区别在于原始信息元是否为线性组合，乘法、非运算等为非线性运算，出现这些运算的组合式即为非线性组合非分组码举例（出现了乘法运算）：输出码字为$(C_3,C_2,C_1,C_0)$时，按规则$C1=C_2+C_2C_3;C_0=1+C_2C_3$编出得码为非分组码分组码举例（都是线性运算）：输出码字为$(C_3,C_2,C_1,C_0)$时，按规则$C_0=m_1;C_1=m_2;C_2=m_1\oplus m_2;C_3=m_1$编出的码为分组码卷积码与分组码区别码字的关联性仅存在于码字内部还是码字和码字之间，只有码字内部有关联而码字间无关联的称卷积码，码字间存在关联性的为分组码码字是否有记忆，在编码时是否要使用寄存器移位循环码定义：将码字内部的码元依次循环摆放组成的编码，如将码字的第一位移到最后一位变成一个新的码字举例：$\{011101,111010,110101,101011,010111,101110\}$系统码定义：码字的前$k$位与信息序列相同，后面$n-k$位校验元则根据前面的信息元得到信道译码和译码规则信道传输模式分析发端具有$2^k$个许用码组，接收端的矢量空间中共有$2^n$个码组，其中包含$2^k$个许用码组和$2^n-2^k$个禁用码组以发端发出第$C_i$个码字为例正确传输：收端也正确接收到$C…

信息论基础 | 信源编码
type: item
date: 2022-12-13T14:40:00+08:00
description: 第5章 信源编码前言编码方式信源编码信道编码信源编码原因由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度目的通过信源编码减少冗余，提高编码效率，提高通信的有效性方法解除相关性概率均匀化定理无失真编码定理（针对离散信源）限失真编码定理（针对连续信源）编码的概念定义分组码将信源消息分成若干组，用符号序列$\mathbf {x_i}=(x_{i_1},x_{i_2},\cdots,x_{i_l},\cdots,x_{i_L})$表示，序列中每个符号都取自于符号集$A$，$x_{i_L}\in A=\{a_1,a_2,\cdots,a_i,\cdots,a_n\}$，每个$x_i$依照固定的码表映射成一个码字$y_i$按照码表映射编码的码称为分组码，有时也叫做块码，只有分组码才有对应的码表，非分组码不存在码表码字每个码符号序列称为码字，如编码后的${0001,0010,1100}$$D$元码由$D$个符号组成的码字集合，如${0,1}$对应二源码，${0,1,2}$对应三元码理解根据编码方式的不同，同一个信源符号可以有不同的码符号序列将信源符号变换成由码元符号组成的码符号序列的过程就是信源编码的过程分类按码字长度分定长码：码中所有码字的长度都相同变长码：码中的码字长短不一按符号码字对应关系分非奇异码：信源符号和码字一一对应，没有重复，不存在多对一的情况奇异码：多个信源符号对应同一个码字按可译程度分唯一可译码：对于任意长的码元序列，只能被唯一地分割成一个个的码字非唯一可译码：对于任意长的码元序列，无法被唯一地进行分割，会存在歧义，如$1000010$是由$(10,0,01,00)$产生的码流，在译码时会产生多种不同的结果，出现歧义按照可译时效分非即时码：唯一可译码中如果接收端接收到一个完整的码字后不能及时译码，必须等下一个码字开始接收时才能判断是否可以译码，这种情况下某一码字可以是其他码字的前缀即时码（非延长码）：唯一可译码中如果接收端接收到一个完整的码字后可以立刻译码，无需等待后面的码字接收，这种情况下要求任意码字都不能是其他码字的前缀部分，也叫做异前缀码码树形状倒立的树，树根在上，树枝在下概念树枝：码树中的线段，表示编码路径，用码字符号标注节点：结点，树枝的端点树根：最顶端的节点，编码的起始段，码字起点$r$级节点：从树根开始经过第$r$个分支节点所到达的节点$m$进码树：一个节点最多能伸出$m$个树枝的码树，表示$m$进制终端节点：码树的最底层节点，不再伸出树枝，表示编码结束节数：码长满树：每个分支都延伸到最后一级节点的码树，共有$m$的$r$次方个等长码码树与编码的关系$m$进码树表示对应的编码为$m$进制编码码字为树根到每个终端节点树枝的标号序列，是即时码$r$级终端符号对应的一个码字最多有$r$个码字符号组成$n$个终端节点则对应n个不同的码字讨论唯一可译码存在的充要条件：各码字的长度$K_i$符合克劳夫特不等式，式中$m$为进制数，$n$为信源符号数$$ \sum_{i=1}^nm^{-K_i}\leqslant1 $$以上判断方式并没有涉及具体的编码结果，所以只能判断某种编码方式是否存在唯一可译码，并不能给出具体的结果，也不是所有满足上述编码方式的编码结果都是唯一可译码无失真信源编码定理编码的数学模型拟进行编码的信源符号序列长度为$L\geqslant 1$，以传输$11$个符号$information$为例，则可将信源序列描述为$$ \mathbf X=(i,n,f,o,r,m,a,t,i,o,n),X_l\in\{a,b,\cdots,z\},L=11 $$码表为26个字母$a,b,c,\cdots,z$依次编码成$00000, 00001,\cdots,11001$，变换成由$K_L$个符号组成的码序列，编码后的输出序列可写作$$ \mathbf Y=(01000,01101,00101,01110,10001,01100,00000,10011,01000,01110,01101),Y_k\in\{0,1\} $$编码变换的基本要求是能够无差错地从$Y$恢复到$X$，能够正确地进行反变换（译码），同时希望传送$Y$的信息率最小，因此延伸出几个概念编码输出序列含有的最大信息量为（$K_L$长的输出符号序列，含有$K_L$个码元，二进制情况下每个码元所携带的信息量为$\log2$）$$ K_L\log_2m=55\log_22 $$而该输出码字表示了本身长为$L=11$的信源发出序列（即原始信源序列里有$11$个符号），则每发送一个信源符号所需要的信息率平均值为（$m$为进制数，不同进制下要对应将$m$的值做出改变）$$ \begin {align} \overline{K}&=\frac {K_L} L …

信息论基础 | 信息率失真函数
type: item
date: 2022-12-05T19:02:00+08:00
description: 第4章 信息率失真函数前言对于失真的合理与可行性分析实际信息处理过程允许一定程度的失真连续信源编码必定存在失真一定范围内的失真可以大幅提高编码效率本章的研究对象允许一定失真的离散信源编码和连续信源编码失真函数定义设某一信源$X$，输出样值为$x_i$，经过有失真的信源编码器，输出$Y$，样值为$y_j$，满足以下关系$$ x_i\in \{a_1,\cdots,a_n\},y_j\in \{b_1,\cdots,b_m\} $$如果$x_i$=$y_j$，则认为没有失真，反之认为产生失真失真函数表示为$d(x_i,y_i)$，是用来表示失真的大小的量，能衡量用$y_i$代替$x_i$所引起的失真程度，一般的失真函数可定义为$$ d(x_i,y_j)=\left \{ \begin {matrix} 0,&x_i=y_j\\ \alpha,&\alpha>0,x_i\neq y_j \end {matrix} \right. $$如果把所有的失真函数值排列起来，则可以用矩阵表示，构成失真矩阵$$ \mathbf d=\begin {bmatrix} d(a_1,b_1) & d(a_1,b_2) & \cdots & d(a_1,b_m)\\ d(a_2,b_1) & d(a_2,b_2) & \cdots & d(a_2,b_m)\\ \vdots & \vdots & \ddots & \vdots\\ d(a_n,b_1) & d(a_n,b_2) & \cdots & d(a_n,b_m)\\ \end {bmatrix} $$常见失真函数均方失真$$ d(x_i,y_j)=(x_i-y_j)^2 $$绝对失真$$ d(x_i,y_j)=|x_i-y_j| $$相对失真$$ d(x_i,y_j)=\frac {|x_i-y_j|} {|x_i|} $$误码失真$$ d(x_i,y_j)=\delta(x_i,y_j)=\left \{ \begin {matrix} 0,&x_i=y_j\\ 1,&\mathrm others \end {matrix} \right. $$推广将一般情况推广到序列编码情况，离散信源输出$L$长符号序列，经过信源编码后输出$L$长编码序列$$ \begin {matrix} \mathbf X=(X_1,X_2,\cdots,X_L),\mathbf x_i=(x_{i_1},x_{i_2},\cdots,x_{i_l},\cdots,x_{i_L})\\ \mathbf Y=(Y_1,Y_2,\cdots,Y_L),\mathbf y_j=(y_{i_1},y_{i_2},\cdots,y_{i_l},\cdots,y_{i_L}) \end {matrix} $$此时的失真函数可定义为$$ d_L(\mathbf x_i,\mathbf y_i)=\frac 1 L \sum_{l=1}^Ld(x_{i_l},y_{j_l}) $$平均失真定义由于$x_i$,$y_j$都是随机变量，因此失真函数也是一个随机变量，要分析整个信源的失真大小，就需要使用一个整体的值来表示定义失真函数的数学期望称为平均失真离散情况下$$ \begin {align} \overline D &=\sum_{i=1}^n\sum_{j=1}^mp(a_i,b_j)d(a_i,b_j)\\ &=\sum_{i=1}^n\sum_{j=1}^mp(a_i)p(b_j|a_i)d(a_i,b_j) \end {align} $$理解根据定义式可以将平均失真理解为给定信源分布$p(a_i)$在经过某一转移概率分布为$p(b_j|a_i)$的有失真信源编码器后产生的失真的总体量度将信源编码器看成一个假想信道，从而可以利用信道转移概率的思想来进行讨论推广对于连续随机变量有$$ \overline D =\int_{-\infty}^\infty\int_{-\infty}^\infty p_{X,Y}(x,y)d(x,y)\mathrm d x\mathrm d y $$对于$L$长序列编码情况有$$ \overline D_L=\frac 1 L \sum_{l=1}^LE[d(x_{i_l},y_{j_l})]=\frac 1 L\sum_{l=1}^L\overline D_l $$信息率失真函数前置知识回顾：信息率信息率函数是信道中平均每个符号能传送的信息量，单位为$bit/sig$$$ R=I(X;Y)=H(X)-H(X|Y) $$信息率就是所需输出的有关信源$X$的信息量，从信道的角度来考虑就是接收端$Y$需要获得的有关$X$的信息量，也就是互信息当$p(x_i)$一定时，$I$是关于$p(y_j|x_i)$…

信息论基础 | 信道及信道容量
type: item
date: 2022-12-02T10:58:00+08:00
description: 第3章 信道与信道容量信道的基本概念信道分类按用户数量分单用户信道一个输入端和一个输出端，信息朝一个方向传输多用户信道输入端和输出端中至少有一端存在两个以上住户，信息在两个方向上都能传输（双向）按输入输出关系分无反馈信道输出端的信号不反馈到输出端，输入输出无影响反馈信道输出信号通过一定途径反馈到输入端，使得输入端的信号发生变化按信道参数与时间的关系分固定参数信道信道参数（统计特性）不随时间变化而变化，如光纤、光缆信道等时变参数信道信道参数会随事件发生改变，如无线信道的参数会因为天气等环境原因而发生较大的变化按所受噪声种类分随机差错信道噪声独立随机地影响每个传输码元，如以高斯白噪声为主体的信道突发差错信道噪声和干扰的影响是前后相关的，错误成串出现，如实际的衰落信道、码间干扰信道按输入输出信号特点分离散信道输入输出信号在时间上离散连续信道信号的幅度是连续的，时间是离散的半离散半连续信道输入和输出两个信号中有一个是离散的，另一个则是连续的波形信道输入、输出信号在时间和幅度上均连续，可以用随机过程来描述由前面的章节可知，只要随机过程有某种限制（如限时限频），就可以分解成（时间或频率）离散的随机序列，随机序列可以是幅度上连续，也可以离散。因此波形信道可以拆分成前面三种信道来进行研究特殊信道多输入多输出(MIMO)信道在发送端和接收端分别放置多副天线的系统，具有可以充分利用空间资源、大大提高通信系统的性能的优点理解广义上来说，信道可以指一段线路，也可以指包含了设备的复杂系统，即使在同一个通信系统中，也可以有着不同的划分对于不同的划分方法，信道信号呈现出不同特点数学模型设输入为$\mathbf X=(X_1,X_2,\cdots,X_i,\cdots),X_i\in A=\{a_1,a_2,\cdots,a_n\}$，输出为$\mathbf Y=(Y_1,Y_2,\cdots,Y_j,\cdots),Y_j\in B=\{b_1,b_2,\cdots,b_m\}$，并使用条件概率$P(Y|X)$来描述信道输入、输出信号之间统计的依赖关系，也称转移概率无干扰（无噪声）信道信道的输出信号$Y$与输入信号$X$之间有确定的关系$Y=f(X)$，即已知$X$后就确知$Y$，所以转移概率可写作$$ p(Y|X)=\left \{ \begin {matrix} 1,&Y=f(X)\\ 0,&Y\neq f(X) \end {matrix} \right. $$有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系，但转移概率满足关系$$ p(Y|X)=p(y_1|x_1)p(y_2|x_2)\cdots p(y_L|x_L) $$每个输出信号只和当前输入信号之间有转移概率关系，而与其他非该时刻的输入信号、输出信号都无关，也就是我们所说的无记忆，这使得问题得到简化，我们无需再采用矢量的形式，只要分析单个符号的转移概率即可二进制离散信道（BSC）输入和输出信号的符号数都是2，分别为0和1$$ \left \{ \begin {align} &p(Y=0|X=1)=p(Y=1|X=0)=p\\ &p(Y=1|X=1)=p(Y=0|X=0)=1-p \end {align} \right. $$输出信号仅与对应时刻的一个输入符号有关，而与以前的输入无关，因此是无记忆的离散无记忆信道（DMC）输入和输出的符号数大于2但为有限值输入为$n$元符号，即输入符号集有$n$个元素，信道的输出为$m$元符号，即输出符号集由$m$个元素构成，因此就会有$nm$个转移概率，可以用$n$行$m$列的转移概率矩阵来表示，可以写作$$ \mathbf P= \begin {bmatrix} p_{11} & p_{12} & \cdots & p_{1m} \\ p_{21} & p_{22} & \cdots & p_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ p_{n1} & p_{n2} & \cdots & p_{nm} \\ \end {bmatrix} $$由概率转移矩阵的性质可知，输入$a_i$时各可能输出值$b_j$的概率之和必定等于1，即$$ \sum^m_{j=1}=p(b_j|a_i)=1,i=1,2,\cdots,n $$BSC信道可以看作DMC信道的特例，因此其概率转移矩阵可以表示为2*2的形式$$ \mathbf P= \begin {bmatrix} 1-p&p\\ p&1-p \end {bmatrix} $$离散输入、连续输出信道（离散时间无记忆信道）信道输入符号选自一个有限的、离散的输入符号集，而信道输出未经量化，这时信道的输出可以是实轴上的任意取值，范围由$-\infty$到$\infty…

信息论基础 | 信源分类与数学模型
type: item
date: 2022-11-11T17:52:00+08:00
description: 第2章 信源与信息熵信源的分类与数学模型无记忆信源发出单个符号的无记忆信源每次只发出一个符号代表一个信息的信源$$ A=\{a_1,a_2,\cdots,a_n\}, X\in A $$$$ \begin{bmatrix} \mathbf{X}\\ P \end{bmatrix}= \begin{bmatrix} a_1 & a_2 & \cdots & a_n\\ p(a_1) & p(a_2) & \cdots & p(a_n) \end{bmatrix} $$$$ p(a_i)\geqslant0, \sum_{i=1}^{n}p(a_i)=1 $$发出单个符号的连续无记忆信源发出的消息也是单个符号，但消息数量是无限的，如测量干电池的电压值，取值为\([0,1.5]\)之间的所有实数，测量值随机$$ \begin {bmatrix} X\\P \end {bmatrix}= \begin {bmatrix} (a,b)\\p_X(x) \end {bmatrix}或 \begin {bmatrix} \mathbf{R}\\p_X(x) \end {bmatrix} $$$$ p_X(x)\geqslant0, \int_a^bp_X(x)\mathrm{dx}=1或\int_\mathbf{R}p_X(x)\mathrm{dx}=1 $$发出符号序列的无记忆信源每次发出一组含2个或以上符号的序号序列来代表一个消息，需要用随机矢量来描述\[\mathbf{X}=(X_1,X_2,\cdots,X_L)\]\[p(X_1,X_2,\cdots,X_L)=p(X_1)p(X_2)\cdots p(X_L)\]\(L=2\)时，信源的联合概率分布为$$ \begin{bmatrix} \mathbf{X}\\ P \end{bmatrix}= \begin{bmatrix} a_1,a_1 & a_1,a_2 & \cdots & a_n,a_n\\ p(a_1,a_1) & p(a_1,a_2) & \cdots & p(a_n,a_n) \end{bmatrix} $$$$ p(a_i,a_j)\geqslant0,\sum_{i,j=1}^np(a_i,a_j)=1 $$平稳信源定义信源发出的序列的统计性质和时间的推移无关分类强平稳信源信源输出序列的各维概率分布都不随时间推移而发生变化弱平稳信源输出序列均值与起始时刻无关而仅与时间间隔有关离散平稳无记忆信源（独立同分布）信源输出的每个符号都统计独立，且具有相同的概率空间有记忆信源定义信源在不同时刻发出的符号之间是相互依赖的（既有记忆的，前后相互关联和影响）数学模型需引入条件概率来反映各个符号间的记忆特征$$ p(x_1,x_2,x_3,\cdots,x_L)=p(x_L|X^{L-1})p(X^{L-1})=p(x_{L-1}|X^{L-2})p(X^{L-2})=\cdots $$马尔可夫信源定义当信源的记忆长度为\(m+1\)时，该时刻发出的符号与前\(m\)个符号有关联性，而与更前面的符号无关，这样的有记忆信源称为\(m\)阶马尔可夫信源注意：信源的记忆长度应该是阶数+1，如2阶马尔可夫信源的记忆长度应该是3，某时刻发出的符号与前2个符号有关稳定马尔可夫信源：概率分布特性不随时间推移改变的马尔可夫信源，发出稳定马尔科夫链齐次马尔可夫信源：转移概率（条件概率）不随时间推移而改变，发出序列为齐次马尔科夫链数学模型整体描述：可用马尔科夫链来进行描述$$ \begin {align} p(x_1,x_2,x_3,\cdots,x_L)&=p(x_L|x_1,x_2,x_3,\cdots,x_{L-1})p(x_1,x_2,x_3,\cdots,x_{L-1})\\ &=p(x_L|x_{L-m},\cdots,x_{L-1})p(x_1,x_2,x_3,\cdots,x_{L-1})\\&=\cdots\cdots \end {align} $$某时刻前出现的m个符号组成的序列，称状态；\( s_i\)代表一种状态，可以表示以上描述条件概率中的条件，共有\(Q=n^m\)种取值\[s_i=(x_{i_1},x_{i_2},\cdots,x_{i_m}), x_{i_m}\in{A}=(a_1,a_2,\cdots,a_n)\]符号条件概率：表示信源在某时刻出现符号\(x_j\)的概率与信源此时所处的状态\(s_i\)有关\[p(x_j|s_i),i=1,2,\cdots,Q;j=1,2,\cdots,n\]状态转移概率：表示从\(s_i\)状态变换到\(s_j\)状态的概率$$ p(s_j|s_i),i,j=1,2,\cdots,Q $$更一般地，系统从\(m\)时刻的状态…

信息论基础 | 绪论
type: item
date: 2022-11-05T11:16:00+08:00
description: 第1章 绪论信息论的形成与发展产生背景原始通信方式：烽火通信、信鸽报信等技术准备从原始方式到电气表征、传输有线通信的发明：电报、电话、电码无线通信的发明需要解决的问题：如何远距离传输三极管的发明放大器放大电路理论准备核心问题：如何提高信道利用率滤波器的发明：频分复用采样定理的提出：时分复用信息测度：确定性观点体系产生核心问题：远距离传输中的噪声与抗干扰问题引入概率论，描述随机过程，研究随机信号对噪声的研究：S.O.Rice于1944-1945年发表的Mathemetical Analysis of Random Noise控制论观点：N.Wiener于1948年发表的Etrapolation, interpolation and smoothing of stationary times series信息论的最终产生：Shannon于1948年发表的A Mathematical Theory of communication技术发展核心问题：信源编码与信道编码的具体构造方法及保密通信问题的研究无失真信源编码：提高有效性信道编码：提高可靠性限失真信源编码保密编码：提高安全性（DES, EES, AES）未来发展网络信息论的兴起从双路通信，到多元接入信道，到广播信道，再到中继信道（解决高并发、高容量问题）MIMO技术在不增加带宽的前提下，成倍地提高系统的容量和频谱利用率协同通信在多用户通信环境中共享天线协同发送物理层安全途径密码学、物理层安全途径6G技术基于Shannon信息论及其扩展形式，探讨未来6G移动通信系统性能提升的潜能参考文献：[1]尤肖虎.Shannon信息论与未来6G技术潜能[J].中国科学:信息科学,2020,50(09):1377-1394.深度学习应用基于信息论，对数据进行特征提取，应用于深度学习人工智能领域参考文献：[1]李春晓.基于信息论的有监督特征选择算法研究.2022.吉林大学,MA thesis.信息论的研究内容狭义信息论主要研究信息测度、信道容量、信息率失真函数以及和他们相对应的香农三定理，信源编码，信道编码广义信息论研究所有与信息有关的领域，如心理学、遗传学、神经生理学、语言学、社会学等一般信息论主要研究信息传输和处理问题，是广义通信中客观存在的问题的理论提升通信系统模型框图模块作用信源向系统提供消息的人或机器，消息的“源头”信道传送物理信号的设施，消息的“传递通道”干扰源通信系统中干扰的集中反映，干扰的“源头”密钥源产生密钥的“源头”信宿接收消息的人或机器，消息的“归宿”评价指标可靠性有效性安全性信息论的应用领域生物学生物信息收集、基因测序、药物设计等医学把生命系统看作接收和传递信息的调节控制系统管理科学物流与信息流经济学经济学作用于信息领域用经济学的观点研究信息的一般问题信息论作用于经济学用信息科学的观点和方法重新认识和探讨经济活动的规律