第3章 信道与信道容量
信道的基本概念
信道分类
按用户数量分
单用户信道
- 一个输入端和一个输出端，信息朝一个方向传输
多用户信道
- 输入端和输出端中至少有一端存在两个以上住户，信息在两个方向上都能传输（双向）
按输入输出关系分
无反馈信道
- 输出端的信号不反馈到输出端，输入输出无影响
反馈信道
- 输出信号通过一定途径反馈到输入端，使得输入端的信号发生变化
按信道参数与时间的关系分
固定参数信道
- 信道参数（统计特性）不随时间变化而变化，如光纤、光缆信道等
时变参数信道
- 信道参数会随事件发生改变，如无线信道的参数会因为天气等环境原因而发生较大的变化
按所受噪声种类分
随机差错信道
- 噪声独立随机地影响每个传输码元，如以高斯白噪声为主体的信道
突发差错信道
- 噪声和干扰的影响是前后相关的，错误成串出现，如实际的衰落信道、码间干扰信道
按输入输出信号特点分
离散信道
- 输入输出信号在时间上离散
连续信道
- 信号的幅度是连续的，时间是离散的
半离散半连续信道
- 输入和输出两个信号中有一个是离散的，另一个则是连续的
波形信道
- 输入、输出信号在时间和幅度上均连续，可以用随机过程来描述
- 由前面的章节可知，只要随机过程有某种限制（如限时限频），就可以分解成（时间或频率）离散的随机序列，随机序列可以是幅度上连续，也可以离散。因此波形信道可以拆分成前面三种信道来进行研究
特殊信道
多输入多输出(MIMO)信道
- 在发送端和接收端分别放置多副天线的系统，具有可以充分利用空间资源、大大提高通信系统的性能的优点
理解
- 广义上来说，信道可以指一段线路，也可以指包含了设备的复杂系统，即使在同一个通信系统中，也可以有着不同的划分
- 对于不同的划分方法，信道信号呈现出不同特点
数学模型
- 设输入为$\mathbf X=(X_1,X_2,\cdots,X_i,\cdots),X_i\in A=\{a_1,a_2,\cdots,a_n\}$，输出为$\mathbf Y=(Y_1,Y_2,\cdots,Y_j,\cdots),Y_j\in B=\{b_1,b_2,\cdots,b_m\}$，并使用条件概率$P(Y|X)$来描述信道输入、输出信号之间统计的依赖关系，也称转移概率
无干扰（无噪声）信道
信道的输出信号$Y$与输入信号$X$之间有确定的关系$Y=f(X)$，即已知$X$后就确知$Y$，所以转移概率可写作
$$ p(Y|X)=\left \{ \begin {matrix} 1,&Y=f(X)\\ 0,&Y\neq f(X) \end {matrix} \right. $$
有干扰无记忆信道
信道的输出信号Y与输入信号X之间没有确定的关系，但转移概率满足关系
$$ p(Y|X)=p(y_1|x_1)p(y_2|x_2)\cdots p(y_L|x_L) $$
每个输出信号只和当前输入信号之间有转移概率关系，而与其他非该时刻的输入信号、输出信号都无关，也就是我们所说的无记忆，这使得问题得到简化，我们无需再采用矢量的形式，只要分析单个符号的转移概率即可
二进制离散信道（BSC）
- 输入和输出信号的符号数都是2，分别为0和1
$$ \left \{ \begin {align} &p(Y=0|X=1)=p(Y=1|X=0)=p\\ &p(Y=1|X=1)=p(Y=0|X=0)=1-p \end {align} \right. $$
- 输出信号仅与对应时刻的一个输入符号有关，而与以前的输入无关，因此是无记忆的
离散无记忆信道（DMC）
- 输入和输出的符号数大于2但为有限值
- 输入为$n$元符号，即输入符号集有$n$个元素，信道的输出为$m$元符号，即输出符号集由$m$个元素构成，因此就会有$nm$个转移概率，可以用$n$行$m$列的转移概率矩阵来表示，可以写作
$$ \mathbf P= \begin {bmatrix} p_{11} & p_{12} & \cdots & p_{1m} \\ p_{21} & p_{22} & \cdots & p_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ p_{n1} & p_{n2} & \cdots & p_{nm} \\ \end {bmatrix} $$
- 由概率转移矩阵的性质可知，输入$a_i$时各可能输出值$b_j$的概率之和必定等于1，即
$$ \sum^m_{j=1}=p(b_j|a_i)=1,i=1,2,\cdots,n $$
- BSC信道可以看作DMC信道的特例，因此其概率转移矩阵可以表示为2*2的形式
$$ \mathbf P= \begin {bmatrix} 1-p&p\\ p&1-p \end {bmatrix} $$
离散输入、连续输出信道（离散时间无记忆信道）
- 信道输入符号选自一个有限的、离散的输入符号集，而信道输出未经量化，这时信道的输出可以是实轴上的任意取值，范围由$-\infty$到$\infty$，这样的信道模型称为离散时间无记忆信道，其特性由离散输入$X$、连续输出$Y$以及一组条件概率密度函数来决定
- 最重要的一种是加性高斯白噪声（AWGN）信道，$G$表示一个零均值、方差为$\sigma^2$的高斯随机变量，当$X=a_i$给定后，$Y$将会是一个均值为$a_i$、方差为$\sigma^2$的高斯随机变量
$$ \begin {matrix} Y=X+G\\ p_Y(y|a_i)=\frac{1}{\sqrt{2\pi}\sigma} e^{\frac{-(y-a_i)^2}{2\sigma^2}} \end {matrix} $$
波形信道
- 输入和输出都是随机过程$\{x(t)\}$和$\{y(t)\}$时，该信道称为波形信道。在实际的模拟系统中，信道都是波形信道，而在通信系统模型中，常把来自各部分的噪声都集中在一起，认为是通过信道加入的
- 实际波形信道的频宽总是受限的，所以在有限的观察时间内，能满足限频、限时的条件，根据所学知识和，可以将这样一个平稳随机过程信号离散化为$L=2ft$个时间离散，取值连续的平稳随机序列，这样一来波形信道就转化为了多维连续信道，信道的转移概率密度函数为
$$ p_Y(\mathbf y|\mathbf x)=p_Y(y_1,y_2,\cdots,y_L|x_1,x_2,\cdots,x_L) $$
且满足
$$ \int_\mathbf R\int_\mathbf R\cdots\int_\mathbf R\int_\mathbf Rp_Y(y_1,y_2,\cdots,y_L|x_1,x_2,\cdots,x_L)\mathrm dy_1 \mathrm d y_2\cdots \mathrm d y_L=1 $$
- 当多维连续信道的转移概率密度函数满足如下关系时，称信道为连续无记忆信道（相互独立），即任意时刻的输出变量只和对应时刻的输入变量有关，与此前的均没有关系，即表示为
$$ p_Y(\mathbf y|\mathbf x)=\prod^L_{l=1}p_Y(y_l|x_l) $$
- 而在一般情况下，变量间不都是相互独立的，任意时刻的输出变量与以前时刻的输入、输出都有关，则称这样的信道为连续有记忆信道
关于噪声的讨论
加性噪声：噪声与信号是相加关系，也是多数情况下会出现的噪声
- 记噪声过程的一个样本函数为$n(t)$，则单符号加性噪声信道可以表示为$y(t)=x(t)+n(t)$（加性多维连续信道的表示方法类似，只是将这里的过程换成序列）
- 通常噪声与信号相互独立，因此信道的转移概率密度函数等于噪声的概率密度函数\[p_Y(y|x)=\frac{p_{X,Y}(x,y)}{p_X(x)}=\frac{p_{X,n}(x,n)}{p_X(x)}=p_n(n)\]
- 考察条件熵$H(Y|X)$可以发现，这个熵就是由噪声所引起的，它等于噪声信源的熵$H(n)$
- 乘性噪声：噪声与信号是相乘关系，较少见
有干扰有记忆信道
- 实际情况中遇到的信道都是该类信道，信道特性不理想，存在码间干扰，输出信号不但与当前的输入信号有关，还和以前的输入信号有关
处理方法
- 将记忆很强的$L$个符号当成矢量符号，各矢量符号之间可以认为无记忆，但这会引入误差，当$L$越大，误差则会越小
- 将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入信号和前时刻信道所处的状态的条件下
信道容量
定义
将信道中平均每个符号能够传送的信息量定义为信道的信息传输率$R$，单位为$bit/sig$
$$ R=I(X;Y)=H(X)-H(X|Y) $$
若平均传输一个符号所需时间为$t(s)$，那么信道在单位时间内平均传输的信息量就可以定义为信息传输速率，单位为$bit/s$
$$ R_t=\frac{I(X;Y)}{t} $$
对于某特定信道，转移概率是确定的，那么互信息I就是关于输入符号分布概率的上凸型函数，也就是说可以通过找到某种概率分布$p(a_i)$，使得互信息达到最大，定义该最大值就是信道所能传输的最大信息量，即信道容量，单位为$bit/sig$
$$ \begin {matrix} C=\max_{p(a_i)}I(X;Y)\\ p(a_i)\geqslant0,\sum_{i=1}^np(a_i)=1 \end {matrix} $$
理解
- 根据单位可以知道，$C$表示了信道上每传送一个符号（每使用一次信道）所能携带的比特数
性质
- 对于固定参数的信道，信道容量是一个确定的值，但是在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布
拓展
对于时变信道参数的信道，信道容量不再是一个固定的量，而是一个随机变量，要用其他的量来表征其信道性能
平均容量
- 也称遍历容量，是对随机信道容量的所有可能值进行平均的结果，一般用其来衡量系统整体意义上的信道容量性能
中断容量
- 当信道顺势容量小于用户要求的速率时，信道就会发生中断，发生这个事件的概率称为中断概率，例如看视频时选择高码率会有卡顿
对于某个信道而言，中断概率的大小取决于用户的要求，要求速率越大，终中断概率就越大，某个用户要求的速率就定义为相应中断概率的中断容量$C$
$$ p(C_{inst}<C_{outage})=P_{outage} $$
离散单个符号信道及其容量
无干扰离散信道
输入输出一一对应，无噪无损信道，条件概率矩阵是一个单位矩阵，当输入符号等概率分布时，信道的传输能力达到信道容量
$$ C=\max I(X;Y)=\log n $$
多个输入对应一个输出，无噪有损信道，噪声熵为0，但疑义度（信息的损失量）不为0
$$ C=\max I(X;Y)=\max H(Y) $$
一个输入对应多个输出，有噪无损信道，疑义度为0，但噪声熵不为0
$$ C=\max I(X;Y)=\max H(X) $$
对称离散无记忆信道
定义
输入对称信道
- 转移概率矩阵的每一行都包含相同的元素
输出对称信道
- 转移概率矩阵的每一列都包含相同的元素
输入输出对称信道
- 转移概率矩阵的每一行和每一列都包含相同元素
- 例如
$$ \mathbf P=\begin {bmatrix} \frac 1 2 & \frac 1 3 & \frac 1 6 \\ \frac 1 6 & \frac 1 2 & \frac 1 3 \\ \frac 1 3 & \frac 1 6 & \frac 1 2 \end {bmatrix} $$
数学模型
因为对称信道转移概率矩阵中每行的元素都相同，因此条件熵与信道输入符号的概率分布无关
$$ \begin {align} H(Y|X)&=-\sum_ip(a_i)\sum_j p(b_j|a_i)\log p(b_j|a_i)\\ &=-\sum_jp(b_j|a_i)\log p(b_j|a_i)\\ &=H(Y|a_i),i=1,2,\cdots,n \end {align} $$
信道容量可以写作
$$ C=\max_{p(a_i)}I(X;Y)=\max_{p(a_i)}H(Y)-H(Y|X) $$
特别地，当信道输入符号等概率分布，由于概率转移矩阵的列对称，因此可以求出信道的输出符号也是等概率分布的（反之也成立）
$$ p(b_j)=\sum_ip(a_i)p(b_j|a_i)=\frac 1 n \sum_i p(b_j|a_i) $$
要让H(Y)达到最大，即求C值，只有当信道输出符号等概率分布（此时输入符号也必定是等概率分布）才能取得，故对称DMC信道的容量为
$$ C=\log m-H(Y|a_i)=\log m+\sum_{j=1}^mp_{ij}\log p_{ij} $$
- 上式中，$\log m$为利用输入对称可求得，后者为利用输出对称求得
应用
- 根据以上的数学关系和推导，可以求任意对称信道的信道容量，通常会遇到参数不定的情况，求能够达到信道容量时的概率分布
准对称离散无记忆信道
定义
- 如果转移概率矩阵P是输入对称输而输出不对称，称该信道为准对称DMC信道
数学模型
准对称信道的转移概率矩阵中每行的元素相等，因此仍有结论：条件熵与信道输入符号的概率分布无关
$$ H(Y|X)=H(Y|a_i),i=1,2,\cdots,n $$
但是转移概率矩阵的每列的元素不完全相同，因此信道的输入和输出分布概率可能不等，$H(Y)$的最大值可能小于$Y$等概时的熵，则有关系
$$ C\leqslant\log m+\sum_{j=1}^mp_{ij}\log p_{ij} $$
- 求解方法：根据互信息是关于输入符号概率的上凸型函数，因此可以用拉格朗日乘子法求解极值问题，进而求得最大输入符号概率和互信息
一般离散无记忆信道
BA算法
为使得$I(X;Y)$最大化以求DMC的容量，输入符号概率集必须满足的充分和必要条件是
$$ \left \{ \begin {align} I(a_i;Y)=C &,对于所有满足p(a_i)>0的i\\ I(a_i;Y)\leqslant C &,对于所有满足p(a_i)=0的i \end {align} \right. $$
- 当信道平均互信息达到信道容量时，输入符号概率集中的每一个符号对输出端都提供相同的互信息，只有概率为0的符号除外
理解
- 在某种给定的输入符号分布下，若其中有一个符号$x=a_i$对于输出$Y$所提供的平均信息比其他输入符号的大，那么就可以更多地使用这一符号，即增大$a_i$出现的概率$p(x=a_i)$，使得平均互信息增大
- 但是这样一来会改变输入符号的分布，使得该符号的平均互信息减小，其他符号的互信息增大
- 因此需要不断地调整输入符号的概率分布，最终将使得每个概率不为零的输入符号对输出Y提供的平均互信息相同
注意
- BA算法只给出了达到信道容量$C$时输入符号概率分布的充要条件，无法根据这个结论来计算具体值，因此没有具体可求的公式，通常最佳分布并不唯一，只要满足上述充要条件，使得互信息最大即可
信源与信道的匹配
符号匹配
- 信源输出的符号必须是信道能够传送的符号，即要求信源符号集就是信道入口符号集或其子集
- 这是实现信息传输的必要条件，可以在信源与信道间加入编码器予以实现，也可以在信源压缩编码时一步完成
信息匹配
定义
- 对于某一信道，只有当输入符号的概率分布$p(x)$满足一定条件时才能达到其信道容量C，只有特定信源才能使得某一信道的信息传输速率达到最大
- 当信源与信道连接时，其信息传输率$R=I(X;Y)$并未达到最大，即信道没有得到充分利用，信道有冗余
- 当信源与信道连接时，信息传输速率达到了信道容量，则称此信源与信道达到匹配
数学模型
信道绝对冗余度定义为
$$ C-I(X;Y) $$
- 信道相对冗余度定义为
$$ 1-\frac {I(X,Y)}{C} $$
讨论
- 冗余度大，说明信源和信道的匹配程度低，此时信道的信息传递能力没有得到充分利用
- 冗余度小，说明信源和信道能够较好地匹配，此时信道的信息传递能力得到了充分利用
- 实际情况中一般不能实现冗余度为0，因此只要让冗余度尽可能小即可
多输入多输出信道及其容量（略）
定义
- 每个信道输出都与所有M个信道输入信号有关，是由M个信道输入信号经各自路径传输后与噪声的线性叠加
MIMO信道模型
MIMO信道容量
讨论
- MIMO系统对于提高无线通信系统的容量具有极大潜力
连续信道及其容量
基础：加性噪声信道
幅度连续的单符号加性信道
定义
- 信道输入和输出均为取值连续的一维随机变量，加入信道的噪声是均值为0、方差为$\sigma^2$的加性高斯白噪声
数学模型
噪声的微分熵可以写作
$$ H_c(n)=\frac 1 2 \log 2\pi\mathrm e \sigma^2 $$
平均互信息，即信息传输率为
$$ I(X;Y)=R=H_c(X)+H_c(Y)-H_c(X,Y) $$
信道容量为
$$ C=\max_{p(x)}I(X;Y)=\max_{p(x)}[H_c(Y)-H_c(Y|X)]=\max_{p(x)}H_c(Y)-\frac 1 2\log 2 \pi \mathrm e \sigma^2 $$
为了让上式达到最大，求解得输入必须也是满足高斯分布得随机变量，均值为0，方差为$S$
$$ C=\frac 1 2 \log2 \pi\mathrm e P-\frac 1 2 \log2 \pi\mathrm e\sigma^2=\frac 1 2 \log\frac P {\sigma^2}=\frac 1 2\log(1+\frac S {\sigma^2}) $$
信噪比（输入信号与噪声的功率比）记作
$$ SNR=\frac S {\sigma^2} $$
拓展
只要是满足加性关系的信道，其信道容量的上下界即可求除，但是乘性噪声就会很难分析
$$ \frac 1 2\log(1+\frac S {\sigma^2})\leqslant C\leqslant \frac 1 2 \log 2 \pi \mathrm e P-H_c(n),P=S+\sigma^2 $$
- 理解：噪声熵考虑的是最坏的情况，因此左边才能作为信道容量的下限值，当噪声满足高斯分布时，对于通信系统的影响最大，不知是因为其方便计算，在设计通信系统时往往要考虑最糟的情况以规避不必要的影响
多维无记忆加性连续信道
定义
- 输入输出均为随机序列，加入噪声为均值为0的高斯噪声
数学模型
互信息满足关系
$$ I(\mathbf X; \mathbf Y)\leqslant\sum_{l=1}^LI(X_L;Y_L)=\sum_{l=1}^L\frac 1 2 \log (1+\frac {P_l} {\sigma^2_l}) $$
则
$$ C=\max_{p(x)}I(\mathbf X;\mathbf Y)=\sum_{l=1}^L\frac 1 2 \log(1+\frac {P_L} {\sigma^2_l})\mathrm bit/L $$
当每个单元时刻上的噪声都是均值为0、方差相同为$\sigma^2$的高斯噪声时，有
$$ C=\frac L 2 \log(1+\frac S {\sigma^2})\mathrm bit/L $$
当个单元时刻$L$个高斯噪声均值为0，但方差不同时，若输入信号的总平均功率受限，满足以下约束条件时，此时个单元时刻的信号平均功率应合理分配，才能使信道容量最大
$$ E[\sum_{l=1}^LX_l^2]=\sum_{l=1}^LE[X^2_l]=\sum_{l=1}^LP_l=P $$
注水法
各个时刻的信道输出功率为
$$ \nu=\frac{P+\sum_l\sigma^2_l}{L} $$
各单元时刻输入信号平均功率为
$$ P_l=\nu-\sigma^2_l=\frac {P+\sum_{l=1}^L\sigma^2_l}{L}-\sigma^2_l,l=1,2,\cdots,L $$
此时信道容量
$$ C=\frac 1 2 \sum_{l=1}^L\log\frac{P+\sum_{l=1}^L\sigma_l^2}{L\sigma_l^2} $$
若果某些单元时刻的噪声$\sigma_l^2$太大，大于各个时刻的信道输出功率，使得$P_l$出现负值，说明这些时刻的信道质量太差，无法使用，必须把$P_l$置为0，不分配功率，予以关闭，然后再重新根据分配法则调整信号功率分配
- 详见课本例3-10
- 总体思路：计算平均输出功率→关闭输出功率大于平均输出功率的信道（置为0）→重新计算平均输出功率→循环前面的步骤，直到能够保证平均输出功率大于所有子信道的平均功率，再计算此时的总信道容量
限时限频限功率加性高斯白噪声信道
定义
- 在波形信道中，在限时$t_B$、限频$f$的条件下可转换为多维连续信道，将输入输出的随机过程转换成L维的随机序列
数学模型
波形信道的平均互信息为
$$ I[x(t);y(t)]=\lim_{L\to\infty}[H_c(\mathbf X)+H_c(\mathbf Y)-H_c(\mathbf X,\mathbf Y)] $$
信息传输率
$$ R_t=\lim_{t_B\to\infty}\frac 1 {t_B}I(\mathbf X;\mathbf Y)\mathrm bit/s $$
信道容量
$$ C_t=\max_{p(x)}[\lim_{t_B\to\infty}\frac 1 {t_B} I(\mathbf X; \mathbf Y)]\mathrm bit/s $$
香农公式
定义
- 高斯白噪声加性信道单位时间的信道容量
数学模型
$$ C_t=\lim_{t_B\to\infty}\frac C {t_B}=W\log(1+\frac {P_S} {N_0W})\mathrm bit/s $$
讨论
- 当带宽$W$一定时，SNR与$C_t$成对数关系，SNR增大，$C_t$就增大，但增大到一定程度后趋于缓慢
当输入信号功率$P_s$一定时，增加信道带宽，容量可以增加，但到一定阶段后增加变得缓慢（因为当噪声为加性高斯白噪声时，随着W的增加，噪声功率$N_0W$也随之增加）
- 即使带宽是无限的，信道容量仍是有限的，当$C_\infty=1bit/s$，$P_s/N_0=\ln 2=-1.6dB$，即传送$1bit$信息，信噪比最低只需要$-1.6dB$，这也叫做香农限
- $C_t$一定时，带宽$W$增大，SNR会降低，二者可以相互转换。若有较大的传输带宽，则在保持信号功率不变的情况下，可容许较大的噪声，即此时系统的抗噪声能力较高
离散序列信道及其容量
定义
- 实际应用中，信道的输入和输出一般都是在空间或时间上离散的随机序列，有记忆和无记忆的离散序列信道，更多情况下是有记忆的，即序列的转移概率之间有关联性
数学模型
- 无记忆离散序列信道的转移概率为（仅与当前输入有关）
$$ p(\mathbf Y|\mathbf X)=p(Y_1,\cdots,Y_L|X_1,\cdots,X_l)=\prod_{l=1}^Lp(Y_l|X_l) $$
互信息的两个性质
如果信道无记忆，那么
$$ I(\mathbf X;\mathbf Y)\leqslant\sum_{l=1}^LI(X_l;Y_l) $$
如果输入矢量$X$的各分量相互独立，那么
$$ I(\mathbf X;\mathbf Y)\geqslant\sum_{l=1}^LI(X_l;Y_l) $$
- 当输入矢量$X$独立且信道无记忆时，上述两式子取等，两个性质达到统一
当输入适量达到上述最佳分布时，有
$$ C_L=\max_{P_X}I(\mathbf X;\mathbf Y)=\max_{P_X}\sum_{l=1}^LI(X_l;Y_l)=\sum_{l=1}^L\max_{P_X}I(X_l;Y_l)=\sum_{l=1}^LC(l) $$
信道平稳时，有
$$ C_L=LC_l,I(\mathbf X;\mathbf Y)\leqslant LC_l $$
拓展
若果对离散但符号信道进行$L$次扩展，就形成了$L$次离散无记忆序列信道，信道序列转移概率为
$$ p(\mathbf Y|\mathbf X)=\prod_{l=1}^Lp(Y_l|X_l) $$
