信息论基础 | 信道编码

第6章 信道编码噪声信道中的编码前言平均互信息（信息传输率）为$I(X;Y)=H(X)-H(X|Y)$信道容量为$C=\max I(X;Y)$通过调整信源的概率分布，使得信息传输率尽量接近信道容量，也就是让信息传输率尽可能大，这一过程称为信源和信道匹配信源编码的目的：增加信源熵$H(X)$，理解为信源发出的所有符号中每个符号带有的平均信息量，实现符号匹配，压缩冗余信道编码的目的：减少损失熵$H(X|Y)$，提高传输信号的抗干扰能力避免少量差错信号对信息内容的影响：使用纠错编码（纠错、检错）信道编码的研究对象：信息序列（即码元间彼此无关且等概率出现）基本思路：在传输的信息码中按照一定规律产生一些附加码元，经过信道传输，在传输中若码字出现错误，接收端则利用编码规律发现码的内在相关性被破坏，从而按照一定的译码规则自动纠正或发现错误，降低误码率基本方法前向纠错(FEC)纠错过程在接收端独立进行，没有反馈，信息一直朝着前面的方向传播，因此叫前向译码设备复杂，适用于实时性高容错能力强的场合反馈重发(ARQ)在接收端判断收到的序列是否符合编码规则，如果不符合就通知重发如循环冗余校验码(CRC)混合纠

Informatics·General Learning · 2022-12-16

信息论基础 | 信源编码

第5章 信源编码前言编码方式信源编码信道编码信源编码原因由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度目的通过信源编码减少冗余，提高编码效率，提高通信的有效性方法解除相关性概率均匀化定理无失真编码定理（针对离散信源）限失真编码定理（针对连续信源）编码的概念定义分组码将信源消息分成若干组，用符号序列$\mathbf {x_i}=(x_{i_1},x_{i_2},\cdots,x_{i_l},\cdots,x_{i_L})$表示，序列中每个符号都取自于符号集$A$，$x_{i_L}\in A=\{a_1,a_2,\cdots,a_i,\cdots,a_n\}$，每个$x_i$依照固定的码表映射成一个码字$y_i$按照码表映射编码的码称为分组码，有时也叫做块码，只有分组码才有对应的码表，非分组码不存在码表码字每个码符号序列称为码字，如编码后的${0001,0010,1100}$$D$元码由$D$个符号组成的码字集合，如${0,1}$对应二源码，${0,1,2}$对应三元码理解根据编码方式的不同，同一个信源符号可以有不同的码符号序列将信源符号变换成由码元符号组成的码符号序列的过程就

Informatics·General Learning · 2022-12-13

信息论基础 | 信息率失真函数

第4章 信息率失真函数前言对于失真的合理与可行性分析实际信息处理过程允许一定程度的失真连续信源编码必定存在失真一定范围内的失真可以大幅提高编码效率本章的研究对象允许一定失真的离散信源编码和连续信源编码失真函数定义设某一信源$X$，输出样值为$x_i$，经过有失真的信源编码器，输出$Y$，样值为$y_j$，满足以下关系$$ x_i\in \{a_1,\cdots,a_n\},y_j\in \{b_1,\cdots,b_m\} $$如果$x_i$=$y_j$，则认为没有失真，反之认为产生失真失真函数表示为$d(x_i,y_i)$，是用来表示失真的大小的量，能衡量用$y_i$代替$x_i$所引起的失真程度，一般的失真函数可定义为$$ d(x_i,y_j)=\left \{ \begin {matrix} 0,&x_i=y_j\\ \alpha,&\alpha>0,x_i\neq y_j \end {matrix} \right. $$如果把所有的失真函数值排列起来，则可以用矩阵表示，构成失真矩阵$$ \mathbf d=\begin {bmatrix} d(a_1,b

Informatics·General Learning · 2022-12-05

信息论基础 | 信道及信道容量

第3章 信道与信道容量信道的基本概念信道分类按用户数量分单用户信道一个输入端和一个输出端，信息朝一个方向传输多用户信道输入端和输出端中至少有一端存在两个以上住户，信息在两个方向上都能传输（双向）按输入输出关系分无反馈信道输出端的信号不反馈到输出端，输入输出无影响反馈信道输出信号通过一定途径反馈到输入端，使得输入端的信号发生变化按信道参数与时间的关系分固定参数信道信道参数（统计特性）不随时间变化而变化，如光纤、光缆信道等时变参数信道信道参数会随事件发生改变，如无线信道的参数会因为天气等环境原因而发生较大的变化按所受噪声种类分随机差错信道噪声独立随机地影响每个传输码元，如以高斯白噪声为主体的信道突发差错信道噪声和干扰的影响是前后相关的，错误成串出现，如实际的衰落信道、码间干扰信道按输入输出信号特点分离散信道输入输出信号在时间上离散连续信道信号的幅度是连续的，时间是离散的半离散半连续信道输入和输出两个信号中有一个是离散的，另一个则是连续的波形信道输入、输出信号在时间和幅度上均连续，可以用随机过程来描述由前面的章节可知，只要随机过程有某种限制（如限时限频），就可以分解成（时间或频率）离散的随机

Informatics·General Learning · 2022-12-02

信息论基础 | 信源分类与数学模型

第2章 信源与信息熵信源的分类与数学模型无记忆信源发出单个符号的无记忆信源每次只发出一个符号代表一个信息的信源$$ A=\{a_1,a_2,\cdots,a_n\}, X\in A $$$$ \begin{bmatrix} \mathbf{X}\\ P \end{bmatrix}= \begin{bmatrix} a_1 & a_2 & \cdots & a_n\\ p(a_1) & p(a_2) & \cdots & p(a_n) \end{bmatrix} $$$$ p(a_i)\geqslant0, \sum_{i=1}^{n}p(a_i)=1 $$发出单个符号的连续无记忆信源发出的消息也是单个符号，但消息数量是无限的，如测量干电池的电压值，取值为\([0,1.5]\)之间的所有实数，测量值随机$$ \begin {bmatrix} X\\P \end {bmatrix}= \begin {bmatrix} (a,b)\\p_X(x) \end {bmatrix}或 \begin {bmatrix} \mathbf{R}\\p

Informatics·General Learning · 2022-11-11

信息论基础 | 绪论

第1章 绪论信息论的形成与发展产生背景原始通信方式：烽火通信、信鸽报信等技术准备从原始方式到电气表征、传输有线通信的发明：电报、电话、电码无线通信的发明需要解决的问题：如何远距离传输三极管的发明放大器放大电路理论准备核心问题：如何提高信道利用率滤波器的发明：频分复用采样定理的提出：时分复用信息测度：确定性观点体系产生核心问题：远距离传输中的噪声与抗干扰问题引入概率论，描述随机过程，研究随机信号对噪声的研究：S.O.Rice于1944-1945年发表的Mathemetical Analysis of Random Noise控制论观点：N.Wiener于1948年发表的Etrapolation, interpolation and smoothing of stationary times series信息论的最终产生：Shannon于1948年发表的A Mathematical Theory of communication技术发展核心问题：信源编码与信道编码的具体构造方法及保密通信问题的研究无失真信源编码：提高有效性信道编码：提高可靠性限失真信源编码保密编码：提高安全性（DES, E

Informatics·General Learning · 2022-11-05

CMC备赛 | 4.16一元函数微分学（二）

采用书籍为蒲和平编《大学生数学竞赛教程》例30题目：讨论方程\(a^x=bx(a>1)\)的实根个数.分析：这是一道根情况讨论题，很明显可以移项后转化为某函数的零点讨论。再仔细一看发现该题类型并不少见，其实就是高中数学中压轴题里的常见类型，在高等数学中即是介值定理的应用。解答：令\(f(x)=a^x-bx\)，则\(f'(x)=\ln{a}\cdot a^x-b\)，在\(a>1\)的情况下，\(ln(a)a^x\)是始终大于零的，下面讨论b的情况.情况1：当\(b

General Learning·CMC · 2022-04-16

CMC备赛｜4.12一元函数微分学（一）

采用书籍为蒲和平编《大学生数学竞赛教程》P57 例8题目：设$ f(x)=a_nx^n+...+a_1x+a_0 $是实系数多项式，$n>=2$，且某个$a_k=0(1\leq k\leq n-1)$及当$l\neq k$时，$a_l\neq 0$. 试证明：若$f(x)=0$有$n$个相异的实根，则$a_{k-1}a_{k+1}<0$.分析：这道题涉及到了零点，很容易想到罗尔定理：函数两个零点间必有一个导数为0的点，于是乎，在有n个零点的情况下，一阶导至少存在n-1个零点（每两个零点间有一个导数为0的点），二阶导至少有n-2个零点，以此类推。原式包含常数项共有n+1项，每求导一次少一项，又题中说$a_k=0$，故只需要不断求导到最后只剩下$a_{k-1}, a_k, a_{k+1}$的情况，再利用零点存在性定理即可推出结论。解答：由题：$$f^{(k-1)}(x)= \frac {n!} {(n-k+1)!} a_n x^{n-k+1}+...+ \frac {(k+1)!} {2!} a_{k+1}x^2+k!a_kx+(k-1)!a_{k-1}$$化简记作：$$f^{

General Learning·CMC · 2022-04-12