信息论基础 | 信息率失真函数

第4章 信息率失真函数前言对于失真的合理与可行性分析实际信息处理过程允许一定程度的失真连续信源编码必定存在失真一定范围内的失真可以大幅提高编码效率本章的研究对象允许一定失真的离散信源编码和连续信源编码失真函数定义设某一信源$X$，输出样值为$x_i$，经过有失真的信源编码器，输出$Y$，样值为$y_j$，满足以下关系$$ x_i\in \{a_1,\cdots,a_n\},y_j\in \{b_1,\cdots,b_m\} $$如果$x_i$=$y_j$，则认为没有失真，反之认为产生失真失真函数表示为$d(x_i,y_i)$，是用来表示失真的大小的量，能衡量用$y_i$代替$x_i$所引起的失真程度，一般的失真函数可定义为$$ d(x_i,y_j)=\left \{ \begin {matrix} 0,&x_i=y_j\\ \alpha,&\alpha>0,x_i\neq y_j \end {matrix} \right. $$如果把所有的失真函数值排列起来，则可以用矩阵表示，构成失真矩阵$$ \mathbf d=\begin {bmatrix} d(a_1,b

Informatics·General Learning · 2022-12-05

信息论基础 | 信道及信道容量

第3章 信道与信道容量信道的基本概念信道分类按用户数量分单用户信道一个输入端和一个输出端，信息朝一个方向传输多用户信道输入端和输出端中至少有一端存在两个以上住户，信息在两个方向上都能传输（双向）按输入输出关系分无反馈信道输出端的信号不反馈到输出端，输入输出无影响反馈信道输出信号通过一定途径反馈到输入端，使得输入端的信号发生变化按信道参数与时间的关系分固定参数信道信道参数（统计特性）不随时间变化而变化，如光纤、光缆信道等时变参数信道信道参数会随事件发生改变，如无线信道的参数会因为天气等环境原因而发生较大的变化按所受噪声种类分随机差错信道噪声独立随机地影响每个传输码元，如以高斯白噪声为主体的信道突发差错信道噪声和干扰的影响是前后相关的，错误成串出现，如实际的衰落信道、码间干扰信道按输入输出信号特点分离散信道输入输出信号在时间上离散连续信道信号的幅度是连续的，时间是离散的半离散半连续信道输入和输出两个信号中有一个是离散的，另一个则是连续的波形信道输入、输出信号在时间和幅度上均连续，可以用随机过程来描述由前面的章节可知，只要随机过程有某种限制（如限时限频），就可以分解成（时间或频率）离散的随机

Informatics·General Learning · 2022-12-02

信息论基础 | 信源分类与数学模型

第2章 信源与信息熵信源的分类与数学模型无记忆信源发出单个符号的无记忆信源每次只发出一个符号代表一个信息的信源$$ A=\{a_1,a_2,\cdots,a_n\}, X\in A $$$$ \begin{bmatrix} \mathbf{X}\\ P \end{bmatrix}= \begin{bmatrix} a_1 & a_2 & \cdots & a_n\\ p(a_1) & p(a_2) & \cdots & p(a_n) \end{bmatrix} $$$$ p(a_i)\geqslant0, \sum_{i=1}^{n}p(a_i)=1 $$发出单个符号的连续无记忆信源发出的消息也是单个符号，但消息数量是无限的，如测量干电池的电压值，取值为\([0,1.5]\)之间的所有实数，测量值随机$$ \begin {bmatrix} X\\P \end {bmatrix}= \begin {bmatrix} (a,b)\\p_X(x) \end {bmatrix}或 \begin {bmatrix} \mathbf{R}\\p

Informatics·General Learning · 2022-11-11

信息论基础 | 绪论

第1章 绪论信息论的形成与发展产生背景原始通信方式：烽火通信、信鸽报信等技术准备从原始方式到电气表征、传输有线通信的发明：电报、电话、电码无线通信的发明需要解决的问题：如何远距离传输三极管的发明放大器放大电路理论准备核心问题：如何提高信道利用率滤波器的发明：频分复用采样定理的提出：时分复用信息测度：确定性观点体系产生核心问题：远距离传输中的噪声与抗干扰问题引入概率论，描述随机过程，研究随机信号对噪声的研究：S.O.Rice于1944-1945年发表的Mathemetical Analysis of Random Noise控制论观点：N.Wiener于1948年发表的Etrapolation, interpolation and smoothing of stationary times series信息论的最终产生：Shannon于1948年发表的A Mathematical Theory of communication技术发展核心问题：信源编码与信道编码的具体构造方法及保密通信问题的研究无失真信源编码：提高有效性信道编码：提高可靠性限失真信源编码保密编码：提高安全性（DES, E

Informatics·General Learning · 2022-11-05

ML | Loss function & Activation function

Loss function损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。常见损失函数与优缺点Zero-one loss$$ L(Y,f(X))= \left\{\begin{matrix} 1,Y\neq f(X) \\ 0,Y=f(X)\end{matrix}\right. $$0-1损失函数直接对应了分类判断错误的个数，但它是非凸函数，不好优化感知机使用的即是该损失函数，但这个条件太严格，也可以放宽条件：$$ L(Y,f(X))= \left\{\begin{matrix} 1,\left| Y-f(X)\right|\geq T \\ 0,\left| Y-f(X)\right|<T \end{matrix}\right. $$绝对值损失函数$$ L(Y,f(x))=\left|Y-f(x)\right| $$log对数损失函数$$ L(Y,P(Y|X))=-

Deep Learning·Artificial Intelligence·Machine Learning · 2022-07-22

文章 | Plasmons with orbital angular momentum

Plasmons with orbital angular momentum. MendoncaMeaning of some acdemic wordsorbital angular momentum(momenta) 轨道角动量collisionless 无碰撞的inertial electrons 惯性电子static ions 静态离子torque 转矩photon 光子spin 自旋superposition 叠加orthonormal basis 标准正交基neutrinos 中微子backscatter 散射oscillation 振动thermal 热spatial 空间的wave profile 波面Some meaningful expressionsParaxial photon beams can appropriately be described by a linear superposition of LG functions.Paraxial Equation for PlasmonsThe electric field \(\textnormal{E}

Science research · 2022-07-11

JS | JS事件

JavaScript事件学习tips：每天一个JavaScript项目何谓事件HTML事件是发生在HTML元素上的“事情”，当在HTML页面中使用JavaScript时，JavaScript能够“应对”这些事件。HTML事件可以是浏览器或用户做的某些事情，例如：HTML页面完成加载HTML输入字段被修改HTML按钮被点击通常情况下，当事件发生时，用户会希望做某件事，JavaScript则充当Monitor的角色，允许事件被侦测到时执行相应的代码。同时，通过JavaScript代码，能够在HTML元素中添加事件处理程序，其格式为：<element event='JavaScript语句'>例如：<button onclik='document.getElementById("demo").innerHTML=Date()'>What's the time now? </button>或者，可以直接使用this.innerHTML来改变元素自身的内容：<button onclik='this.innerHTML=Date()'&

JS·Programming · 2022-05-30

JS | JS简介

JavaScript简介学习tips：每天一个JavaScript项目JavaScript能干啥改变HTML内容：使用getElementById()查找对应id的HTML元素，并将元素内容innerHTML进行更改改变HTML属性：改变img标签的src属性来变化一张HTML图像改变HTML样式(CSS)隐藏/显示HTML元素JavaScript的使用在HTML中，JavaScript代码必须位于<script>与</script>之间在HTML文档中的任意位置均能放置任意数量的脚本，或者外接外部js脚本文件。其中，外部JavaScript的优势有：分离HTML和脚本代码使HTML与JavaScript更易于阅读和维护已缓存的JavaScript文件可加速页面加载JavaScript不提供任何内建的打印或显示函数，要“显示”数据，能通过以下几种方式：windows.alert()警告框document.write()HTML输出innerHTML写入HTMLconsole.log()写入浏览器控制台JavaScript语句构成JavaScript语句由值、运算

JS·Programming · 2022-05-30