信息论基础 | 信源分类与数学模型

第2章 信源与信息熵信源的分类与数学模型无记忆信源发出单个符号的无记忆信源每次只发出一个符号代表一个信息的信源$$ A=\{a_1,a_2,\cdots,a_n\}, X\in A $$$$ \begin{bmatrix} \mathbf{X}\\ P \end{bmatrix}= \begin{bmatrix} a_1 & a_2 & \cdots & a_n\\ p(a_1) & p(a_2) & \cdots & p(a_n) \end{bmatrix} $$$$ p(a_i)\geqslant0, \sum_{i=1}^{n}p(a_i)=1 $$发出单个符号的连续无记忆信源发出的消息也是单个符号，但消息数量是无限的，如测量干电池的电压值，取值为\([0,1.5]\)之间的所有实数，测量值随机$$ \begin {bmatrix} X\\P \end {bmatrix}= \begin {bmatrix} (a,b)\\p_X(x) \end {bmatrix}或 \begin {bmatrix} \mathbf{R}\\p

Informatics·General Learning · 2022-11-11

信息论基础 | 绪论

第1章 绪论信息论的形成与发展产生背景原始通信方式：烽火通信、信鸽报信等技术准备从原始方式到电气表征、传输有线通信的发明：电报、电话、电码无线通信的发明需要解决的问题：如何远距离传输三极管的发明放大器放大电路理论准备核心问题：如何提高信道利用率滤波器的发明：频分复用采样定理的提出：时分复用信息测度：确定性观点体系产生核心问题：远距离传输中的噪声与抗干扰问题引入概率论，描述随机过程，研究随机信号对噪声的研究：S.O.Rice于1944-1945年发表的Mathemetical Analysis of Random Noise控制论观点：N.Wiener于1948年发表的Etrapolation, interpolation and smoothing of stationary times series信息论的最终产生：Shannon于1948年发表的A Mathematical Theory of communication技术发展核心问题：信源编码与信道编码的具体构造方法及保密通信问题的研究无失真信源编码：提高有效性信道编码：提高可靠性限失真信源编码保密编码：提高安全性（DES, E

Informatics·General Learning · 2022-11-05

ML | Loss function & Activation function

Loss function损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。常见损失函数与优缺点Zero-one loss$$ L(Y,f(X))= \left\{\begin{matrix} 1,Y\neq f(X) \\ 0,Y=f(X)\end{matrix}\right. $$0-1损失函数直接对应了分类判断错误的个数，但它是非凸函数，不好优化感知机使用的即是该损失函数，但这个条件太严格，也可以放宽条件：$$ L(Y,f(X))= \left\{\begin{matrix} 1,\left| Y-f(X)\right|\geq T \\ 0,\left| Y-f(X)\right|<T \end{matrix}\right. $$绝对值损失函数$$ L(Y,f(x))=\left|Y-f(x)\right| $$log对数损失函数$$ L(Y,P(Y|X))=-

Deep Learning·Artificial Intelligence·Machine Learning · 2022-07-22

文章 | Plasmons with orbital angular momentum

Plasmons with orbital angular momentum. MendoncaMeaning of some acdemic wordsorbital angular momentum(momenta) 轨道角动量collisionless 无碰撞的inertial electrons 惯性电子static ions 静态离子torque 转矩photon 光子spin 自旋superposition 叠加orthonormal basis 标准正交基neutrinos 中微子backscatter 散射oscillation 振动thermal 热spatial 空间的wave profile 波面Some meaningful expressionsParaxial photon beams can appropriately be described by a linear superposition of LG functions.Paraxial Equation for PlasmonsThe electric field \(\textnormal{E}

Science research · 2022-07-11

JS | JS事件

JavaScript事件学习tips：每天一个JavaScript项目何谓事件HTML事件是发生在HTML元素上的“事情”，当在HTML页面中使用JavaScript时，JavaScript能够“应对”这些事件。HTML事件可以是浏览器或用户做的某些事情，例如：HTML页面完成加载HTML输入字段被修改HTML按钮被点击通常情况下，当事件发生时，用户会希望做某件事，JavaScript则充当Monitor的角色，允许事件被侦测到时执行相应的代码。同时，通过JavaScript代码，能够在HTML元素中添加事件处理程序，其格式为：<element event='JavaScript语句'>例如：<button onclik='document.getElementById("demo").innerHTML=Date()'>What's the time now? </button>或者，可以直接使用this.innerHTML来改变元素自身的内容：<button onclik='this.innerHTML=Date()'&

JS·Programming · 2022-05-30

JS | JS简介

JavaScript简介学习tips：每天一个JavaScript项目JavaScript能干啥改变HTML内容：使用getElementById()查找对应id的HTML元素，并将元素内容innerHTML进行更改改变HTML属性：改变img标签的src属性来变化一张HTML图像改变HTML样式(CSS)隐藏/显示HTML元素JavaScript的使用在HTML中，JavaScript代码必须位于<script>与</script>之间在HTML文档中的任意位置均能放置任意数量的脚本，或者外接外部js脚本文件。其中，外部JavaScript的优势有：分离HTML和脚本代码使HTML与JavaScript更易于阅读和维护已缓存的JavaScript文件可加速页面加载JavaScript不提供任何内建的打印或显示函数，要“显示”数据，能通过以下几种方式：windows.alert()警告框document.write()HTML输出innerHTML写入HTMLconsole.log()写入浏览器控制台JavaScript语句构成JavaScript语句由值、运算

JS·Programming · 2022-05-30

Pytorch | Transforms

Transforms的结构及用法transforms.py相当于一个工具箱，工具箱中有名为totensor，resize等工具，图片被这些工具处理之后会得到我们想要的结果。在使用工具前，需要创建具体的工具，如：tool = treansforms.ToTensor()，接着将图片输入，得到结果：tensor_img = tool(img). 主要操作流程为：输入图片，使用PIL库中的Image.open()常见的Transforms要弄清楚输入输出的数据类型，处理的方法能实现什么样的效果。

Deep Learning·Artificial Intelligence·Machine Learning · 2022-04-21

MySQL | 常用语句

弄清MySQL与SQL的关系常用语句注意：执行某一行代码务必在最后带上;符号SHOW DATABASES查看现有的所有数据库USE <DATABASE>切换到某一database下进行操作SHOW TABLES查看该数据库下的所有表DESC <TABLENAME>查看某个表中的所有字段信息

Programming · 2022-04-17