Single-cell RNA-sequencing

BackgroundDeep sequencing of DNA and RNA from a single cell is of great importance in the investigation of cellular functions. Generally, typical next-generation sequencing experiments often contain the following steps: isolation of single-cell, nucleic acid extraction and amplification, sequencing library preparation, sequencing, and bioinformatic data analysis. However, it is obviously more challenging to perform single-cell sequencing than sequencing from cells in bulk. As the development of

Bioinformatics·Science research · 2023-08-22

信息论基础 | 信道编码

第6章 信道编码噪声信道中的编码前言平均互信息（信息传输率）为I(X;Y)=H(X)−H(X∣Y)I(X;Y)=H(X)-H(X|Y)信道容量为C=max⁡I(X;Y)C=\max I(X;Y)通过调整信源的概率分布，使得信息传输率尽量接近信道容量，也就是让信息传输率尽可能大，这一过程称为信源和信道匹配信源编码的目的：增加信源熵H(X)H(X)，理解为信源发出的所有符号中每个符号带有的平均信息量，实现符号匹配，压缩冗余信道编码的目的：减少损失熵H(X∣Y)H(X|Y)，提高传输信号的抗干扰能力避免少量差错信号对信息内容的影响：使用纠错编码（纠错、检错）信道编码的研究对象：信息序列（即码元间彼此无关且等概率出现）基本思路：在传输的信息码中按照一定规律产生一些附加码元，经过信道传输，在传输中若码字出现错误，接收端则利用编码规律发现码的内在相关性被破坏，从而按照一定的译码规则自动纠正或发现错误，降低误码率基本方法前向纠错(FEC)纠错过程在接收端独立进行，没有反馈，信息一直朝着前面的方向传播，因此叫前向译码设备复杂，适用于实时性高容错能力强的场合反馈重发(ARQ)在接收端判断收到的序列是否符合编码规则，如果不符合就通知重发如循环冗余校验码(CRC)混合纠

Informatics·General Learning · 2022-12-16

信息论基础 | 信源编码

第5章 信源编码前言编码方式信源编码信道编码信源编码原因由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度目的通过信源编码减少冗余，提高编码效率，提高通信的有效性方法解除相关性概率均匀化定理无失真编码定理（针对离散信源）限失真编码定理（针对连续信源）编码的概念定义分组码将信源消息分成若干组，用符号序列xi=(xi1,xi2,⋯,xil,⋯,xiL)\mathbf {x_i}=(x_{i_1},x_{i_2},\cdots,x_{i_l},\cdots,x_{i_L})表示，序列中每个符号都取自于符号集AA，xiL∈A={a1,a2,⋯,ai,⋯,an}x_{i_L}\in A=\{a_1,a_2,\cdots,a_i,\cdots,a_n\}，每个xix_i依照固定的码表映射成一个码字yiy_i按照码表映射编码的码称为分组码，有时也叫做块码，只有分组码才有对应的码表，非分组码不存在码表码字每个码符号序列称为码字，如编码后的0001,0010,1100{0001,0010,1100}DD元码由DD个符号组成的码字集合，如0,1{0,1}对应二源码，0,1,2{0,1,2}对应三元码理解根据编码方式的不同，同一个信源符号可以有不同的码符号序列将信源符号变换成由码元符号组成的码符号序列的过程就

Informatics·General Learning · 2022-12-13

信息论基础 | 信息率失真函数

第4章 信息率失真函数前言对于失真的合理与可行性分析实际信息处理过程允许一定程度的失真连续信源编码必定存在失真一定范围内的失真可以大幅提高编码效率本章的研究对象允许一定失真的离散信源编码和连续信源编码失真函数定义设某一信源XX，输出样值为xix_i，经过有失真的信源编码器，输出YY，样值为yjy_j，满足以下关系xi∈{a1,⋯,an},yj∈{b1,⋯,bm}x_i\in \{a_1,\cdots,a_n\},y_j\in \{b_1,\cdots,b_m\}如果xix_i=yjy_j，则认为没有失真，反之认为产生失真失真函数表示为d(xi,yi)d(x_i,y_i)，是用来表示失真的大小的量，能衡量用yiy_i代替xix_i所引起的失真程度，一般的失真函数可定义为d(xi,yj)={0,xi=yjα,α>0,xi≠yjd(x_i,y_j)=\left \{ \begin {matrix}0,&x_i=y_j\\\alpha,&\alpha>0,x_i\neq y_j\end {matrix}\right.如果把所有的失真函数值排列起来，则可以用矩阵表示，构成失真矩阵$$ \mathbf d=\begin {bmatrix} d(a_1,b

Informatics·General Learning · 2022-12-05

信息论基础 | 信道及信道容量

第3章 信道与信道容量信道的基本概念信道分类按用户数量分单用户信道一个输入端和一个输出端，信息朝一个方向传输多用户信道输入端和输出端中至少有一端存在两个以上住户，信息在两个方向上都能传输（双向）按输入输出关系分无反馈信道输出端的信号不反馈到输出端，输入输出无影响反馈信道输出信号通过一定途径反馈到输入端，使得输入端的信号发生变化按信道参数与时间的关系分固定参数信道信道参数（统计特性）不随时间变化而变化，如光纤、光缆信道等时变参数信道信道参数会随事件发生改变，如无线信道的参数会因为天气等环境原因而发生较大的变化按所受噪声种类分随机差错信道噪声独立随机地影响每个传输码元，如以高斯白噪声为主体的信道突发差错信道噪声和干扰的影响是前后相关的，错误成串出现，如实际的衰落信道、码间干扰信道按输入输出信号特点分离散信道输入输出信号在时间上离散连续信道信号的幅度是连续的，时间是离散的半离散半连续信道输入和输出两个信号中有一个是离散的，另一个则是连续的波形信道输入、输出信号在时间和幅度上均连续，可以用随机过程来描述由前面的章节可知，只要随机过程有某种限制（如限时限频），就可以分解成（时间或频率）离散的随机

Informatics·General Learning · 2022-12-02

信息论基础 | 信源分类与数学模型

第2章 信源与信息熵信源的分类与数学模型无记忆信源发出单个符号的无记忆信源每次只发出一个符号代表一个信息的信源A={a1,a2,⋯,an},X∈AA=\{a_1,a_2,\cdots,a_n\}, X\in A[XP]=[a1a2⋯anp(a1)p(a2)⋯p(an)]\begin{bmatrix} \mathbf{X}\\P\end{bmatrix}=\begin{bmatrix}a_1 & a_2 & \cdots & a_n\\ p(a_1) & p(a_2) & \cdots & p(a_n) \end{bmatrix}p(ai)⩾0,∑i=1np(ai)=1p(a_i)\geqslant0, \sum_{i=1}^{n}p(a_i)=1发出单个符号的连续无记忆信源发出的消息也是单个符号，但消息数量是无限的，如测量干电池的电压值，取值为[0,1.5][0,1.5]之间的所有实数，测量值随机$$ [XP]= [(a,b)pX(x)]或 \begin {bmatrix} \mathbf{R}\p

Informatics·General Learning · 2022-11-11

信息论基础 | 绪论

第1章 绪论信息论的形成与发展产生背景原始通信方式：烽火通信、信鸽报信等技术准备从原始方式到电气表征、传输有线通信的发明：电报、电话、电码无线通信的发明需要解决的问题：如何远距离传输三极管的发明放大器放大电路理论准备核心问题：如何提高信道利用率滤波器的发明：频分复用采样定理的提出：时分复用信息测度：确定性观点体系产生核心问题：远距离传输中的噪声与抗干扰问题引入概率论，描述随机过程，研究随机信号对噪声的研究：S.O.Rice于1944-1945年发表的Mathemetical Analysis of Random Noise控制论观点：N.Wiener于1948年发表的Etrapolation, interpolation and smoothing of stationary times series信息论的最终产生：Shannon于1948年发表的A Mathematical Theory of communication技术发展核心问题：信源编码与信道编码的具体构造方法及保密通信问题的研究无失真信源编码：提高有效性信道编码：提高可靠性限失真信源编码保密编码：提高安全性（DES, E

Informatics·General Learning · 2022-11-05

ML | Loss function & Activation function

Loss function损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。常见损失函数与优缺点Zero-one lossL(Y,f(X))={1,Y≠f(X)0,Y=f(X)L(Y,f(X))=\left\{\begin{matrix} 1,Y\neq f(X) \\ 0,Y=f(X)\end{matrix}\right.0-1损失函数直接对应了分类判断错误的个数，但它是非凸函数，不好优化感知机使用的即是该损失函数，但这个条件太严格，也可以放宽条件：L(Y,f(X))={1,∣Y−f(X)∣≥T0,∣Y−f(X)∣<TL(Y,f(X))=\left\{\begin{matrix}1,\left| Y-f(X)\right|\geq T \\ 0,\left| Y-f(X)\right|<T\end{matrix}\right.绝对值损失函数L(Y,f(x))=∣Y−f(x)∣L(Y,f(x))=\left|Y-f(x)\right|log对数损失函数$$ L(Y,P(Y|X))=-

Deep Learning·Artificial Intelligence·Machine Learning · 2022-07-22