若bit/符号，bit/符号，则 bit/符号。
对信源进行观察后，信源通常还存在 它与信源的后验概率有关。
若信源熵H(X)=1bit/符号，条件熵H(Y|X)=0.5bit/符号，则联合熵H(XY)= bit/符号。
时间离散、幅值离散的信道称为 信道。
在对信源进行观察之前，对认识主体来说，信源存在 。
考虑任意N个相邻时刻输出的随机变量，将其看成一个新的离散无记忆信源的输出，则称为 。
是自信息量的统计平均。
马尔可夫信源是一种特殊的DMS。
m阶马尔可夫信源的极限熵表示信源稳定后每发一个符号所能提供的平均信息量。
马尔可夫链的有限维分布函数由初始分布和一步转移概率决定。
根据自信息量的公式，我们认为概率为0的事件的不确定性为无穷大。
自信息量是变量的函数。
通过信源编码来提升信息传输效率，意味着提升信源的信息含量效率，降低冗余度。
确定性事件的熵为1.
先验概率越小，信源的实在信息越大。