1.1. 信息的度量

信息针对某个问题的答案，0或者1，采用概率描述

通过物理载波传播，例如光、电。

信息量的大小和消息出现概率有关，出现概率越小，信息量越大，反之亦然。如果出现概率=1，信息量为0.

消息由多个符号组成，可以按照如下计算：

l 平均信息量：根据统计每个符号出现次数，乘以出现概率累计，按照总个数求平均值，即平均信息量。

l 统计信息量（熵）：按照出现概率乘以概率的log，累计得到平均值。

实例：

【例】 某离散信源由4种符号0、 1、 2、 3组成，它们出现的
概率分别为3/8、 1/4、 1/4、 1/8，且每个符号的出现都是
相互独立的。试求消息
20102013021300120321010032101002310200201032100120
2101320的信息量。

解】 ：此消息中， 0出现23次， 1出现14次， 2出现13
次， 3出现7次，消息共有57个符号，其中
出现0的信息量为23log28/3=33bits，
出现1的信息量为14log24=28bits，
出现2的信息量为13log24=26bits，
出现3的信息量为7log28=21bits，
故该消息的信息量为：I=33+28+26+21=108 (bits)
算术平均一个符号的信息量为： average=I/57=1.89 (b/symbol)

信息的熵：

1.2. 通信指标

有效性：传输信息需要占用资源，资源利用率就是有效性。带宽、功率、空间、时间、码分多址的码字等资源

模拟系统使用频带利用率，数字系统使用传输速率和频带利用率

传输速率是单位时间传输的码元（或者符号）数量，单位波特。

信息传输速率单位时间传输的信息量，单位bits/s，bps。

当二进制传输时，每个码元就是一个bit，两者相等。

前提：每个符号等概率传输。

可靠性：不失真。

模拟通过接收信噪比；数字系统采用误码率和误信率。

对于二进制传输系统，Pb=Pc。

对于多进制传输系统，没有必然关系。

预告下篇：信道