Энтропия дискретного источника

 

Пусть имеется дискретный источник с ансамблем X и известными вероятностями сообщений . Количество информации, содержащееся в каждом сообщении, определится величиной . Вследствие случайности самого сообщения количество информации в нем представляет собой случайную величину. Поэтому для описания источника в целом естественно использовать среднее количество информации, приходящееся на одно сообщение.

Определение 1.3.1. Математическое ожидание H (X) количества информации I (x) в сообщении дискретного источника называется энтропией источника и определяется выражением

(1.2)

Подставив в (1.2) выражение (1.1), получим

(1.3)

Замечание. Согласно соотношению (1.1) количество информации I (x) стремится к бесконечности для тех сообщений , вероятность появления которых близка к нулю. Однако энтропия любого дискретного источника всегда конечна, поскольку стремится к нулю при , в чем легко убедиться с помощью правила Лопиталя.

Поскольку количество информации I (x) отражает степень неожиданности сообщения, энтропия источника (ансамбля), как математическое ожидание I (x), характеризует среднюю неожиданность или непредсказуемость состояний источника.

Рассмотрим основные свойства энтропии.

1. Энтропия дискретного источника неотрицательна: , так как и . При этом энтропия равна нулю тогда и только тогда, когда источник полностью предсказуем, т.е. выдает единственное наперед известное сообщение.

2. Пусть – мощность дискретного источника сообщений с ансамблем X, т. е. тогда

, (1.4)

причем верхняя граница достигается в том и только том случае, когда сообщения источника равновероятны.

Доказательство. Справедливость левого неравенства уже установлена. Доказательство правого основывается на часто используемом в теории информации логарифмическом неравенстве

, (1.5)

равенство в котором имеет место только при . Формальная проверка его справедливости не составляет труда, однако нагляднее воспользоваться графиком, представленным на рис. 1.1 и не требующим пояснений.

Рассмотрим разность

где учтено, что

Рис. 1.1

Тогда используя (1.5), получаем

 

откуда и следует правое неравенство в (1.4).

Поскольку равенство в (1.5) имеет место только при , то и в (1.4) оно достигается тогда, когда а значит, для всех , т. е. при равновероятных сообщениях.

Замечание. Установленные границы энтропии хорошо согласуются с ее ролью меры неопределенности сообщений источника. В самом деле, когда источник не обладает вообще никакой неопределенностью, энтропия обращается в нуль. Максимальной же неопределенностью, очевидно, обладает источник, все сообщения которого равно ожидаемы, т. е. априори не имеют предпочтений друг перед другом по вероятности появления.

3. Пусть X и Y – статистически независимые ансамбли, а XY – ансамбль, сообщения которого представляют собой все возможные пары , где , , т. е. образуют множество . Поскольку X и Y независимы, то и

. (1.6)

Данное свойство, называемое аддитивностью энтропии, означает, что при комбинировании независимых источников их энтропии складываются.

Соотношение (1.6) можно обобщить на произвольное число независимых источников. Пусть – ансамбль, образованный n статистически независимыми ансамблями так, что каждое сообщение из есть цепочка , где . Тогда

Пример 1.3.1. Рассмотрим двоичный источник, сообщения которого имеют вероятности , . Энтропия подобного ансамбля

Рис. 1.2

. (1.7)

Введенная функция – энтропия двоичного источника – чрезвычайно популярна в теории информации. График ее представлен на рис. 1.2. В точках и эта функция обращается в нуль. При , когда оба сообщения равновероятны, она имеет максимум, равный единице, т.е. одному биту. Значения даются табл. 1.1.

 

 

Таблица 1.1.

Энтропия двоичного ансамбля