Данная мера неопределенности получила название энтропии

Заметим, что под опытом X мы можем принимать информативный параметр сигнала. Поэтому, говоря об энтропии опыта со случайными исходами, мы с полным правом можем говорить и об энтропии сигнала как о мере его неопределенности до получения конкретной реализации сигнала.

Следовательно, мера К. Шеннона является обобщением меры Хартли на случай ансамбля с неравновероятными состояниями. Она, энтропия, позволяет учесть статистические свойства источника информации.

Понятие энтропии тесно связано с понятием количества информации. Под количеством информации обычно понимается мера снятой неопределенности в процессе получения сигнала адресатом.

Предположим, что априорно ситуация характеризовалась энтропией H₁. После получения сигнала энтропия уменьшилась до H₂. Тогда количество информации, полученное адресатом,

(3.6)

Пример 3.1. Сравнить неопределенность, приходящуюся на букву источника информации, Х (алфавита русского языка), характеризуемого ансамблем, представленным в табл. 3.1, с неопределенностью, которая была бы у того же источника при равновероятным использовании букв.

При одинаковых вероятностях появления всех 32 букв алфавита неопределенность, приходящаяся на одну букву, составляет

Буква	Пробел	о	е, ё	а	и	т	н	с	р	В	л
Вероятность	0, 175	0.090	0, 072	0, 062	0, 062	0, 053	0, 053	0.045	0, 040	0, 038	0, 035
Буква	к	м	д	п	у	я	ы	з	ь, ъ	Б	г
Вероятность	0, 028	0, 026	0, 025	0, 023	0.021	0, 018	0, 016	0, 016	0, 014	0, 014	0, 013
Буква	ч	й	х	ж	ю	ш	ц	щ	э	Ф
Вероятность	0, 012	0, 010	0, 009	0, 007	0, 006	0, 006	0, 004	0, 003	0, 003	0, 002

таблица 3.1

Энтропию источника H₁(X) для независимых букв (табл. 3.1), находим, используя формулу (3.5):

Пример 3.2. Приводятся значения энтропий H_i, приходится на одну букву русского и английского алфавитов с учетом различных корреляционных (статистических) связей в буквенных сочетаниях (H₀, H₁, H₂, …, H_N). Вероятность появления букв в английском алфавите приведены в таблице 3.2.

таблица 3.2

Буква	Пробел	e	t	o	a	n	i	r	s	h
Вероятность	0, 2	0, 105	0, 072	0, 0654	0, 063	0, 059	0, 055	0, 054	0, 052	0, 047
Буква	d	l	c	f	u	m	p	y	w	g
Вероятность	0, 035	0, 029	0, 023	0, 0225	0, 0225	0, 021	0, 0175	0, 012	0, 012	0, 011
Буква	b	v	k	x	j	q	z
Вероятность	0, 0105	0, 008	0, 003	0, 002	0, 001	0, 001	0, 001

Значения энтропии H_i, приходящихся на одну букву с учетом различных многобуквенных сочетаний (H₂, H₃, …, H_N – энтропия на букву текста при учете вероятности появления двухбуквенных H₂, трехбуквенных H₃, …, H_N сочетаний) приведены в таблице 3.3

таблица 3.3

Энтропия	H0	H1	H2	H3	H5	H8
Русский текст Английский текст	5, 00 4, 75	4, 35 4, 03	3, 52 3, 32	3, 00 3, 10	– 2, 16	– 1, 86

Таким образом, энтропия приходящаяся на одну букву смыслового текста при учете многобуквенных сочетаний уменьшается. Это характеризует избыточность наиболее распространенных языков. Во многих случаях выгодно первоначальный алфавит источника представить при помощи другого алфавита путем кодирования.

 

3.2 Свойства энтропии [1, 3 и др.].

Рассмотрим основные свойства энтропии, обратив внимание на то, что сформулированные условия для меры неопределенности выполняются.

1. Энтропия является вещественной и неотрицательной величиной, так как для любого i(1≤ i≤ N) p_i изменяется в интервале от 0 до 1, log(p_i) отрицателен и, следовательно, -p_ilog(p_i) положительна.

2. Энтропия – величина ограниченная. Для слагаемых –p_ilog(p_i) в диапазоне 0< p_i≤ 1 ограниченность очевидна. Остается определить предел, к которому стремится слагаемое –p_ilog(p_i) при p_i→ 0, поскольку -log(p_i) при этом неограниченно возрастает:

Обозначив и воспользовавшись правилом Лопиталя, получим

3. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно, равны нулю. Это положение соответствует случаю, когда состояние источника полностью определено.

4. Энтропия максимальна, когда все состояния источника равновероятны, что легко доказывается методом неопределенных множителей Лагранжа:

(3.7)

5. Энтропия источника x с двумя состояниями x₁ и x₂ изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей:

График зависимости H(X) в функции p

(3.8)

приведены на рис. 3.1

Рис. 3.1. Зависимость энтропии H(X) от вероятности p.

При p< < (1-p) частная неопределенность, приходящаяся на состояние x₁ велика, однако такие состояния источника весьма редки. Состояния x₂ реализуются часто, но неопределенность, приходящаяся на такое состояние, очень мала. Поэтому энтропия, характеризующая среднюю неопределенность на одно состояние ансамбля, так же мала. Аналогичная ситуация наблюдается при p> > (1-p).

Отметим, что энтропия непрерывно зависит от вероятностей отдельных состояний, что непосредственно вытекает из непрерывности функции –plogp.

6. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Не теряя общности, ограничимся рассмотрением объединения, включающего два источника информации x и y понимают обобщенный источник информации (x, y), характеризующийся вероятностями p(x_i, y_j) всех возможных комбинаций состояний x_i источника X и y_j источника Y. Аналогично трактуется и объединение ансамблей.

В соответствии с определением энтропия объединения

(3.9)

здесь p(x_i, y_j) – вероятности совместной реализации состояний

и

В случае статистической независимости источников информации x и y запишем

тогда

Учитывая, что

и

получим

(3.10)

Соответственно для энтропии объединения нескольких независимых источников x, y, z имеем

(3.11)

В дальнейшем для придания общности получаемым результатам о неопределенности выбора будем говорить в основном применительно к математическим моделям источников информации в виде ансамблей.

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При ее определении используют только вероятности состояний, полностью игнорируя их содержательную сторону.

8. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека, в частности реакции выбора. Установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растет с увеличением их числа так же, как энтропия. Это характеризует неопределенность выбора одного раздражителя.

Замена равновероятных раздражителей неравновероятными приводит к снижению среднего времени реакции ровно настолько, насколько уменьшается энтропия.

 

3.3 Условная энтропия и ее свойства [1, 2 и др.].

При оценке меры неопределенности выбора исхода опыта часто необходимо учитывать статистические связи, которые в большинстве случаев имеют место как между состояниями двух или нескольких источников, объединенных в рамках одной системы, так и между состояниями, последовательно выбираемыми одним источником.

Определим энтропию объединения двух статистически связанных ансамблей X и Y. Объединение ансамблей характеризуется матрицей p(X, Y) вероятностей p(x_i, y_j) всех возможных комбинаций состояний x_i(1≤ i≤ N) ансамбля X и состояний y_j(1≤ j≤ k) ансамбля Y:

(3.12)

Суммируя столбы и строки матрицы (3.12), получим информацию об ансамблях X и Y исходных источников x и y:

При известных вероятностях p(x_i, y_j) появления пары (x_i, y_j) энтропия системы сигналов X, Y в соответствии с формулой (3.9) определяется выражением

(3.13)

Проанализируем это выражение. Согласно теореме умножения вероятностей,

(3.14)

(3.15)

Здесь p(y_j) и p(x_i) – вероятности появления элементов соответственно и ; p(y_j|x_i) – условная вероятность появления элемента при условии, что уже известен элемент ; p(x_i|y_j) – условная вероятность появления элемента при условии, что уже известен элемент .

Подставив в формулу (3.13) и (3.14), получим

Учитывая, что log p(y_j)p(x_i|y_j)=log p(y_j)+log p(x_i|y_j), последнее выражение перепишем в виде

Имея в виду, что , получим

Рассмотрим сумму . Согласно формуле (3.5) эта сумма представляет собой энтропию сигнала Y. Сумма представляет собой случайную величину, характеризующую неопределенность, приходящуюся на одно состояние ансамбля Y при условии, реализовалась конкретное состояние x_i ансамбля X. Эта условная энтропия относительно элемента y_j называется частной условной энтропией. Обозначим ее через H(X|y_j). В результате получим

Сумма представляет собой усредненное значение частной условной энтропии H(X|y_j) по всем возможным значениям сигнала Y и называется условной энтропией сигнала X относительно сигнала Y. Обозначив условную энтропию через H(X|Y), получим

(3.16)

Если в равенство (3.13) подставить выражение (3.15), а не (3.14), то после аналогичных преобразований получим

(3.17)

Формулы (3.16) и (3.17) позволяет сделать вывод, что энтропия объединения двух сигналов X и Y равна энтропии одного из этих сигналов плюс условная энтропия второго сигнала относительно первого.