Источники сообщений

5. Юрьев В.К., Куценко Г.И. Общественное здоровье и здравоохранение. – С.-Петербург, 2000.– 914 с.

Тема 3. Передача информации по каналам связи

Источник сообщений - это то, что вырабатывает сообщения. Это устная речь, письмо, газеты, книги, сообщения по радио, телевидению, результаты измерений, представленные в виде последовательности цифр и т. д. Сообщение может поступать в форме последовательности каких-либо кодовых знаков.

Нас интересует источник с математической точки зрения, так чтобы можно было отличать источники друг от друга с каких то обобщенных позиций.

С математической точки зрения, под источником информации понимают множество возможных сообщений с заданной на этом множестве вероятностной мерой.

Различают дискретные источники и непрерывные. Различие между ними в том, что элементы в дискретном случае образуют счетное множество, а в непрерывном - несчетное множество (континуум).

Дискретный источник определен, если перечислены все его возможные сообщения и указаны их вероятности.

x₁, x₂, x₃,..., x_m

p(x₁), p(x₂), p(x₃),...,p(x_m), ,

Тогда энтропия источника, или количество информации, приходящееся в среднем на одно сообщение, будет составлять:

(3.1)

Это простейшая модель источника сообщений. Реальные источники характеризуются тем, что между элементарными сообщениями существуют статистические связи.

Источник (3.1) является моделью первого, самого грубого приближения. Модель второго приближения учитывает статистику взаимосвязей между соседними буквами p(x_j/x_i). Модель третьего приближения учитывает связи между тремя соседними буквами p(x_k/x_ix_j) и т.д.

Известно, что H(X₂/X₁)≤H(X), H(X₃/X₁X₂)≤H(X₂/X₁) и т. д., поэтому энтропии разных степеней приближения составляют монотонно убывающий ряд: H₀ ³ H₁ ³ H₂ ³ H₃ ³... H_n-1³ H_n,

где H₀ - модель источника без учета статистических характеристик H₀=log n.

По мере возрастания номера убывание замедляется, и вся цепочка стремится к некоторому пределу

Например, если возьмем 32 буквы русского алфавита, то значение энтропии будет убывать в зависимости от номера модели

H₀=log 32=5 бит H₁ =4,42бит

Учитывая, что между буквами алфавита существуют взаимосвязи, например в русском языке довольно часто встречаются сочетания: тся, ает, щий и т.д. Но, с другой стороны, невозможно встретить сочетание аь, иы и т.д.То модели более высоких номеров будут иметь все меньшее значение энтропии и в пределе стремиться к минимально возможному значению.

Энтропия характеризует среднее количество информации, приходящееся на один символ сообщения. Если источник выдает n символов в секунду, то скорость выдачи информации будет составлять R_и=nH.