ТЕМА 5. ИНФОРМАЦИЯ И ЭНТРОПИЯ

Источник независимых сообщений представляет простейший и достаточно редко используемый на практике тип источника. В реальности всегда существуют статистические связи между сообщениями, усложняющие анализ. Например, в тексте появление любой буквы зависит от предыдущих буквенных сочетаний (так в русском языке, после сочетания СП вероятность появления гласных букв О, Е, А или И значительно выше, чем согласных).

Одним из фундаментальных положений теории информации является вывод о том, что энтропия источника уменьшается при увеличении числа сообщений, характеризующихся наличием статистической связи:

 

Иными словами, статистические связи между сообщениями источника приводят к уменьшению среднего количества информации
в одном сообщении.

Таким образом, что часть сообщений оказывется избыточной и может быть восстановлена с помощью известных статистических связей. При этом появляется возможность передачи сообщений в сокращенном виде без потерь информации (например, в телеграммах из текста исключаются союзы, предлоги и знаки препинания, легко восстанавливаемые при чтении).

Говорят, что источник зависимых сообщений обладает избыточностью. При передаче информации источник без избыточности выдает сообщений, тогда как источник
с избыточностью . Так как , то , т.е. для передачи одинакового количества информации источник с избыточностью использует большее число сообщений.

Избыточное количество сообщений определяется величиной разности , а избыточность - соотношением

Для русского языка, например, избыточность составляет около 50%.

Коэффициент называется коэффициентом сжатия
и показывает, до какой величины можно сжать передаваемые сообщения, если устранить избыточность.

Несмотря на то, что избыточность источника снижает скорость передачи информации и вызывает необходимость сжатия сообщений
с помощью кодирования, ее нельзя рассматривать как полностью негативный фактор. Она позволяет повысить достоверность передачи информации, упрощая восстановление текста, поврежденного при передаче по каналу с высоким уровнем шумов.

 

Вопросы для самоконтроля:

1. Как взаимосвязана информация с вероятностью появления сообщений?

2. Что такое ансамбль сообщений?

3.Как определяется энтропия источника сообщений?

4.Перечислите основные свойства энтропии источника независимых сообщений.

5. Как изменяется энтропия источника при увеличении числа сообщений, характеризующихся наличием статистической связи?

6. Что такое избыточность источника?

7. Что такое коэффициент сжатия?

 

Новыш

ТЕМА 5. ИНФОРМАЦИЯ И ЭНТРОПИЯ

 

Основные понятия и определения:

Ансамбль сообщений. Энтропия. Избыточность источника. Коэффициент сжатия.