Информационные характеристики дискретного источника

К основным характеристикам дискретного источника относятся: энтропия, производительность (поток) информации и избыточность.

Энтропия дискретного источника определяет среднее количество информации, приходящееся на одно сообщение. Если сообщения независимы, то используется формула (8.1), в которой – вероятность появления i -го символа.

Энтропия является основной характеристикой источника сообщений. Чем больше энтропия источника, тем больше в среднем степень неожиданности передаваемых им сообщений, т.е. более неопределенным (до передачи сообщения) является ожидаемое сообщение. После приема сообщения (если оно принимается верно) всякая неопределенность снимается. Чем выше энтропия, тем труднее запомнить (записать) сообщение или передать его по каналу связи.

С понятием «энтропия» тесно связаны такие характеристики источника сообщений как его производительность и информационная избыточность .

Производительностью источника информации называется среднее количество информации, выдаваемой источником в единицу времени:

(9.4)

где – средняя длительность символа источника; – длительность i -го символа, n – число различных источников, – частота посылки символов (скорость источника).

Избыточность источника R _и зависит как от протяженности статистических связей между последовательно выбираемыми символами (паматью источника), так и от степени неравновероятности отдельных символов. Из-за корреляционных связей между символами и неравновероятностного их появления в реальных сообщениях, количество информации, переносимое одним символом, падает. Количественно эти потери информации характеризуют коэффициентом избыточности r _и:

(9.5)

где – максимальное количество информации, переносимое одним символом, когда символы независимы и равновероятны; – количество информации, переносимое одним символом в реальных условиях.

Избыточность измеряется от 0 до 1. Ее численное значение показывает, на какую часть можно сократить объем сообщений без потери информации за счет более рационального использования символов источника. Например, если r _и=0,4; то это означает, что после устранения избыточности объем сообщения уменьшится на 40%.

Чем меньше избыточность, тем рациональнее работает источник. Однако на практике не всегда следует стремиться к уменьшению избыточности до нуля. Некоторая избыточность бывает полезной для повышения достоверности при передаче сообщений в условиях помех. С этой целью при кодировании сообщений в кодовую последовательность специально вводят избыточные символы.

Пример 9.2. Средняя длительность символа источника равна 0,22 с.

Определить информационные (интегральные) характеристики дискретного источника сообщений из примера 9.1, количество информации в символах.

Решение. Основными характеристиками дискретного марковского источника являются энтропия, производительность и избыточность. Вычислим эти характеристики ().

1).Условные энтропии появления символов A, C, D:

Энтропия марковского источника:

2). Производительность

3). Избыточность

Количество информации в символах A, C, D – это мера снятия неопределенности (устранения разнообразия):

Пример 9.3. Алфавит источника состоит из букв х ₁ и x ₂, вероятности и длительности которых равны p ( =0,75, p (x ₂)=0,25; (x ₁)=4 мс, =8 мс. Статистические связи между буквами отсутствуют. Определите энтропию источника, его производительность и избыточность.

Решение. Так как буквы независимы, то энтропия, средняя длина символа источника, производительность и избыточность соответственно равны