Информационная емкость канала связи

Пусть на вход канала связи поступает последовательность символов , где – входной алфавит, а – множество всех возможных входных последовательностей . Пусть на выходе канала наблюдается некоторая последовательность , а – множество всех выходных последовательностей . Пусть заданы переходные вероятности для всех и . Тогда согласно (3.7) средняя взаимная информация между входным и выходным ансамблями запишется в виде

,

где .

Назовем средней взаимной информацией между входом и выходом канала, приходящейся на один символ, величину

. (3.15)

Определение 3.3.1. Информационной емкостью канала называется точная верхняя грань средней взаимной информации между входом и выходом на символ

, (3.16)

по всем возможным значениям длин n и распределениям , входных последовательностей.

В обсуждаемых далее теоремах кодирования для канала ключевую роль играет константа, называемая пропускной способностью. Если скорость передачи не превышает этой величины, то, как утверждается прямыми теоремами кодирования, в принципе возможна работа со сколь угодно малой вероятностью ошибки. Смысл обратных теорем состоит в том, что при скоростях, больших пропускной способности, достижение высокой достоверности принципиально невозможно. Важнейшим является тот далее устанавливаемый факт, что для всех моделей каналов, представляющих практический интерес, введенная выше информационная емкость и есть пропускная способность.