Информационная емкость канала связи
Пусть на вход канала связи поступает последовательность символов
где Назовем средней взаимной информацией между входом и выходом канала, приходящейся на один символ, величину
Определение 3.3.1. Информационной емкостью канала называется точная верхняя грань средней взаимной информации между входом и выходом на символ
по всем возможным значениям длин n и распределениям В обсуждаемых далее теоремах кодирования для канала ключевую роль играет константа, называемая пропускной способностью. Если скорость передачи не превышает этой величины, то, как утверждается прямыми теоремами кодирования, в принципе возможна работа со сколь угодно малой вероятностью ошибки. Смысл обратных теорем состоит в том, что при скоростях, больших пропускной способности, достижение высокой достоверности принципиально невозможно. Важнейшим является тот далее устанавливаемый факт, что для всех моделей каналов, представляющих практический интерес, введенная выше информационная емкость и есть пропускная способность.
|
, где 
– входной алфавит, а 
– множество всех возможных входных последовательностей 
. Пусть на выходе канала наблюдается некоторая последовательность 
, а 
– множество всех выходных последовательностей 
. Пусть заданы переходные вероятности 
для всех 
и 
. Тогда согласно (3.7) средняя взаимная информация между входным и выходным ансамблями запишется в виде
,
.
. (3.15)
, (3.16)
, 
