Информационная емкость двоичного симметричного канала без памяти

Проиллюстрируем сказанное на примере ДСК без памяти (ДСКБП), задаваемого моделью, представленной на рис. 3.1, и описываемого переходными вероятностями

, .

Пусть – вероятность появления на входе канала . Тогда согласно (3.6)

,

поскольку при любом на выходе канала возможны только два состояния с вероятностями p и , и значит,

.

Таким образом, условная энтропия не зависит от распределения вероятностей на входе, поэтому максимизация сводится к максимизации только 1.

В соответствии с (1.4) максимум , равный 1, достигается при равной вероятности выходных символов. Поскольку

, ,

то данное требование автоматически удовлетворяется при равновероятности входных символов, т.е. . В итоге информационная емкость ДСКБП определяется выражением

. (4.4)

Рис. 4.1.

Графики и C в зависимости от p даны на рис. 4.1, из которого следует, что информационная емкость уменьшается от 1 до 0 с ростом p от 0 до 0,5. Точка , отвечает так называемому обрыву канала: наименование отражает факт невозможности сколько-нибудь достоверной передачи в условиях, когда любой переданный символ с равной вероятностью может либо сохранить свое значение, либо трансформироваться в противоположный. Симметрия кривой относительно точки означает, что каналы, имеющие вероятности ошибки на символ p и 1- p, полностью эквивалентны. В самом деле, если вероятность ошибки , то можно просто переобозначить выходные символы, считая нуль единицей и наоборот. Тем самым вероятность ошибки на символ будет сделана равной 1- p, т. е. меньше 0,5.