Информационная емкость двоичного симметричного канала без памяти
Проиллюстрируем сказанное на примере ДСК без памяти (ДСКБП), задаваемого моделью, представленной на рис. 3.1, и описываемого переходными вероятностями
Пусть
поскольку при любом
Таким образом, условная энтропия В соответствии с (1.4) максимум
то данное требование автоматически удовлетворяется при равновероятности входных символов, т.е.
Графики
|
, 
.
– вероятность появления на входе канала 
. Тогда согласно (3.6)
,
на выходе канала возможны только два состояния с вероятностями p и 
, и значит,
.
не зависит от распределения вероятностей на входе, поэтому максимизация 
сводится к максимизации только 
1.
, 
,
. В итоге информационная емкость ДСКБП определяется выражением
. (4.4)
и C в зависимости от p даны на рис. 4.1, из которого следует, что информационная емкость уменьшается от 1 до 0 с ростом p от 0 до 0,5. Точка 
, отвечает так называемому обрыву канала: наименование отражает факт невозможности сколько-нибудь достоверной передачи в условиях, когда любой переданный символ с равной вероятностью может либо сохранить свое значение, либо трансформироваться в противоположный. Симметрия кривой 
относительно точки 
означает, что каналы, имеющие вероятности ошибки на символ p и 1- p, полностью эквивалентны. В самом деле, если вероятность ошибки 
, то можно просто переобозначить выходные символы, считая нуль единицей и наоборот. Тем самым вероятность ошибки на символ будет сделана равной 1- p, т. е. меньше 0,5.
