Студопедия — Ошибка декодирования. Неравенство Фано
Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Ошибка декодирования. Неравенство Фано






 

Пусть имеются два дискретных ансамбля и объема M с заданными совместными вероятностями , где . Хотя доказываемое соотношение имеет место для любых ансамблей, для наших целей удобно сразу считать ансамбль множеством передаваемых кодированных сообщений, а – множеством решений на выходе канала о том, какое из сообщений передавалось. В подобной формулировке частное решение может не совпадать с переданным сообщением . Подобное событие, если оно имеет место, получило название ошибки решения (или декодирования). Тогда полную (среднюю) вероятность ошибки декодирования можно записать как

, (3.17)

а вероятность правильного решения

. (3.18)

Две характеристики – остаточная энтропия и вероятность ошибки декодирования – несут информацию о надежности передачи данных по каналу. В связи с этим между ними существует взаимная связь, которая определяется следующей теоремой.

Теорема 3.4.1. (Неравенство Фано) При фиксированной вероятности ошибки условная (остаточная) энтропия

, (3.19)

где – энтропия двоичного ансамбля.

Замечание. В приложении к задачам связи представляет собой условную энтропию ансамбля передаваемых сообщений относительно множества решений. Эта величина характеризует в среднем степень неуверенности в правильности решения о переданном сообщении, остающейся после того, как решение уже вынесено. Поэтому ранее введенное для нее наименование "остаточная энтропия" вполне естественно. В литературе нередко фигурирует также под названием ненадежность передачи, поскольку ею измеряется количество информации, потерянной в канале из-за действия помех.

Неравенству Фано можно дать следующую полезную интерпретацию. После того как решение выдано, неопределенность относительно переданного сообщения можно разбить на две компоненты. Первая из них, связанная с правильностью или ошибочностью решения, есть неопределенность ансамбля из двух событий, имеющих вероятности и . Эта часть неопределенности учитывается энтропией . Если же ошибка имела место, вступает в действие вторая компонента неопределенности, учитывающая неизвестность, какое именно из возможных сообщений, отличных от решения, было передано. Энтропия ансамбля из событий не больше , а, поскольку вклад второй компоненты проявляется с вероятностью , правая часть доказанного неравенства содержит именно с таким весом.

 







Дата добавления: 2015-04-19; просмотров: 915. Нарушение авторских прав; Мы поможем в написании вашей работы!



Кардиналистский и ординалистский подходы Кардиналистский (количественный подход) к анализу полезности основан на представлении о возможности измерения различных благ в условных единицах полезности...

Обзор компонентов Multisim Компоненты – это основа любой схемы, это все элементы, из которых она состоит. Multisim оперирует с двумя категориями...

Композиция из абстрактных геометрических фигур Данная композиция состоит из линий, штриховки, абстрактных геометрических форм...

Важнейшие способы обработки и анализа рядов динамики Не во всех случаях эмпирические данные рядов динамики позволяют определить тенденцию изменения явления во времени...

Классификация холодных блюд и закусок. Урок №2 Тема: Холодные блюда и закуски. Значение холодных блюд и закусок. Классификация холодных блюд и закусок. Кулинарная обработка продуктов...

ТЕРМОДИНАМИКА БИОЛОГИЧЕСКИХ СИСТЕМ. 1. Особенности термодинамического метода изучения биологических систем. Основные понятия термодинамики. Термодинамикой называется раздел физики...

Травматическая окклюзия и ее клинические признаки При пародонтите и парадонтозе резистентность тканей пародонта падает...

Тема: Изучение приспособленности организмов к среде обитания Цель:выяснить механизм образования приспособлений к среде обитания и их относительный характер, сделать вывод о том, что приспособленность – результат действия естественного отбора...

Тема: Изучение фенотипов местных сортов растений Цель: расширить знания о задачах современной селекции. Оборудование:пакетики семян различных сортов томатов...

Тема: Составление цепи питания Цель: расширить знания о биотических факторах среды. Оборудование:гербарные растения...

Studopedia.info - Студопедия - 2014-2024 год . (0.014 сек.) русская версия | украинская версия