Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Свойства условной энтропии





Покажем, в каких пределах может изменятся энтропия объединения двух сигналов: X и Y. Выражение для условной энтропии в развернутой форме имеет вид

(3.18)

Известно, что для независимых случайных событий условные вероятности равны безусловным. Предположив, что составляющие X и Y сигнала (X, Y) независимы, тогда в формуле (3.18) возможна замена p(xi|yj)=p(xi) и она может быть преобразована к виду

 

 

Учитывая, что , имеем

 

Таким образом, условная энтропия при независимых сигналах равна безусловной энтропии, и в этом случае формулы (3.16) и №.17) примут одинаковый вид: H(X, Y)=H(X)+H(Y).

Рассмотрим теперь другой крайний случай, когда сигналы X и Y полностью зависимы, т.е. если получена конкретная реализация сигнала X, то тем самым известна и реализация сигнала Y.

Пусть сигнал X принял значение xk. При этом известно, что сигнал Y с необходимостью примет значение ys. Это значит, что условная вероятность p(ys|xk)=1, все остальные условные вероятности p(yj|xi), (j, i)≠ (s, k), примут нулевое значение. Тогда в формулу (3.18) будут входить слагаемые двух видов: либо p(xi)∙ 1∙ log1, либо p(xi)∙ 0∙ log0. И в этом и в другом случае эти слагаемые равны нулю, поэтому H(Y|X)=0.

Рассуждая аналогично, можно показать, что при полностью зависимых сигналах X и Y энтропия H(X|Y)=0.

Таким образом, в случае полной зависимости сигналов X и Y энтропия их объединения равна энтропии одного из этих сигналов H(X, Y)=H(X)=H(Y), т. е. каждый сигнал содержит всю информацию относительно другого сигнала.

Уяснению соотношений между рассмотренными энтропиями дискретных источников информации (ансамблей) способствует их графическое отображение (рис. 3.2).

Рис. 3.2

Условное графическое представление H(X), H(Y), H(X, Y), H(Y|X) и H(X|Y).

Пример 3.3. Определить энтропию H(X), H(Y), H(X|Y), H(X, Y), если задана матрица вероятностей состояний системы, объединяющей источники x и y:

Вычисляем безусловные вероятности состояний каждой системы как суммы совместных вероятностей по строкам и столбцам заданной матрицы:

Определяем условные вероятности

Проверим результат по формуле







Дата добавления: 2014-12-06; просмотров: 1296. Нарушение авторских прав; Мы поможем в написании вашей работы!




Расчетные и графические задания Равновесный объем - это объем, определяемый равенством спроса и предложения...


Кардиналистский и ординалистский подходы Кардиналистский (количественный подход) к анализу полезности основан на представлении о возможности измерения различных благ в условных единицах полезности...


Обзор компонентов Multisim Компоненты – это основа любой схемы, это все элементы, из которых она состоит. Multisim оперирует с двумя категориями...


Композиция из абстрактных геометрических фигур Данная композиция состоит из линий, штриховки, абстрактных геометрических форм...

Разновидности сальников для насосов и правильный уход за ними   Сальники, используемые в насосном оборудовании, служат для герметизации пространства образованного кожухом и рабочим валом, выходящим через корпус наружу...

Дренирование желчных протоков Показаниями к дренированию желчных протоков являются декомпрессия на фоне внутрипротоковой гипертензии, интраоперационная холангиография, контроль за динамикой восстановления пассажа желчи в 12-перстную кишку...

Деятельность сестер милосердия общин Красного Креста ярко проявилась в период Тритоны – интервалы, в которых содержится три тона. К тритонам относятся увеличенная кварта (ув.4) и уменьшенная квинта (ум.5). Их можно построить на ступенях натурального и гармонического мажора и минора.  ...

Хронометражно-табличная методика определения суточного расхода энергии студента Цель: познакомиться с хронометражно-табличным методом опреде­ления суточного расхода энергии...

ОЧАГОВЫЕ ТЕНИ В ЛЕГКОМ Очаговыми легочными инфильтратами проявляют себя различные по этиологии заболевания, в основе которых лежит бронхо-нодулярный процесс, который при рентгенологическом исследовании дает очагового характера тень, размерами не более 1 см в диаметре...

Примеры решения типовых задач. Пример 1.Степень диссоциации уксусной кислоты в 0,1 М растворе равна 1,32∙10-2   Пример 1.Степень диссоциации уксусной кислоты в 0,1 М растворе равна 1,32∙10-2. Найдите константу диссоциации кислоты и значение рК. Решение. Подставим данные задачи в уравнение закона разбавления К = a2См/(1 –a) =...

Studopedia.info - Студопедия - 2014-2025 год . (0.009 сек.) русская версия | украинская версия