Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Источники сообщений





5. Юрьев В.К., Куценко Г.И. Общественное здоровье и здравоохранение. – С.-Петербург, 2000.– 914 с.

Тема 3. Передача информации по каналам связи

Источник сообщений - это то, что вырабатывает сообщения. Это устная речь, письмо, газеты, книги, сообщения по радио, телевидению, результаты измерений, представленные в виде последовательности цифр и т. д. Сообщение может поступать в форме последовательности каких-либо кодовых знаков.

Нас интересует источник с математической точки зрения, так чтобы можно было отличать источники друг от друга с каких то обобщенных позиций.

С математической точки зрения, под источником информации понимают множество возможных сообщений с заданной на этом множестве вероятностной мерой.

Различают дискретные источники и непрерывные. Различие между ними в том, что элементы в дискретном случае образуют счетное множество, а в непрерывном - несчетное множество (континуум).

Дискретный источник определен, если перечислены все его возможные сообщения и указаны их вероятности.

x1, x2, x3,..., xm

p(x1), p(x2), p(x3),...,p(xm), ,

Тогда энтропия источника, или количество информации, приходящееся в среднем на одно сообщение, будет составлять:

(3.1)

Это простейшая модель источника сообщений. Реальные источники характеризуются тем, что между элементарными сообщениями существуют статистические связи.

Источник (3.1) является моделью первого, самого грубого приближения. Модель второго приближения учитывает статистику взаимосвязей между соседними буквами p(xj/xi). Модель третьего приближения учитывает связи между тремя соседними буквами p(xk/xixj) и т.д.

Известно, что H(X2/X1)≤H(X), H(X3/X1X2)≤H(X2/X1) и т. д., поэтому энтропии разных степеней приближения составляют монотонно убывающий ряд: H0 ³ H1 ³ H2 ³ H3 ³... Hn-1³ Hn,

где H0 - модель источника без учета статистических характеристик H0=log n.

По мере возрастания номера убывание замедляется, и вся цепочка стремится к некоторому пределу

Например, если возьмем 32 буквы русского алфавита, то значение энтропии будет убывать в зависимости от номера модели

H0=log 32=5 бит H1 =4,42бит

Учитывая, что между буквами алфавита существуют взаимосвязи, например в русском языке довольно часто встречаются сочетания: тся, ает, щий и т.д. Но, с другой стороны, невозможно встретить сочетание аь, иы и т.д.То модели более высоких номеров будут иметь все меньшее значение энтропии и в пределе стремиться к минимально возможному значению.

Энтропия характеризует среднее количество информации, приходящееся на один символ сообщения. Если источник выдает n символов в секунду, то скорость выдачи информации будет составлять Rи=nH.

 







Дата добавления: 2015-03-11; просмотров: 432. Нарушение авторских прав; Мы поможем в написании вашей работы!




Расчетные и графические задания Равновесный объем - это объем, определяемый равенством спроса и предложения...


Кардиналистский и ординалистский подходы Кардиналистский (количественный подход) к анализу полезности основан на представлении о возможности измерения различных благ в условных единицах полезности...


Обзор компонентов Multisim Компоненты – это основа любой схемы, это все элементы, из которых она состоит. Multisim оперирует с двумя категориями...


Композиция из абстрактных геометрических фигур Данная композиция состоит из линий, штриховки, абстрактных геометрических форм...

ПУНКЦИЯ И КАТЕТЕРИЗАЦИЯ ПОДКЛЮЧИЧНОЙ ВЕНЫ   Пункцию и катетеризацию подключичной вены обычно производит хирург или анестезиолог, иногда — специально обученный терапевт...

Ситуация 26. ПРОВЕРЕНО МИНЗДРАВОМ   Станислав Свердлов закончил российско-американский факультет менеджмента Томского государственного университета...

Различия в философии античности, средневековья и Возрождения ♦Венцом античной философии было: Единое Благо, Мировой Ум, Мировая Душа, Космос...

Подкожное введение сывороток по методу Безредки. С целью предупреждения развития анафилактического шока и других аллергических реак­ций при введении иммунных сывороток используют метод Безредки для определения реакции больного на введение сыворотки...

Принципы и методы управления в таможенных органах Под принципами управления понимаются идеи, правила, основные положения и нормы поведения, которыми руководствуются общие, частные и организационно-технологические принципы...

ПРОФЕССИОНАЛЬНОЕ САМОВОСПИТАНИЕ И САМООБРАЗОВАНИЕ ПЕДАГОГА Воспитывать сегодня подрастающее поколение на со­временном уровне требований общества нельзя без по­стоянного обновления и обогащения своего профессио­нального педагогического потенциала...

Studopedia.info - Студопедия - 2014-2025 год . (0.011 сек.) русская версия | украинская версия