Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Формула Шеннона (мера Шеннона).





Базируясь на вероятностном подходе к оцениванию информации, К.Шеннон в 1948 году вывел формулу, которая дает оценку информации, абстрагируясь от ее содержания:

(1.9)

где - число состояний системы, - вероятность, или относительная частота перехода системы в -ое состояние, - количество информации в битах, которую дает, в среднем, появление одного из разновероятных состояний системы. Таким образом,

.

Формулу Шеннона можно получить на основе следующего мыслительного эксперимента. Пусть есть программа-генератор, которая на экране дисплея может демонстрировать любую букву некоторого алфавита, который состоит из букв.

 

ai a1 a2 a3 ... an
pi p1 p2 p3 ... pn

 

Генерирование осуществляется соответственно заданным законам распределения. Каждая из букв появляется на экране согласно с вероятностью ее появления pi. За экраном дисплея ведется наблюдение: пусть на экране появилось m букв (m – довольно большое число, значительно больше чем ). Если интересует буква ai, то она на экране появится приблизительно раз. Каждое появление на экране буквы ai дает по формуле (1.7) количество информации, которая равняется , всего (за все ее появления) на экране будет получено битов информации. Общее количество информации, которое необходимо просуммировать после демонстрации всех m букв, равняется

.

На одну букву в среднем приходится:

(1.10)

Из этой формулы, как частный случай, получается формула Хартли (1.6). Действительно, если каждое состояние системы является равновероятным, т.е. , то энтропия системы будет максимальной и равняется: .







Дата добавления: 2015-09-15; просмотров: 394. Нарушение авторских прав; Мы поможем в написании вашей работы!




Вычисление основной дактилоскопической формулы Вычислением основной дактоформулы обычно занимается следователь. Для этого все десять пальцев разбиваются на пять пар...


Расчетные и графические задания Равновесный объем - это объем, определяемый равенством спроса и предложения...


Кардиналистский и ординалистский подходы Кардиналистский (количественный подход) к анализу полезности основан на представлении о возможности измерения различных благ в условных единицах полезности...


Обзор компонентов Multisim Компоненты – это основа любой схемы, это все элементы, из которых она состоит. Multisim оперирует с двумя категориями...

Механизм действия гормонов а) Цитозольный механизм действия гормонов. По цитозольному механизму действуют гормоны 1 группы...

Алгоритм выполнения манипуляции Приемы наружного акушерского исследования. Приемы Леопольда – Левицкого. Цель...

ИГРЫ НА ТАКТИЛЬНОЕ ВЗАИМОДЕЙСТВИЕ Методические рекомендации по проведению игр на тактильное взаимодействие...

Понятие о синдроме нарушения бронхиальной проходимости и его клинические проявления Синдром нарушения бронхиальной проходимости (бронхообструктивный синдром) – это патологическое состояние...

Опухоли яичников в детском и подростковом возрасте Опухоли яичников занимают первое место в структуре опухолей половой системы у девочек и встречаются в возрасте 10 – 16 лет и в период полового созревания...

Способы тактических действий при проведении специальных операций Специальные операции проводятся с применением следующих основных тактических способов действий: охрана...

Studopedia.info - Студопедия - 2014-2025 год . (0.008 сек.) русская версия | украинская версия