Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Формула Шеннона (мера Шеннона).




Доверь свою работу кандидату наук!
Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой

Базируясь на вероятностном подходе к оцениванию информации, К.Шеннон в 1948 году вывел формулу, которая дает оценку информации, абстрагируясь от ее содержания:

(1.9)

где - число состояний системы, - вероятность, или относительная частота перехода системы в -ое состояние, - количество информации в битах, которую дает, в среднем, появление одного из разновероятных состояний системы. Таким образом,

.

Формулу Шеннона можно получить на основе следующего мыслительного эксперимента. Пусть есть программа-генератор, которая на экране дисплея может демонстрировать любую букву некоторого алфавита, который состоит из букв.

 

ai a1 a2 a3 . . . an
pi p1 p2 p3 . . . pn

 

Генерирование осуществляется соответственно заданным законам распределения. Каждая из букв появляется на экране согласно с вероятностью ее появления pi. За экраном дисплея ведется наблюдение: пусть на экране появилось m букв (m – довольно большое число, значительно больше чем ). Если интересует буква ai, то она на экране появится приблизительно раз. Каждое появление на экране буквы ai дает по формуле (1.7) количество информации, которая равняется , всего (за все ее появления) на экране будет получено битов информации. Общее количество информации, которое необходимо просуммировать после демонстрации всех m букв, равняется

.

На одну букву в среднем приходится:

(1.10)

Из этой формулы, как частный случай, получается формула Хартли (1.6). Действительно, если каждое состояние системы является равновероятным, т.е. , то энтропия системы будет максимальной и равняется: .







Дата добавления: 2015-09-15; просмотров: 287. Нарушение авторских прав; Мы поможем в написании вашей работы!

Studopedia.info - Студопедия - 2014-2022 год . (0.016 сек.) русская версия | украинская версия