Формула Шеннона (мера Шеннона).
Базируясь на вероятностном подходе к оцениванию информации, К.Шеннон в 1948 году вывел формулу, которая дает оценку информации, абстрагируясь от ее содержания:
где
Формулу Шеннона можно получить на основе следующего мыслительного эксперимента. Пусть есть программа-генератор, которая на экране дисплея может демонстрировать любую букву некоторого алфавита, который состоит из
Генерирование осуществляется соответственно заданным законам распределения. Каждая из букв появляется на экране согласно с вероятностью ее появления pi. За экраном дисплея ведется наблюдение: пусть на экране появилось m букв (m – довольно большое число, значительно больше чем
На одну букву в среднем приходится:
Из этой формулы, как частный случай, получается формула Хартли (1.6). Действительно, если каждое состояние системы является равновероятным, т.е.
|
(1.9)
- число состояний системы, 
- вероятность, или относительная частота перехода системы в 
-ое состояние, 
- количество информации в битах, которую дает, в среднем, появление одного из 
.
раз. Каждое появление на экране буквы ai дает по формуле (1.7) количество информации, которая равняется 
, всего (за все ее появления) на экране будет получено 
битов информации. Общее количество информации, которое необходимо просуммировать после демонстрации всех m букв, равняется
.
(1.10)
, то энтропия системы будет максимальной и равняется: 
.
