Формула Шеннона и ее обоснование.
Обоснование: Для примера рассмотрим алфавитный источник информации, им может служить любой текст. В этом случае один символ алфавита рассматривается как одно из возможных дискретных состояний источника информации. При этом разные символы встречаются, как правило, с разной частотой. Поставим перед собой задачу оценки энтропии такого источника. Пусть дан алфавит A={ Просуммировав полученную величину по всем буквам алфавита, получим общее количество информации, содержащееся в прочитанном тексте Поделив получ-ю величину на число букв в тексте, найдем ср. кол-о инф-ии, приходящееся на одну букву:
|
Она позволяет найти энтропию источника в случае неравновероятных состояний.
} состоящий из N символов, с вероятностями появления этих символов в тексте { 
} соответственно. В символах этого алфавита составлен текст длиной М символов (M >> N). После прочтения этого текста буква 
встретится нам 
раз. Рассмотрим отдельно подпоследовательность букв 
. Это дает 
бит информации. Вся подпоследовательность из букв 
бит информации.
