Формула Хартли, Шеннона. Единицы измерения информации

В качестве единицы информации условились принять один бит.Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений.

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Одним битом могут быть выражены два понятия: 0 или 1 (да или нет, черное или белое, истина или ложь и т.п.).

Если количество битов увеличить до двух, то уже можно выразить четыре различных понятия:

00 01 10 11

Тремя битами можно закодировать восемь различных значений:

000 001 010 011 100 101 110 111

Увеличивая на единицу количество разрядов в системе двоичного кодирования, мы увеличиваем в два раза количество значений, которое может быть выражено в данной системе, то есть общая формула имеет вид:

N=2m

где N - количество независимых кодируемых значений; m - разрядность двоичного кодирования, принятая в данной системе. Бит - слишком мелкая единица измерения. На практике чаще применяется более крупная единица - байт, равная восьми битам.

Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера: 256=2^8

Широко используются также ещё более крупные производные единицы информации:

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

 

Количество информации, которое вмещает один символ N-элементного алфавита, определяется по формуле Хартли:

N=2i

Формула Шеннона:

 

где I - количество информации;

N - количество возможных событий;

рi - вероятность i-го события.

 

Формула Хартли определяет количество информации, содержащееся в сообщении длины n.