ВЕРОЯТНОСТНЫЙ ПОДХОД

Вероятность – числовая характеристика возможности появления какого-либо события в определённых условиях.

(1)

Событием называется любой факт, который в результате опыта может произойти или не произойти по формуле:

,

где m – число случаев (благоприятных), при появлении которых должно совершиться событие A, а n – общее количество случаев. Вероятность любого события заключена в отрезке от 0 до 1.

(2)

Зависимость количества информации Ι от количества равновероятных событий Ν определяется по формуле Хартли:

Зависимость между вероятностью появления события p и количеством информации I в сообщении о данном событии описывается модифицированной формулой Хартли:

(3)

,

т. е. чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. (Здесь и ниже сообщение – некоторая последовательность чисел, с помощью которой закодирована информация.)

Ещё одна формула для измерения количества информации – формула Шеннона:

(4)

где I –КОЛИЧЕСТВО ИНФОРМАЦИИ, K – количество возможных событий, р_i – вероятности отдельных событий

Формулу Хартли можно рассматривать как частный случай формулы Шеннона:

.

Пример.

Определить количество информации, которое содержится в сообщении о результате броска монеты.

Решение.

Возможно два равновероятных результата броска монеты: монета упала на «орла» или на «решку». Следовательно, вероятности появления сообщений «монета упала на орла» или «монета упала на решку» одинаковы и равны . Вычислим количество информации в каждом сообщении о результате броска, используя формулу (3).:

Ответ: 1 бит.