Количество информации в сообщении

Основой любой теории является задание того эталона (меры), с помощью которого оцениваются изучаемые явления (процессы, объекты). В теории информации, где объектом исследования служит процесс передачи сообщений, ключевым является понятие количества информации, содержащейся в сообщении. Аксиомы количества информации вполне естественны и адекватны интуитивному пониманию терминов "информация" и "информативность":

– количество информации в сообщении x неотрицательно: , причем для достоверного сообщения;

– количество информации убывает с ростом предсказуемости (вероятности) сообщения, находясь во взаимно-однозначной зависимости от последней: ;

– количество информации аддитивно, т.е. пара независимых сообщений и содержит количество информации, равное сумме количеств информации в каждом из них: .

Легко убедиться, что трех перечисленных аксиом достаточно для однозначного определения искомой меры как логарифма вероятности сообщения. Пусть X и Y – два независимых ансамбля, где и – два сообщения. Пусть . Тогда , где учтена независимость источников X и Y. С другой стороны, согласно требованию аддитивности . Нетрудно убедиться, что среди непрерывных функций единственной, удовлетворяющей свойству аддитивности , является однородная линейная функция , где k – фиксированный коэффициент. Ограничиваясь дифференцируемыми функциями, это легче всего показать, продифференцировав обе части условия аддитивности по v при и получив равенство , а значит, .

Таким образом, количество информации в конкретном сообщении

, (1.1)

где учтено также требование неотрицательности I (x).

Основание, по которому берется логарифм в последнем выражении, задает лишь масштаб, а, следовательно, единицу измерения количества информации. Наиболее часто употребляется логарифм по основанию 2, и в этом случае единицу измерения количества информации называют «бит» (от английского «binary digit»). Иногда используют натуральный или десятичный логарифмы, называя соответствующие им единицы «нат» и «дит».

В дальнейшем изложении под обозначением log будет пониматься двоичный логарифм, а количество информации измеряться в битах. Например, если , то бит.