Количество информации

С обыденной точки зрения количество информации мало связано с длительностью речи или объемом текста. Информационное сообщение принимается и интерпретируется в зависимости от контекста. Обычно различают понятия " информация" и " сообщение". Под сообщением подразумевают обычно информацию, выраженную в определенной форме и подлежащую передаче. Сообщение - это форма представления информации. Примерами сообщений являются текст телеграммы, речь оратора, показания измерительного прибора, команды управления, изображение на экране телевизора и т.д.

При определении количества информации обычно руководствуются следующим определением информации, а именно, «информация - это отражение предметного мира, воспринимаемое человеком с помощью его собственных органов чувств и различной измерительной аппаратуры и выражаемое в виде сигналов и символов». Представление этой информации может быть непрерывным (аналоговым) или дискретным (цифровым). Если непрерывную информацию разбить на сколь угодно маленькие шаги и измерить на каждом из шагов, то получим дискретное представление той же самой информации. Поскольку точность измерения (равно как и человеческого восприятия) всегда ограничена, то фактически, даже имея дело с непрерывной информацией, человек воспринимает ее в дискретном виде. Но любая непрерывная информация может быть аппроксимирована (приблизительно заменена) дискретной информацией с любой степенью точности, поэтому можно говорить об универсальности дискретной формы представления информации.

Цифровая информация в действительности представляет собой частный случай так называемого алфавитного способа представления дискретной информации. Информация передается с помощью языков. Основой любого языка является алфавит. Алфавит - произвольный фиксированный конечный набор символов любой природы, из которых конструируются сообщения на данном языке. Алфавит может быть русским, латинским, десятичных чисел, двоичных чисел и т.д.

Количество знаков алфавита или число страниц текста принято как эталон количества информации, например, в полиграфии.

В технических информационных системах каждый новый сигнал требует ресурсов для своего отображения. Для этого используется двоичная система исчисления, где бит - это единица информации в двоичной системе ноль или единица, а байт состоит из восьми двоичных единиц.

С точки зрения теории информации (теория информации возникла в 40-ых годах с развитием техники связи) понятие " количество информации" получило точное определение, во многом связанное с нашей интуитивной оценкой того нового, что несет информация, но абстрагированное от ее смыслового содержания и степени полезности для получателя.

Нам известно, что источник информации и получатель образуют единую систему связи. В этой системе существует неопределенность относительно того, какое именно конкретное сообщение из множества сообщений источника будет выбрано для передачи. Поэтому оценка количества информации основывается на законах теории вероятностей.

Пусть алфавит данного множества дискретных сообщений состоит из m символов, а разрядность сообщения из «n» позиций (число возможных сообщений N = mⁿ), тогда информационную емкость Q принято, оценивать логарифмом числа возможных сообщений

 

где «а» - основание логарифма.

Выбор основания логарифма «а» в принципе безразличен.

Обычно принимают а = 2. В этом случае источник, обладающий алфавитом всего из двух символов (m=2) и одной позиции (n=1), будет обладать емкостью:

Эта минимальная величина информационной емкости называется двоичной единицей информации. Она служит единицей информационной емкости различных источников и называется " бит".

Информационная емкость показывает, какое предельное количество информации может хранить, выдавать или перерабатывать система, если она обладает конкретным алфавитом в m символов и разрядностью в n позиций.

Однако при этом ничего не говорится об информации, действительно содержащейся в этой системе. Чтобы подойти к определению количества информации, необходимо представить себе, как заполняется информационная емкость системы и какая ее часть действительно используется при хранении, передаче или выдаче информации.

Пусть мы имеем код с основанием m символов и разрядностью n позиций. Предположим, что символами кода являются:

h₁, h₂,.....h_i.......h_m,

вероятности появления которых не равны и составляют соответственно:

p₁, p₂,......p_i........p_m.

Это значит, что в сообщениях, составленных с помощью нашего кода, символ h_i в среднем будет встречаться с вероятностью p_i.

Тогда вероятность появления искомого сообщения равна:

 

 

Информационную емкость одной позиции кода сообщения можно определить по формуле: