Количество и качество информации

Важнейшим этапом в теории развития информации явилась количественная оценка информации. Только принимая за основу новизну сведений, можно дать количественную оценку информации, так как новизна сведений является следствием неопределенности сведений об объекте, процессе, явлении, а неопределенность поддается измерению. Например, сообщение имени победившего на выборах в президенты, если было всего два кандидата, несет меньшее количество информации по сравнению со случаем, если бы выборы происходили в конкурентной борьбе пяти кандидатов.

Самым простейшим случаем является выбор альтернативы из двух событий. Поэтому за единицу информации целесообразно принять количество информации, заключенное в выборе одного из двух равновероятных событий. Эта единица называется двоичной единицей, или битом (binary digit, bit). Итак, при любой неопределенности сужение области выбора вдвое дает одну единицу информации. В физике существует понятие энтропии, которая характеризует степень неупорядоченности (хаотичности) физической системы. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. И если максимум энтропии соответствует абсолютно случайному состоянию системы, то максимум информации характеризует полностью упорядоченную (детерминированную) систему. Одним словом, энтропия системы выражает степень ее неупорядоченности, а информация дает меру ее организации.

Формулу измерения количества информации можно получить эмпирически: для снятия неопределенности в ситуации из двух равновероятных событий необходим один бит информации; при неопределенности, состоящей из четырех событий, достаточно двух бит информации, чтобы угадать искомый факт. Это рассуждение можно продолжить: 3 бита информации соответствуют неопределенности из 8 равновероятных событий, 4 бита — из 16 равновероятных событий и т.д. Таким образом, если сообщение указывает на один из п равновероятных вариантов, то оно несет количество информации, равное log ₂ n. Иначе: количество информации равно степени, в которую необходимо возвести 2, чтобы получить число равноправных вариантов выбора, т.е. 2 ⁱ = 16, где i = 4 бита.

Будем различать понятия «информация» и «сообщение». Под сообщением обычно подразумевают информацию, выраженную в определенной форме и подлежащую передаче. Сообщение — это форма представления информации.

Измерение только количества информации не отвечает насущным потребностям современного общества — необходима мера ценности информации. Вообще, оценка значимости информации производится человеком часто интуитивно на основе использования интеллекта и опыта. Информация называется полезной, если она уменьшает неопределенность решающего алгоритма. Не имеет смысла говорить о полезной информации, содержащейся в сигнале, если не указаны задача, которая решается, начальное состояние решающего алгоритма и свойства декодирующего алгоритма. По мере роста наших знаний о предмете растет и количество научной информации, извлекаемой из сообщения.

Если назвать имеющиеся у получателя знания о данном предмете тезаурусом (т.е. неким сводом слов, понятий, названий объектов, связанных смысловыми связями), то количество информации, содержащейся в некотором сообщении, можно оценить степенью изменения индивидуального тезауруса под воздействием данного сообщения. Иными словами, количество семантической информации, извлекаемой получателем из поступающих сообщений, зависит от степени подготовленности его тезауруса для восприятия такой информации.