ИСТОРИЧЕСКАЯ СПРАВКА

Термин «информация»

Термин «информация» пришел к нам из латинского языка (informatio), и обычно переводится как «представление», «поня­тие» (о чем-либо), «изложение», «сведения», «осведомление», «сообщение» и т.п. Термин этот интуитивно ясный, обладает широчайшим смысловым полем и поэтому столь же трудно поддается определению, как и его русские синонимы. В. В. На­лимов [1] приводит несколько попыток определить понятие «информация», предпринятых разными авторами, ни одну из кото­рых нельзя признать удавшейся. «Даже эта совсем небольшая подборка определений понятия «информация», – пишет он, показывает, сколь полиморфно по своему смысловому значению это слово. Здесь развитие полиморфизма связано прежде всего с тем, что ни одно из определений не отвечает нашим интуитив­ным представлениям о смысле этого слова. И всякая попытка определения приписывает этому слову совершенно новые черты, отнюдь не раскрывающие, а суживающие и тем самым затем­няющие его смысл и уже безусловно увеличивающие семантиче­ский полиморфизм этого слова» (стр. 127). Это отражает саму специфику феномена, обозначаемого этим термином.

Определить понятие можно двумя способами – либо сведя его к более элементарным (фундаментальным), либо перечислив круг явлений, к нему относящихся. В основе обоих видов опре­деления лежит возможность расчленить, подразделить смежные понятия или феномены, т.е. дискретность. Дискретность, как из­вестно, фундаментальное свойство материального мира, т.е. ми­ра вещей и энергии. Именно дискретность природных явлений составляет базу всех естественных наук. В случае информации дело обстоит иначе. Слагается ли информация из отдельных дискретных составляющих, или это непрерывный, точнее, – не­разрывный поток, лишь искусственно расчлененный на отдельные сообщения или сведения? Ответить на этот вопрос мы не можем. Но, может быть, именно эта особенность информации отражает тот факт, как пишет Н. Винер [2], что «Информация есть информация, а не материя и не энергия» (стр. 201), т.е. не принадлежит миру вещей. Ниже мы еще не раз к этому будем возвращаться. Сейчас же важно понять, почему никто из упо­мянутых выше ученых, стоявших у истоков теории информации, не попытался дать строгого определения этого термина.

Так складывалась теория, объект которой не был определен. В науке впервые возникла ситуация, подобная той, которая ха­рактерна для древнееврейской религии: Бог имеет множество имен, но ни одно из них нельзя произносить вслух. В области религии это вполне допустимо. В науке же все идеи и направ­ления постоянно дискутируются. Мы дадим главные идеи из разных областей, где может быть использован этот термин.

Формула Шеннона

Возникновение классической теории информации было инду­цировано развитием технических систем связи, призванных слу­жить обмену информацией между людьми. Подчеркнем – технических систем, работа которых определяется законами физики, т.е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сде­лали сотрудники Bell Telephon Companie – X. Найквист, Р. Харт­ли и К. Шеннон [3].

В 1924 г. X. Найквист предложил измерять количество ин­формации, приходящееся на одну букву текста, передаваемого по каналу связи, величиной Н-1/п, где п –число букв в используемом языке. Спустя четыре года Р. Хартли, исходя из требования аддитивности, в качестве такой меры начал приме­нять логарифм этой величины, т.е. log(1/n). Двадцать лет спустя, в 1948 г., К. Шеннон для этой же цели ввел величину

(6)

где H_i – количество информации, связанное с i-ой буквой алфа­вита, p _i – частота встречаемости этой буквы в данном языке, q - основание логарифмов, а k– коэффициент пропорционально­сти, величина которого зависит от q и от избранных единиц измерения количества информации; знак «минус» перед kпо­ставлен для того, чтобы величина H_iвсегда была положитель­ной. Тогда суммарное количество информации для сообщения, состоящего из М букв, будет

(7)

где m_i – число i-х букв в сообщении

К. Шеннон показал, что с увеличением длины сообщения М почти всегда будет иметь «типичный состав»: (тi/М → р_i). Сле­довательно,

(8)

В случае бинарного кода, когда n = 2, а р₁ = р₂ = 0,5, q=2 и k=1, количество информации Н_м становится равным М и вы­ражается в так называемых бинарных единицах – битах.

Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтро­пии источников сообщений, для улучшения методов кодирова­ния и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оп­тимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном «математической теорией связи», и явилась основой классической теории инфор­мации.

Теперь обратим внимание на три характерные черты этой работы К. Шеннона. Во-первых, в ней отсутствует определение понятия «информация». Во-вторых, термин «количество инфор­мации» здесь используется как синоним статистических характе­ристик букв, составляющих сообщение. В-третьих, по отноше­нию к источнику сообщений здесь применяется слово «энтро­пия». Черты эти, несущественные в контексте математической теории связи, оказали значительное влияние на судьбу теории информации.

Отсутствие определения понятия «информация» в работах К. Шеннона и его предшественников, по-видимому, довольно ес­тественно – они в нем просто не нуждались. Ведь работы эти были посвящены не теории информации, а теории связи. То, что по каналам связи передают осмысленные сообщения, т.е. информацию, было очевидно, – ведь для этого их и создавали. Замечательной особенностью каналов связи является то, что по ним можно передавать любую информацию, пользуясь ограни­ченным числом сигналов или букв. При этом передают по ка­налам связи именно буквы, сигналы, а не информацию как та­ковую. Объекты передачи, следовательно, имеют материальную, физическую природу – обычно это модуляции напряженности электрического тока. Ответа требовал не вопрос «Что такое информация?», а вопрос «Какое количество информации можно передать в единицу времени, пользуясь данным набором сигна­лов?». Предложенное К. Шенноном определение «количества информации» (6) хорошо согласовывалось с дискретной[1] природой сигналов, обычно передаваемых по каналам связи. И в то же время, такая мера «количества информации» создавала ощуще­ние, не встречающее сопротивления на психологическом уровне, что чем реже происходит данное событие – появление данного сигнала на выходе канала связи, тем больше это событие «несет с собой» информации.

Со всем этим можно было бы вполне согласиться, если бы не одно обстоятельство: отдельные сигналы или буквы, переда­ваемые по каналам связи, сами по себе не несут той информа­ции, для обмена которой существуют системы связи. Информа­цию содержат лишь сочетания сигналов или букв, причем от­нюдь не любые, а лишь осмысленные, наполненные определен­ным содержанием. Введение единой меры количества информа­ции, содержащейся в сообщениях, меры, не зависящей от их се­мантики, как будто бы блестяще решало задачу соизмеримости бесконечного количества возможных различающихся по смыслу сообщений. И в то же время введение такой меры создавало видимость дробления, квантируемости информации, видимость возможности оценивать ее количество как сумму элементарных количеств информации, связанных с каждой отдельной буквой содержащего ее сообщения.

Напомним, что ко времени выхода в свет работы К. Шенно­на [3] научная общественность была уже подготовлена к ее вос­приятию. Зарождавшаяся тогда же кибернетика, или «наука об управлении и связи в животном и машине» [2], уже использовала термин «информация» для обозначения тех сигналов, которыми могут обмениваться между собой люди или животные, человек и машина, или сигналов, воспринимаемых животными или ма­шиной с помощью специальных рецепторов из окружающей среды с целью оптимизировать свое «поведение». Уже был пу­щен в оборот термин «генетическая информация» [4]. Бурное развитие самых разных технических систем связи (телеграфа, телефона, радио, телевидения) остро нуждалось в ограничении присущего понятию «информация» полиморфизма в целях раз­работки все более совершенных методов ее передачи, приема и хранения. Всем этим запросам, казалось, прекрасно соответство­вала шенноновская концепция количества информации.

Однако надо ясно представить себе, что, не давая определе­ния понятию «информация» и в то же время называя «количеством информации» частотную характеристику букв кода, К. Шеннон как бы создавал возможность для отождествления двух совер­шенно разных по своей природе феноменов информации как семантики сообщения и «информации» как частоты осуществле­ния какого-либо события. Это делало возможной подмену тер­минов, что и было быстро реализовано. Уже через несколько лет французский физик Л. Бриллюэн [5,6] в качестве основного достоинства новой теории называл отождествление информации с величиной, обратной частоте осуществления какого-либо со­бытия. Термин «информация» в указанном выше смысле окон­чательно слился с термином «количество информации».

Формула К. Шеннона (6) по структуре своей подобна форму­ле, предложенной Л. Больцманом для выражения количества эн­тропии. Это формальное сходство послужило К. Шеннону пово­дом называть «энтропией», по аналогии с физической энтропи­ей, свойство источника сообщений порождать в единицу време­ни то или иное число сигналов на выходе, а «энтропией сооб­щения» – частотную характеристику самих сообщений, выражаемую формулами (6) и (7).

Кажущаяся простота предложенного К. Шенноном решения проблемы измерения количества информации создавала види­мость столь же легкого решения и других связанных с исполь­зованием термина «информации» проблем. Это и породило ту эйфорию, ту шумиху вокруг зарождающейся теории информа­ции, характерную для пятидесятых годов, которую одним из первых заметил сам К. Шеннон и против которой было направлено его провидческое эссе «Бандвагон» [7].

Информация и энтропия

Своей зрелости классическая теория информации достигла к середине пятидесятых годов. Главная причина столь быстрого «созревания» – простота и элегантность ее математического ап­парата, опирающегося на теорию вероятности.

Отсутствие строгого определения понятия «информация» соз­давало впечатление, что объектом теории информации является нечто, имеющее мало общего с тем, что называют информацией в обыденной жизни. Действительно, если «в быту» доминирует содержательная, смысловая сторона информации, то здесь се­мантика информации вообще не рассматривалась. Представление об энтропии сообщений, развитое К. Шенноном и вскоре до­полненное другими авторами (см. напр. [8-10]), как бы открыва­ло возможность для отождествления понятия «информация» с понятиями «разнообразие» и «термодинамическая энтропия». Это порождало соблазн распространения классической теории информации далеко за пределы теории связи, в том числе на явления неживой и живой природы и даже на различные облас­ти искусства [11-13].

Два утверждения характерны для классической теории ин­формации периода зрелости. Первое это постулирование «всюдности» информации. Второе утверждение – это то, что мерой количества информации, связанной с тем или иным объ­ектом или явлением, может служить редкость его встречаемости или сложность его структуры. Эти утверждения можно назвать постулатами классической теории.

Указанные постулаты, а также следствия из них, наиболее полно были изложены Л. Бриллюэном в его книгах [5, 6]. Прежде всего, за универсальную меру количества информации Л. Бриллюэн принял величину I = klnP, где Р - вероятность осущест­вления некоторого события или «сложность устройства» какого-либо объекта, k - постоянная, величина которой зависит от вы­бора системы единиц измерения, a ln - натуральный логарифм. Далее Л. Бриллюэн обратил особое внимание на сходство ука­занной формулы с формулой Л. Больцмана для исчисления ко­личества энтропии S = klnW, где W - число микросостояний не­которой системы, соответствующей ее макросостоянию, а k - «по­стоянная Больцмана», равная 1,4·10^-16 эрг-град^-1 или 3,3·10^-24 эн­тропийных единиц (1 э.е. = 1 кал'град^-1). Отсюда Л. Бриллюэн сде­лал вывод, что, приняв k = 3,3·10^-24 э.е., мы получим возможность выражать количество информации в энтропийных единицах (1 бит = 2,3·10^-24 э.е.), а величину энтропии, напротив, в единицах информационных (1 э.е. = 4,3·10²³ бит). Затем он сделал послед­ний шаг в построении «негэнтропииного принципа»: сформули­ровал утверждение, согласно которому информация – это не что иное, как энтропия с обратным знаком, или негэнтропия.

Используя вероятностный подход, мы проведем следующие рассуждения. Пусть физическая система имеет W возможных со­стояний. Увеличение информации о ней, что было бы эквива­лентно фиксации в определенном состоянии, приведет к умень­шению энтропии системы. Другими словами,

I + S = const. (9)

Чем больше известно о системе, тем меньше ее энтропия. Важ­но еще одно обстоятельство. Утрачивая информацию, мы уве­личиваем энтропию системы. Увеличивать информацию о систе­ме мы можем, лишь увеличивая количество энтропии вне этой системы, во внешней среде, причем всегда

Формула Шеннона для определения количества информации (2) и формула Больцмана S = lnW для случая, когда вероятно­сти отдельных состояний системы различаются (3), формально совпадают. Мы замечали, что они имеют совершенно различ­ный смысл: информация (2) соответствует одному единственному состоянию системы из всех возможных W, мера этой информа­ции I = lnW. Энтропия (3) соответствует возможности нахожде­ния системы с некоторой вероятностью I/W в каждом из дос­тупных состояний. Информация (2) и энтропия (3) оказались равны между собой, потому, что I соответствует максимальной информации одного единственного состояния, а 5 определена по множеству всех состояний.

В замкнутой системе (возьмем, например, текст) увеличение энтропии приводит к «забыванию» информации, и мы прихо­дим к соотношению I + S = const. В соответствии со вторым за­коном термодинамики энтропия замкнутой системы не может убывать со временем. Поэтому в замкнутых системах соотноше­ние (9) может сдвигаться только к забыванию информации. Это означает, что рождение новой информации требует выхода за пределы изолированной системы.

Мы рассмотрели соотношение I + S = const с точки зрения второго закона термодинамики. Формулу Шеннона можно было бы назвать «физической информацией». Колмогоров [15] ввел понятие «алгоритмической информации». Алгоритмическую информацию можно рассматривать как меру алгоритмической хао­тичности. Алгоритмическая информация практически совпадает с информацией по Шеннону.

Поясним эти понятия и их соотношение на двух примерах из живого мира. Предположим, что мы хотим определить радио­чувствительность клеток популяции дрожжей. Мы ставим экспе­римент: делаем суспензию клеток, облучаем ее, высеваем клетки на чашки Петри с питательной средой, затем определяем ра­диочувствительность клеток по числу выросших колоний. В хо­де этого эксперимента мы заставляем геном клеток дрожжей работать по определенной схеме, одной единственной для каж­дой клетки. Тем самым мы выбираем и фиксируем одно един­ственное состояние из всех возможных. Этот эксперимент, кото­рый выявляет реакцию данных клеток на облучение, сводит все возможные состояния макромолекул, характеризующиеся некой максимальной энтропией, к одному единственному. Он может быть проведен за счет внешних ресурсов (питательной среды, источника облучения, работы лаборанта и т.д.). Второй пример – завоевание электората перед выборами. Хаотичные настроения толпы, характеризующиеся максимальной энтропией в обычное время, после агитации средствами массовой информации (нака­чивание внешней 7) перед выборами сменяются крайней полити­зацией. После выборов определяется количество проголосовав­ших за того или иного кандидата – поведение электората соответствует максимуму «информированности» о том или ином кандидате, какое-то количество неголосовавших составляет инертную константу.

Кратко резюмируя изложенное, можно заключить, что рожде­ние новой информации всегда происходит в открытых системах, где параметры порядка становятся динамическими переменными.

В следующем параграфе мы рассмотрим системы с диссипа­цией избыточной внутренней энтропии.

Диссипативные структуры

Пусть будет некоторая открытая система, из которой посто­янно удаляется шлак избыточной энтропии за счет роста энтро­пии внешней среды. Эта система является «диссипативной структурой». Пригожий с сотрудниками [16, 17] показали, что диссипативными структурами будут являться все разнообразные колебательные, пространственно организованные и пространст­венно-временные упорядоченные системы.

Для возникновения диссипативных структур необходимы сле­дующие условия:

1. система должна быть открытой и находиться вдали от тер­модинамического равновесия;

2. в системе должны протекать различные каталитические и кросс-каталитические процессы, а также наблюдаться регуля­ция по типу обратной связи;

3. после некоторого критического значения параметров системы или какого-либо внешнего воздействия состояние системы становится неустойчивым и система может перейти в новое стационарное состояние, режим которого соответствует упорядоченному состоянию.

Под влиянием флуктуации отдельные элементы системы, взаимодействуя, обнаруживают свойства, характеризующие сис­тему в целом, которые невозможно предсказать на основании свойств ее отдельных элементов. Такие структуры хорошо опи­сываются нелинейными дифференциальными уравнениями. При­меры диссипативных структур можно взять из разных областей – физики, химии, биологии.

Одной из давно известных таких самоорганизующихся струк­тур является реакция Белоусова-Жаботинского [18, 19]. Бросается в глаза большое число промежуточных соединений системы, ко­торые соответствуют такому же числу дифференциальных уравнений. Для каждого из этих уравнений константа скорости должна быть получена из эксперимента. Один из этапов реак­ции является автокаталитическим.

Молекулярная эволюция. Гиперциклы Эйгена

В 1971 г. М. Эйген [20] сформулировал последовательную концеп­цию предбиологической молекулярной эволюции. Эйген распро­странил идеи дарвиновского отбора на популяции макромолекул в первичном бульоне. Далее он показал, что кооперирование мо­лекул в «гиперциклы» приводит к компартментализации в виде отдельных клеточных единиц. Гиперцикл – это средство объеди­нения самовоспроизводящихся единиц в новую устойчивую систе­му, способную к эволюции. Он построен из автокатализаторов, которые сочленены посредством циклического катализа, т.е. посред­ством еще одного автокатализа, наложенного на систему.

Дарвиновский отбор, являющийся предпосылкой для возник­новения гиперциклов, на молекулярном уровне может иметь ме­сто в системах, обладающих следующими свойствами:

1. метаболизмом – система должна быть далеко от равновесия. Образование и разложение молекулярных видов должны быть независимы. Отбор должен действовать только на промежуточные состояния, которые образуются из высокоэнергетических предшественников и разрушаются в низкоэнергетические отходы. Система должна использовать освободившуюся энергию и вещества;

2. самовоспроизведением – способностью инструктировать свой соб­ственный синтез;

3. мутабилъностью, которая всегда сопутствует самовоспроизведению. Ошибки копирования – основной источник новой информации. Образование и отшлифовка эйгеновских гиперциклов привели к созданию аппарата трансляции. Образование вслед за этим клеточ­ной мембраны завершило предбиологический период эволюции.

Семантика

Вернемся снова к формуле Шеннона (6) и проанализируем текст «Завтра будет буря». Действительно, осмысленность или информация текста «Завтра будет буря» очевидна. Достаточно, однако, сохранив все элементы (буквы) этого сообщения, пере­ставить их случайным образом, например, «рдеа Звубуб траяи», как оно утратит всякий смысл. Но бессмысленной информации не бывает. Согласно же формуле (7) оба предложения содержат одинаковое «количество информации». О какой же информации здесь идет речь? Или, вообще, можно ли говорить об информа­ции по отношению к разрозненным элементам сообщения?..

Очевидно, отдельные элементы сообщения можно назвать «информацией» лишь при условии, если перестать связывать информацию с осмысленностью, т.е. с содержательностью. Но тогда это бессодержательное нечто вряд ли стоит называть «информацией», вкладывая в первичный термин несвойственный ему смысл. Учитывая, однако, что элементы сообщения реально используются для составления осмысленных текстов, содержащих информацию, эти элементы (буквы, сигналы, звуки) удобнее трактовать как информационную тару, которая может содер­жать информацию, а может быть и бессодержательной, пустой [21]. Очевидно, что емкость тары не зависит от того, заполнена ли она и чем она заполнена. Поэтому частотную характеристи­ку элементов сообщения

лучше называть не «коли­чеством информации», а «емкостью информационной тары». Это, кстати, хорошо согласуется с формулой К. Шеннона (7), по которой «количество информации» в данном сообщении не за­висит от порядка следования составляющих его букв, а только от их числа и частотных характеристик.

Однако здесь резонно возникает вопрос, насколько обосно­ванно считать

емкостью i-го элемента информаци­онной тары? Судя по работе [3], такой способ измерения коли­чества информации введен скорее из соображений удобств. Ко­эффициент k здесь играет подсобную роль – его величина зави­сит от выбора единицы измерения количества информации (или емкости тары) и основания логарифма. Как мы уже отмечали, если за такую единицу принять бит, т.е. информационную ем­кость одного элемента стандартного бинарного кода, когда р₁ =р₂ = 0,5, а за основание логарифмов «2», то k =1, и тогда формула (7) приобретет вид Н_м = М. В общем же случае эту формулу можно записать как (1), что по смыслу своему пред­ставляет собой не что иное, как расчет числа букв бинарного кода, требующегося для записи данного сообщения. При такой интерпретации выбор единицы измерения емкости тары и способа определения этой емкости приобретает обычное звучание, – но, конечно, лишь при условии максимальной компактности кода (когда реже встречающиеся в языке символы заменяются боль­шим числом букв бинарного кода, чем чаще встречающиеся) и только в пределах данного разговорного языка. Сохранится ли это правило перехода от одного кода к другому для разных разговорных языков? А также от одного языка к другому?

Заметим, однако, два обстоятельства в данном примере текста «Завтра будет буря». Первое – текст понятен русскому, но является «китайской грамотой» для китайца. Это говорит о том, что каж­дый раз, когда мы говорим о семантике, необходимо иметь в ви­ду семантическое родство сообщения и воспринимающей системы.

Второе обстоятельство касается того, что текст – замкнутая система.

Перейдем к открытым динамическим системам. Как мы уже отмечали, в таких системах будут возникать параметры порядка, именно они станут «семантикой информации», адекватной внешней среде. На основании этой новой информации будет идти естественный отбор на выживание этих организованных систем. Дарвиновский отбор накладывает ограничения на объ­екты всех уровней – физические, химические, биологические и другие [22]. В биологических системах первым уровнем дарви­новского отбора является генетический отбор. В этой моногра­фии мы будем рассматривать биологические системы, начиная с генетической – живой клетки.

Литература

1. Налимов В. В. Вероятностная модель языка. М., «Наука». 1979.

2. Винер Н. Кибернетика, или управление и связь в животном и маши­не. М., Советское радио, 1968.

3. Шеннон К. Математическая теория связи. В кн.: Работы по теории информации и кибернетике. М., Изд. ин. лит., 1963. С. 243-496.

4. Шредингер Э. Что такое жизнь с точки зрения физика? М., Гос. изд. ин. лит. 1947.

5. Бриллюэн Л. Наука и теория информации. М., Гос. изд. физ.-мат. лит., 1960.

6. Бриллюэн Л. Научная неопределенность и информация. М., «Мир», 1966.

7. Шеннон К. Бандвагон. В кн.: Работы по теории информации и кибернетике. М., Изд. ин. лит., 1963, С. 667-668.

8. Голдман С. Теория информации. М., Изд. ин. лит., 1957.

9. Стратанович Р. Л. Теория информации. М., «Советское радио», 1975.

10. Яглом А. М., Яглом И. М. Вероятность и информация. М., «Наука», 1973

11. Коган И. М. Прикладная теория информации. М., «Радио и связь», 1981.

12. Поплавский Р. П. Термодинамика информационных процессов. М, «Наука», 1981.

13. Седов Е. А. Эволюция и информация. М., «Наука», 1976.

14. Кадомцев Б. Б. Динамика и информация. М.: Ред. ж. УФН, 1997.

15. Колмогоров А. Н. Теория информации и теория алгоритмов. М., «Наука», 1987.

16. Гленсдорф П., Пригожий И. Термодинамическая теория структуры, устойчивости и флуктуации. М.: «Мир», 1973.

17. Баблоянц А. Молекулы, динамика и жизнь. М., «Мир», 1990.

18. Белоусов Б. П. Периодически действующая реакция и ее механизмы. В Сб. рефер. по радиац. мед. за 1958 г. М.: Медгиз, 1959.

19. Жаботинский А. М. Концентрационные автоколебания. М.:«Наука», 1974

20. Эйген М. Самоорганизация материи и эволюция биологических макромолекул. М.:«Мир», 1976.

21. Корогодин В. И. Определение понятия «информация» и возможное его использования в биологии. Биофизика, 1983, т. 28, с. 171-178.

22. Моисеев Н. Н. Алгоритмы развития. М., «Наука», 1987.