Энтропия и информация.

Теория информации (теория связи), развитая Шенноном, Винером, Колмогоровым и др., по сути является прикладной теорией вероятностей. Существует много определений информации. Например, информация рассматривается как мера свободы выбора из множества возможных вариантов, а именно – логарифм доступных выборов.

Вероятность одновременных независимых событий

p = р₁ × р₂ × р₃.

Но количество информации об этих событиях должно быть величиной аддитивной:

I = I₁ + I₂ + I₃.

Простейшая функция, удовлетворяющая этому требованию, есть логарифм:

,

I ~ ln p -

аналог формулы Больцмана для энтропии. При использовании двоичного кода постоянной Больцмана k соответствует коэффициент .

Получение каждой новой единицы информации уменьшает энтропию системы, но оно связано с энергетическими затратами и, следовательно, с возрастанием энтропии в окружающей среде.

Еще более наглядно тесную связь информации и энтропии отражает другое определение: информация – это мера упорядоченности структур в отличие от меры хаоса (энтропии). Следовательно, .

Вернемся к примеру с нагреванием твердого тела и проанализируем его с точки зрения информации о системе.

Когда тело имеет кристаллическую структуру, мы знаем о положении его молекул больше, чем в том случае, когда оно превратилось в жидкость. Еще меньше информации можно получить о положении молекул газа. Прослеживается связь между информацией о системе и степенью ее хаотичности, т.е. энтропией.

Информационный подход оказался чрезвычайно плодотворным при изучении любых эволюционных процессов как в неживой, так и в живой природе. Информации придается такое важное значение, что она все чаще рассматривается не как физическая или математическая величина, а как философская категория. Многие ученые считают необходимым рассматривать мир как триединую сущность: материя – дух – информация.

Рост информации компенсирует рост энтропии, поэтому правомерен взгляд на II начало термодинамики как на закон сохранения энтропии и информации.