Энтропия системы

В технической диагностике, особенно при построении оптимальных диагностических процессов, широко используется теория информации, центральное место в которой занимает понятие энтропии системы, которая характеризует степень неопределенности системы.

Пусть рассматривается система А, которая может иметь n случайных состояний А₁,А₂,…А_n с вероятностями Р(А₁),Р(А₂)…Р(А_n). Если одно из состояний системы обязательно реализуется, а два состояния одновременно невозможны (полная группа несовместных событий), то (1)

Степень неопределенности системы зависит от числа n возможных состояний. Так, при бросании игрального кубика их может быть шесть, при бросании монеты – только два. Степень неопределенности возрастает с увеличением числа n. Однако не только число возможных состояний определяет энтропию системы. Так, если система имеет шесть возможных состояний с вероятностями Р(А₁)=0,95; Р(А₂)=0,01; Р(А₃)= 0,01; Р(А₄)= 0,01; Р(А₅)= 0,01; Р(А₆)=0,01, то с большой достоверностью можно утверждать априори, что она находится в состоянии А₁, и неопределенность такой системы невелика. Если же Р(А₁)=1, а вероятности остальных состояний равны нулю, то система вовсе не обладает неопределенностью – энтропия такой системы равна нулю.

В теории информации энтропия системы А, имеющей n возможных состояний с вероятностью Р(А₁),Р(А₂)…Р(А_n) равна:

(2)

Известно, что при выполнении некоторых, достаточно общих требований (непрерывности, неубывании энтропии при возрастании числа состояний, аддитивности) определение энтропии по выражению (2) является единственным. Обозначение H(A) показывает, что энтропия относится к системе А, и ее обозначение не следует понимать как обозначение функциональной зависимости.

Так как вероятности состояний системы 0 ≤ Р(А_i) ≤ 1, то энтропия представляет существенно положительную величину.

В выражении (2) логарифм может быть взят при любом основании – изменение основания приводит только к появлению множителя, т.е. к изменению единицы измерения.

Исходя из соблюдения физической наглядности, целесообразно вычисление энтропии системы с помощью двоичных логарифмов, тогда: , (3)

Целесообразность использования двоичных (3) логарифмов легко оценить, вычисляя энтропию системы, имеющей два равновероятных состояния.

 

Таким образом, в качестве единицы энтропии (при выборе двоичных логарифмов) принимается степень неопределенности системы, имеющей два возможных, равновероятных состояния. Эта единица измерения называется двоичной единицей или битом.

Если принять при вычислении энтропии обычные десятичные логарифмы, то в качестве единицы использовалась бы неопределенность системы, имеющей 10 равновероятных состояний (десятичная единица).

Величина энтропии характеризует только вероятности состояний и их число, но не отражает таких существенных свойств, как относительная ценность (важность) состояний, их близость, что может иметь серьезное значение для оценки неопределенности системы. Однако в тех задачах, где существенны статистические свойства систем, использование энтропии как меры неопределенности вполне оправданно и целесообразно.

Может быть введено понятие «неопределенности» отдельного состояния системы:

(4)

Энтропия системы представляет собой среднее значение энтропий отдельных состояний:

(5)

Выражение (5) можно представить в виде:

, (6)

где знак < > – обозначение математического ожидания.

Оно представляет энтропию как математическое ожидание случайной величины:

Энтропия обладает определенными свойствами. Если система А имеет одно из возможных состояний А_i с вероятностью Р(А_i) = 1, то энтропия такой системы: H(A) = 0 (7)

Условие (7) для рассматриваемой системы очевидно также по логическим соображениям, т.к. в системе нет никакой неопределенности.

Если система, имеет n равновероятных состояний, то очевидно, что с увеличением числа состояний энтропия возрастает, но гораздо медленнее, чем число состояний.

Если система А имеет n возможных состояний, то энтропия будет максимальной в том случае, когда все состояния равновероятны.

Во многих случаях требуется рассматривать сложную систему, состоящую из нескольких отдельных систем. Пусть система А может иметь n групп состояний (А₁,…А_n) с вероятностями Р(А₁),… Р(А_n); соответственно система В имеет m групп состояний В₁,…В_m с вероятностями Р(В₁),…Р(В_m). Объединенная система С = АВ – определяется сочетанием состояний систем А и В.

 

Система АВ может находиться в одном из следующих m·n возможных состояний:

n – количество строк, m –количество столбцов.

Состояние А_iB_j означает, что проведено соединение систем А и В, приведенная матрица отображает возможные сочетания состояний. Для вычисления энтропии системы АВ следует составить сумму произведений вероятностей состояний на их логарифмы:

(8)

Преобразование уравнения (8) показывает, что для сложной системы, объединяющей две статистически независимые системы, общая энтропия равна сумме энтропий этих систем. Так как энтропия системы неотрицательная величина, то при объединении систем энтропия возрастает или остается неизменной.

или

H (AB) = H (A) + H (B)

Энтропия сложной системы, объединяющей две статистически зависимые системы равна сумме энтропий одной системы и условной энтропии другой системы относительно первой, это положение может быть представлено в виде выражения:

H (AB) = H (A) + H (B/A)

Условная энтропия характеризует статистическую связь систем А и В. Если такая связь отсутствует, т.е. P (B _j/ A _i) = P (B _j), i = 1,2,3…n, то:

H (B/A _i) = H (B/A) = H (B)

В этом случае условная энтропия системы совпадает с ее независимой энтропией.

Рассмотрим случай – наличие детерминированной связи состояний систем А и В. Это означает, что условная вероятность может иметь только два значения 1 или 0 для всех j =1…m, i =1… n.

Так как для обоих значений , то для систем с детерминированной связью H (B / A) = 0

В общем случае для произвольной связи систем условная энтропия лежит в пределах: 0 ≤ H (B / A) ≤ H (B).