Измерение информации
Количество информации – есть разность неопределенностей (энтропий) системы до и после получения информации. Если начальная энтропия системы равна H(A), а после получения информации она составляет H*(A), то внесенная информация J = H(A) – H*(A) Зачастую информация относительно системы А получается с помощью наблюдения за другой, связанной с ней системой В. Обычно эта вторая система (система сигналов) дает информацию о состоянии основной системы. Среднюю величину этой информации, или информативность системы В относительно системы А, можно определить из равенства J A(B) = H(A) – H (A/B) (9) В правой части соотношения (9) содержится разность первоначальной энтропии системы А и ее энтропии после того, как стало известным состояние системы сигналов В. Так как системы сигналов А и В являются связанными, то, в свою очередь, знание состояния системы А изменит априорную вероятность состояний системы В. Средняя информация, содержащаяся в системе А относительно системы В J B(A) = H(B) – H (B/A) (10) Установлено, что для сложной системы, объединяющей две статистически зависимые системы, верно равенство: H (AB) = H (A) + H (B/A) = H (B) + H (A / B) В силу этого соотношения, для информации будет верно выражение: J A(B) = J B(A) (11) Равенство (11) выражает важное свойство взаимности информации. В окончательном виде выражение для информации, которую несет система сигналов В относительно состояния системы А будет иметь вид: , (12) В случае необходимости выражение (12) может быть использовано в одном из видов: , (13) , (14) Если системы А и В независимы, то P(AiBj) = P(Ai)P(Bj) и тогда из выражения (12) вытекает: J A(B) = J B(A) = 0 С физической точки зрения результат очевиден – наблюдение над одной из систем не может дать информации относительно другой, если между состояниями этих систем нет связи. Величина J A(B) представляет собой ожидаемое значение информации, содержащейся в системе В относительно всех состояний системы А. Если J A(B) – средняя информация, содержащаяся в системе В относительно состояния Аi, то естественно считать, что: , (15) Объединив выражения (13) и (15), можно записать: , (16) Это выражение в эквивалентной форме будет иметь вид: , (17) Более удобным для вычислений является выражение вида: , В силу условия: , Величина J Ai(B) ≥ 0 Соотношения (16) и (17) представляют ожидаемое (среднее) значение информации, которую может дать система В относительно состояния Аi. Из связи этих систем следует, что каждое из состояний системы В может содержать информацию относительно какого-либо состояния системы А (и наоборот, учитывая взаимность информационной связи). Можно назвать информацией, которую дает состояние Вj относительно состояния Аi, , следующую величину: (18) Следовательно J Ai(B) представляет собой усреднение ожидаемой информации, содержащейся в системе В относительно состояния системы А, что следует из выражений (17) и (18). , (19) Величина J Ai(Bj) есть элементарная информация состояния Вj о состоянии Ai. Величины J Ai(B) и J A(B) представляют собой усредненную элементарную информацию. Физический смысл элементарной информации можно показать следующим образом. Пусть система В представляет собой систему сигналов (признаков), связанных с состояниями системы А. Тогда, если сигнал Вj встречается одинаково часто при наличии состояния Аi и при любых других состояниях системы А, т.е. P(Bj/Ai) = P(Bj), то следовательно такой сигнал не несет информации о состоянии Аi. Из выражения (18) следует J Ai(Bj) = 0. Если априорная вероятность состояния Аi равна Р(Аi), а после получения сигнала Вj она изменилась и стала Р(Аi/Вj), то знание состояния Вj дает некоторую информацию относительно Аi: . (20) Вероятность состояния Аi после получения сигнала может стать больше или меньше первоначальной (априорной) вероятности в зависимости от характера связей этих состояний. Таким образом, J Ai(Bj) может быть как положительной, так и отрицательной величиной, тогда как J Ai(B) и J A(B) всегда положительны или равны нулю. Элементарная информация J Ai(Bj) становиться отрицательной, если вероятность состояния Аi после получения сигнала Вj уменьшается. Выше рассматривалась информация, содержащаяся в системе В или ее отдельных состояниях относительно системы А. Так как системы А и В статистически зависимые, то знание состояний системы А дает информацию относительно системы В. Соответственно можно записать: , где J B(Ai) – информация, которой обладает состояние Аi относительно системы В. По аналогии следует: J B(Ai) = J Ai(B) Легко проследить и другие подобные зависимости, вытекающие из свойства зависимости информации.
|