Приклад розв’язання завдання

Визначити кількість інформації на виході системи, яка контролює параметр X, що може набувати таких значень: x ₁ — норма; x ₂ — більше за норму; x ₃ — менше від норми з імовірностями p (x ₁) = 0, 9; p (x ₂) = 0, 05; p (x ₃) = 0, 05. Унаслідок обмеженої точності контролю (наявність завад) мають місце помилки, тобто замість x ₁ може бути зафіксовано x ₂ або x ₃; замість x ₂ — x ₁ або x ₃; замість x ₃ — x ₁ або x ₂. Умовні ймовірності таких подій дорівнюють 0, 01 [1].

Розв’язання. Уведемо позначення результатів контролю:

– z ₁ — система контролю вказує, що параметр має значення x ₁;

– z ₂ — система контролю вказує, що параметр має значення x ₂;

– z ₃ — система контролю вказує, що параметр має значення x ₃.

Тоді умовні ймовірності помилкового контролю будуть відповідно такими:

p (z ₁/ x ₂) = p (z ₁/ x ₃) = p (z ₂/ x ₁) = p (z ₂/ x ₃) = p (z ₃/ x ₁) = p (z ₃/ x ₂) = 0, 01;
p (z ₁/ x ₁) = p (z ₂/ x ₂) = p (z ₃/ x ₃) = 0, 98.

Отримаємо вираз для оцінювання обсягу інформації:

Початкова ентропія

 

H (X) = – 0, 9log0, 9 – 2[0, 05log0, 05] = 0, 569 біт.

 

Для визначення умовної ентропії H (X / Z) необхідно знати ймовірності p (z_j) i p (x_i / z_j). Імовірність p (z_j) обчислимо за формулою повної ймовірності

 

Умовні ймовірності p (x_i / z_j) обчислимо за теоремою Байєса

p (x 1/ z 1) = 0, 9989;	p (x 1/ z 2) = 0, 15385;	p (x 1/ z 3) = 0, 15386;
p (x 2/ z 1) = 0, 00055;	p (x 2/ z 2) = 0, 83761;	p (x 2/ z 3) = 0, 00854;
p (x 3/ z 1) = 0, 00055;	p (x 3/ z 2) = 0, 00854;	p (x 3/ z 3) = 0, 83761.

 

Значення умовної ентропії знайдемо за таким виразом:

 

Обчислимо кількість інформації на виході системи контролю:

 

I (Z, X) = H (X) – H (X / Z) = 0, 569 – 0, 475 = 0, 094 біт.