Приклад розв’язання завдання
Визначити кількість інформації на виході системи, яка контролює параметр X, що може набувати таких значень: x 1 — норма; x 2 — більше за норму; x 3 — менше від норми з імовірностями p (x 1) = 0, 9; p (x 2) = 0, 05; p (x 3) = 0, 05. Унаслідок обмеженої точності контролю (наявність завад) мають місце помилки, тобто замість x 1 може бути зафіксовано x 2 або x 3; замість x 2 — x 1 або x 3; замість x 3 — x 1 або x 2. Умовні ймовірності таких подій дорівнюють 0, 01 [1]. Розв’язання. Уведемо позначення результатів контролю: – z 1 — система контролю вказує, що параметр має значення x 1; – z 2 — система контролю вказує, що параметр має значення x 2; – z 3 — система контролю вказує, що параметр має значення x 3. Тоді умовні ймовірності помилкового контролю будуть відповідно такими: p (z 1/ x 2) = p (z 1/ x 3) = p (z 2/ x 1) = p (z 2/ x 3) = p (z 3/ x 1) = p (z 3/ x 2) = 0, 01; Отримаємо вираз для оцінювання обсягу інформації:
Початкова ентропія
H (X) = – 0, 9log0, 9 – 2[0, 05log0, 05] = 0, 569 біт.
Для визначення умовної ентропії H (X / Z) необхідно знати ймовірності p (zj) i p (xi / zj). Імовірність p (zj) обчислимо за формулою повної ймовірності
Умовні ймовірності p (xi / zj) обчислимо за теоремою Байєса
Значення умовної ентропії знайдемо за таким виразом:
Обчислимо кількість інформації на виході системи контролю:
I (Z, X) = H (X) – H (X / Z) = 0, 569 – 0, 475 = 0, 094 біт.
|
