Завдання. 1. Визначити ентропію системи, яка описується величиною х з наступним розподілом: р(х1) = р(х2) = 0,01; р(х3) = р(х4) = р(х5) = 0,02; р(х6) = 0,92

1. Визначити ентропію системи, яка описується величиною х з наступним розподілом: р (х ₁) = р (х ₂) = 0, 01; р (х ₃) = р (х ₄) = р (х ₅) = 0, 02;
р (х ₆) = 0, 92.

2. Визначити ентропію повідомлень (слів) з п’яти букв, якщо загальна кількість букв в алфавіті становить 32 та усі повідомлення є рівноймовірними.

3. Визначити ентропію повідомлень х та у, ентропію об’єднану, якщо ансамблі повідомлень х (х _1, х ₂, х ₃) та у (у ₁, у ₂, у ₃) об’єднані. Значення ймовірностей сумісних подій р (х, у) наведено в табл. 1.

Таблиця 1

yi	xi
x 1	x 2	x 3
y 1	0, 05	0, 07	0, 12
y 2	0, 08	0, 2	0, 12
y 3		0, 15	0, 21

4. Визначити диференціальну ентропію неперервного повідомлення, розподіленого за нормальним законом

.

 

5. Знайти диференціальну ентропію величини х в межах від х ₀ до х ₀ + с, розподіленої за законом рівної ймовірності, тобто

 

6. Знайти ентропію H (x), якщо сигнал формується у вигляді коду із символів 1 та 0 з імовірностями р (х ₁) = 0, 6 та р (х ₀) = 0, 4. Поява кожного з символів взаємозв’язана умовними ймовірностями:

р (х ₀/ х ₀) = 0, 1 — ймовірність того, що після 0 іде 0;

р (х ₁/ х ₀) = 0, 9 — ймовірність того, що після 0 іде 1;

р (х ₁/ х ₁) = 0, 1 — ймовірність того, що після 1 іде 1;

р (х ₀/ х ₁) = 0, 9 — ймовірність того, що після 0 іде 0.

7. Знайти ентропію повідомлень х ₁, х ₂, х ₃, х ₄, якщо Р (х ₁) = 0, 5; Р (х ₂) = 0, 5; Р (х ₃) = Р (х ₄) = 0, 125. Кореляційний зв'язок між повідомленнями наведено в табл. 2.

Таблиця 2

xixj	P (xixj)	P (xixj)	xixj	P (xixj)	P (xixj)
x 1 x 1	26/64	26/32	x 3 x 1
x 1 x 2	6/64	6/32	x 3 x 2
x 1 x 3			x 3 x 3
x 1 x 4			x 3 x 4	2/16
x 2 x 1	2/64	2/16	x 4 x 1	2/32	2/4
x 2 x 2	2/16	2/4	x 4 x 2	2/64	2/8
x 2 x 3	6/64	6/16	x 4 x 3	2/64	2/8
x 2 x 4			x 4 x 4

 

8.Знайти умовну ентропію взаємозв’язаних повідомлень х і у та умовну ентропію Н (х, у), якщо

 

.