Мера информации синтаксического уровня

 

Количественная мера оценки информации этого уровня не связана со смыслом информации, ее содержанием. Для измерения информации на синтаксическом уровне используют характеристики объема и количества информации.

Рассмотрим понятие объема информации. Пусть задан алфавит, включающий множество символов, каждый из которых занимает в памяти объем равный u и пусть информация содержится сообщении, состоящим из N символов. Тогда объем информации сообщения можно определить, используя выражение:

 

V=N× u (единица объема).

Под количеством информации понимают меру снятия неопределенности ситуации при получении сообщения.

Хартли в 1928 году предложил степень неопределенности ситуации с m исходами характеризовать числом: H(x) = log m. Если в результате получения сообщения y количество исходов ситуации уменьшается до n, то количество информации в полученном сообщении определяется выражением:

I(y) = H(x) ¾ H(y), (4.1)

где H(x) = log m ¾ неопределенность ситуации x до получения сообщения y, H(y) = log n ¾ неопределенность ситуации x, оставшаяся после получения сообщения y.

Для определения количества информации, содержащегося в сообщении, необходимо выполнить следующие действия:

1. Найти n - количество исходов ситуации до получения сообщения;

2. Найти m - количество исходов ситуации после получения сообщения;

3. Воспользоваться выражением (4.1) и найти количество информации, содержащиеся в сообщении.

За единицу количества информации принимается один бит, который соответствует сообщению о ситуации, имеющей два исхода до получения сообщения, а при получении сообщения - единственный исход:

I(y) =log 2 ¾ log 1 =1 бит.

Применяемые единицы измерения количества информации приведены в таблице 4.3.

Таблица 4.3.

№	Название единицы	Обозначение единицы	Соотношения между единицами измерения количества информации
	байт	байт	1 байт = 8 бит
	Килобайт	Кбайт	1 Кбайт = 1024 байт = 210 байт
	Мегабайт	Мбайт	1 Мбайт = 1024 Кбайт = 220 байт
	Гигабайт	Гбайт	1 Гбайт = 1024 Мбайт = 230 байт
	Терабайт	Тбайт	1 Тбайт = 1024 Гбайт = 240 байт

 

Рассмотрим пример определения количества информации, которое содержится в сообщении.

В княжестве имеются автомобили только черного, серого и белого цвета. Количество информации сообщения «В аварию попал автомобиль не черного цвета» равен 8 - log₂5 бит. Количество информации сообщения «В аварию попал серый автомобиль» равно 8 бит. Какое количество информации в сообщении о том, что в аварию попал автомобиль белого цвета.

Обозначим через x, y и z количество автомобилей черного, серого и белого цвета. Тогда в княжестве имеется x + y + z автомобилей.

Степень неопределенности при попадании одного автомобиля в аварию равна:

H₁ = log₂(x + y + z)

Степень неопределенности при попадании в аварию автомобиля не черного цвета (серого и белого автомобиля) равна:

H₂ = log₂(y + z).

Количество информации, содержащиеся в сообщении «В аварию попал автомобиль не черного цвета», равно:

I = H₁ - H₂ = log₂(x + y + z) - log₂(y + z) = 8 - log₂5

Степень неопределенности при попадании в аварию серого автомобиля равна:

 

H₃ = log₂y.

Количество информации, содержащиеся в сообщении «В аварию попал серый автомобиль», равно:

I = H₁ - H₃ = log₂(x + y + z) - log₂y = 8 (4.2).

Предположим, что x + y + z = 8, а y+ z = 5 (4.3). Тогда из (4.2) находим y:

log₂(x + y + z) - log₂y = 8 - log₂y = 8;

log₂y = 0;

y = 1.

Тогда из (3) можно найти z:

y+ z = 5;

1 + z = 5;

z= 4.

Степень неопределенности при попадании в аварию белого автомобиля равна:

H₄ = log₂z = log₂4 = 2.

Количество информации, содержащиеся в сообщении «В аварию попал белый автомобиль», равно:

 

I = H₁ - H₄ = log₂(x + y + z) - log₂z = 8 - 2 =6.