Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Формула Хартли, Шеннона. Единицы измерения информации




В качестве единицы информации условились принять один бит.Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений.

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Одним битом могут быть выражены два понятия: 0 или 1 (да или нет, черное или белое, истина или ложь и т.п.).

Если количество битов увеличить до двух, то уже можно выразить четыре различных понятия:

00 01 10 11

Тремя битами можно закодировать восемь различных значений:

000 001 010 011 100 101 110 111

Увеличивая на единицу количество разрядов в системе двоичного кодирования, мы увеличиваем в два раза количество значений, которое может быть выражено в данной системе, то есть общая формула имеет вид:

N=2m

где N - количество независимых кодируемых значений; m - разрядность двоичного кодирования, принятая в данной системе. Бит - слишком мелкая единица измерения. На практике чаще применяется более крупная единица - байт, равная восьми битам.

Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера: 256=2^8

Широко используются также ещё более крупные производные единицы информации:

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

 

Количество информации, которое вмещает один символ N-элементного алфавита, определяется по формуле Хартли:

N=2i

Формула Шеннона:

 

где I - количество информации;

N - количество возможных событий;

рi - вероятность i-го события.

 

Формула Хартли определяет количество информации, содержащееся в сообщении длины n.

 







Дата добавления: 2015-04-19; просмотров: 1446. Нарушение авторских прав; Мы поможем в написании вашей работы!


Рекомендуемые страницы:


Studopedia.info - Студопедия - 2014-2021 год . (0.002 сек.) русская версия | украинская версия