Студопедия — Измерение информации.
Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Измерение информации.






 

Какое количество информации содержится, к примеру, в тексте романа "Война и

мир", во фресках Рафаэля или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро. А возможно ли объективно измерить количество информации? Важнейшим результатом теории информации является вывод:

В определенных, весьма широких условиях можно пренебречь качественными

особенностями информации, выразить её количество числом, а также сравнить

количество информации, содержащейся в различных группах данных.

В настоящее время получили распространение подходы к определению понятия

"количество информации", основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле её новизны или, иначе, уменьшения неопределённости наших знаний об объекте.

Так, американский инженер Р. Хартли (1928 г.) процесс получения информации

рассматривает как выбор одного сообщения из конечного наперёд заданного

множества из N равновероятных сообщений, а количество информации I,

содержащееся в выбранном сообщении, определяет как двоичный логарифм N.

Формула Хартли: I = log2N.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По

формуле Хартли можно вычислить, какое количество информации для этого

требуется: I = log2100 ” 6,644. То есть сообщение о верно угаданном числе

содержит количество информации, приблизительно равное 6,644 единиц информации.

Приведем другие примеры равновероятных сообщений:

при бросании монеты: "выпала решка", "выпал орел";

на странице книги: "количество букв чётное", "количество букв нечётное".

Определим теперь, являются ли равновероятными сообщения "первой выйдет из

дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно

ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г.

другую формулу определения количества информации, учитывающую возможную

неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = – (p1 log2 p1 + p2 log2 p2 +... + pN log2 pN),

где pi — вероятность того, что именно i-е сообщение выделено в наборе из N

сообщений.

Легко заметить, что если вероятности p1,..., pN равны, то каждая из них

равна 1/N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации,

существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными

допущениями.

В качестве единицы информации условились принять один бит (англ. bit —

binary, digit — двоичная цифра).Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений.

А в вычислительной технике битом называют наименьшую "порцию" памяти,

необходимую для хранения одного из двух знаков "0" и "1", используемых для

внутримашинного представления данных и команд.

Бит — слишком мелкая единица измерения. На практике чаще применяется более

крупная единица — байт, равная восьми битам. Именно восемь битов требуется

для того, чтобы закодировать любой из 256 символов алфавита клавиатуры

компьютера (256=28).

Широко используются также ещё более крупные производные единицы информации:

Ø 1 Килобайт (Кбайт) = 1024 байт = 210 байт,

Ø 1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт,

Ø 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации

входят в употребление такие производные единицы, как:

Ø 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт,

Ø 1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт.

За единицу информации можно было бы выбрать количество информации,

необходимое для различения, например, десяти равновероятных сообщений. Это

будет не двоичная (бит), а десятичная (дит) единица информации.

 







Дата добавления: 2015-12-04; просмотров: 163. Нарушение авторских прав; Мы поможем в написании вашей работы!



Важнейшие способы обработки и анализа рядов динамики Не во всех случаях эмпирические данные рядов динамики позволяют определить тенденцию изменения явления во времени...

ТЕОРЕТИЧЕСКАЯ МЕХАНИКА Статика является частью теоретической механики, изучающей условия, при ко­торых тело находится под действием заданной системы сил...

Теория усилителей. Схема Основная масса современных аналоговых и аналого-цифровых электронных устройств выполняется на специализированных микросхемах...

Логические цифровые микросхемы Более сложные элементы цифровой схемотехники (триггеры, мультиплексоры, декодеры и т.д.) не имеют...

Гносеологический оптимизм, скептицизм, агностицизм.разновидности агностицизма Позицию Агностицизм защищает и критический реализм. Один из главных представителей этого направления...

Функциональные обязанности медсестры отделения реанимации · Медсестра отделения реанимации обязана осуществлять лечебно-профилактический и гигиенический уход за пациентами...

Определение трудоемкости работ и затрат машинного времени На основании ведомости объемов работ по объекту и норм времени ГЭСН составляется ведомость подсчёта трудоёмкости, затрат машинного времени, потребности в конструкциях, изделиях и материалах (табл...

Ситуация 26. ПРОВЕРЕНО МИНЗДРАВОМ   Станислав Свердлов закончил российско-американский факультет менеджмента Томского государственного университета...

Различия в философии античности, средневековья и Возрождения ♦Венцом античной философии было: Единое Благо, Мировой Ум, Мировая Душа, Космос...

Характерные черты немецкой классической философии 1. Особое понимание роли философии в истории человечества, в развитии мировой культуры. Классические немецкие философы полагали, что философия призвана быть критической совестью культуры, «душой» культуры. 2. Исследовались не только человеческая...

Studopedia.info - Студопедия - 2014-2024 год . (0.011 сек.) русская версия | украинская версия