Измерение количества информации.
Методы измерения количества информации. Оценка сообщения с позиции уменьшения неопределенности данных об объекте. Формула Хартли. Процесс получения информации как выбор 1 сообщения из конечного заданного множества N равновероятных сообщений. Количество информации I содержащееся в сообщении: I = Формула Шеннона. Формула для учета неодинаковой вероятности. I = -
Единицы измерения количества информации. Единица информации – бит (необходимое для различия двух равновероятных сообщений). Мощность компьютерного алфавита – 256 символов. М етоды измерения. Подходы к измерению информации: 1. Содержательный – количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку. На каждом этапе поиска отбрасывается половина вариантов. 2. Алфавитный подход – любое сообщение можно закодировать последовательностью символов некоторого алфавита.
|
.
.
– вероятность, что i сообщение выделено в наборе из N сообщений.
