Понятие информационной энтропии.
Раздел 1. Теоретические основы информатики. Сбор, хранение, поиск, переработка, преобразование, распространение информации в медицинских и биологических системах.
Энтропия – мера неопределенности состояния или поведения наблюдаемой(управляемой) системы; мера неопределенности в выборе управляющих решений. Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Является количеством, определённым в контексте вероятностной модели для источника данных Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании Представление об объективной и субъективной информации, возможные определения понятия информации. Атрибуты информации. Объективная (первичная) информация — свойство материальных объектов и явлений (процессов) порождать многообразие состояний, которые посредством взаимодействий передаются другим объектам и запечатлеваются в их структуре Субъективная (вторичная) информация – смысловое содержание объективной информации об объектах и процессах материального мира, сформированное сознанием человека с помощью смысловых образов (слов, изображений и ощущений) и зафиксированное на каком-либо материальном носителе Информация – это сведения об окружающем мире и протекающих в нем процессах, увеличивающие знания и уменьшающие энтропию (незнание) Знания – осознанные и запомненные свойства предметов, явлений и связей между ними, а также способы поведения (выбора решений) для достижения нужных результатов Информация обладает рядом фундаментальных свойств (атрибутов): новизна Информация —совокупность данных, зафиксированных на материальном носителе, сохранённых и распространённых во времени и пространстве,это осознанные сведения об окружающем мире, которые являются объектом хранения, преобразования, передачи и использования Основные виды информации по ее форме представления, способам ее кодирования и хранения это:
Атрибуты информации:
(1.5) Основные понятия базовых информационных процессов: хранения, передачи, обработки информации. Общение является одним из важнейших условий существования человеческого общества. Общение включает в себя следующие информационные процессы:хранения, передачи, обработки информации. Хранение информации осуществляется с помощью её переноса на некоторые материальные носители. Семантическая информация, зафиксированная на материальном носителе для хранения, называется документом. Хранить информацию человечество научилось очень давно. В наиболее древних формах хранения информации использовалось расположение предметов — раковин и камней на песке, узелков на верёвке. Существенным развитием этих способов явилась письменность — графическое изображение символов на камне, глине, папирусе, бумаге. Огромное значение в развитии этого направления имело изобретение книгопечатания. За свою историю человечество накопило огромный объём информации в библиотеках, архивах, периодических изданиях и других письменных документах. В настоящее время особое значение получило хранение информации в виде последовательностей двоичных символов. Для реализации этих методов используются разнообразные запоминающие устройства. Они являются центральным звеном систем хранения информации. Кроме них в таких системах используются средства поиска информации (поисковая система), средства получения справок (информационно-справочные системы) и средства отображения информации (устройство вывода). Сформированные по назначению информации такие информационные системы образуют базы данных, банки данных и базы знаний. Хранение информации осуществляется с помощью её переноса на некоторые материальные носители. Семантическая информация, зафиксированная на материальном носителе для хранения, называется документом. Хранить информацию человечество научилось очень давно. В наиболее древних формах хранения информации использовалось расположение предметов — раковин и камней на песке, узелков на верёвке. Существенным развитием этих способов явилась письменность — графическое изображение символов на камне, глине, папирусе, бумаге. Огромное значение в развитии этого направления имело изобретение книгопечатания. За свою историю человечество накопило огромный объём информации в библиотеках, архивах, периодических изданиях и других письменных документах. В настоящее время особое значение получило хранение информации в виде последовательностей двоичных символов. Для реализации этих методов используются разнообразные запоминающие устройства. Они являются центральным звеном систем хранения информации. Кроме них в таких системах используются средства поиска информации (поисковая система), средства получения справок (информационно-справочные системы) и средства отображения информации (устройство вывода). Сформированные по назначению информации такие информационные системы образуют базы данных, банки данных и базы знаний. Поскольку информация нематериальна, её обработка заключается в различных преобразованиях. К процессам обработки можно отнести любые переносы информации с носителя на другой носитель. Информация, предназначенная для обработки, называется данными. Основным видом обработки первичной информации, полученной различными приборами, является преобразование в форму, обеспечивающую её восприятие органами чувств человека. Так, фотоснимки космоса, полученные в рентгеновских лучах, преобразуются в обычные цветные фотографии с использованием специальных преобразователей спектра и фотоматериалов. Приборы ночного видения преобразуют изображение, получаемое в инфракрасных (тепловых) лучах, в изображение в видимом диапазоне. Для некоторых задач связи и управления необходимо преобразование аналоговой информации в дискретную и наоборот. Для этого используются аналого-цифровые и цифро-аналоговые преобразователи сигналов. Важнейшим видом обработки семантической информации является определение смысла (содержания), заключающегося в некотором сообщении. В отличие от первичной семантическая информация не имеет статистических характеристик, то есть количественной меры — смысл либо есть, либо его нет. А сколько его, если он есть — установить невозможно. Содержащийся в сообщении смысл описывается на искусственном языке, отражающем смысловые связи между словами исходного текста. Словарь такого языка, называемый тезаурусом, находится в приемнике сообщения. Смысл слов и словосочетаний сообщения определяется путем их отнесения к определенным группам слов или словосочетаний, смысл которых уже установлен. Тезаурус, таким образом, позволяет установить смысл сообщения и, одновременно, пополняется новыми смысловыми понятиями. Описанный вид обработки информации применяется в информационно-поисковых системах и системах машинного перевода. Одним из широко распространенных видов обработки информации является решение вычислительных задач и задач автоматического управления с помощью вычислительных машин. Обработка информации всегда производится с некоторой целью. Для её достижения должен быть известен порядок действий над информацией, приводящий к заданной цели. Такой порядок действий называется алгоритмом. Кроме самого алгоритма необходимо также некоторое устройство, реализующее этот алгоритм. В научных теориях такое устройство называется автоматом. Следует отметить как важнейшую особенность информации тот факт, что в силу несимметричности информационного взаимодействия при обработке информации возникает новая информация, а исходная информация не теряется.
|
