Авторская редакция
Факультет автоматики и вычислительной техники
Кафедра автоматики и телемеханики
В.Г. Ланских
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИНФОРМАЦИОННОЙ ТЕХНИКИ Учебное пособие
Дисциплина «Теория информации» Специальность 230201, 2 курс, д/о
Киров 2009 Печатается по решению редакционно-издательского совета Вятского государственного университета
УДК 621.377.037.3 (075.8)
Рецензент: кандидат технических наук, доцент кафедры РЭС А.Г. Корепанов
Ланских В.Г. Теоретические основы информационной техники: Учебное пособие. – Киров: Изд-во ВятГУ, 2009. – 179 с.
Авторская редакция
Подписано в печать Усл. печ. л. Бумага офсетная Печать копир Aficio 1022 Заказ № Тираж Бесплатно Текст напечатан с оригинал - макета, представленного автором
610 000, г. Киров, ул. Московская, 36 Оформление обложки, изготовление – ПРИП ВятГУ
Ó В.Г. Ланских, 2009 Ó Вятский государственный университет, 2009
ПРЕДИСЛОВИЕ
Предлагаемое учебное пособие содержит полный лекционный курс по дисциплине «Теория информации», читаемый автором для студентов специальности 230201 «Информационные системы и технологии». Содержание курса определяется тематическим планом рабочей программы, составленной на основании Государственного образовательного стандарта высшего профессионального образования по направлению подготовки дипломированного специалиста 654700 «Информационные системы». При написании пособия автор исходил из того, что при ограниченном объеме времени, отводимого на изучение дисциплины, очень важным является тщательный отбор материала, который, во-первых, уже изучался в какой-то степени в предшествующих дисциплинах, во-вторых, необходим для изучения большинства последующих смежных дисциплин, использующих этот материал. В связи с этим настоящее учебное пособие имеет двойную структуру. Текст учебного пособия с содержательной точки зрения разбит на главы и параграфы, а с временной точки зрения – на лекции. Этим обстоятельством и объясняется нетрадиционная форма раздела «Содержание». С учетом тематического плана содержание лекционного курса и настоящего учебного пособия состоит из трех глав. Вероятностный характер сообщений, сигналов, каналов и помех обуславливает необходимость рассмотрения математических методов описания (построения математических моделей) названных информационных объектов и процессов. Детализация этого вывода является содержанием первой главы курса, называемой «Теоретические методы описания информационных объектов и процессов». Вероятностные свойства сообщений, сигналов, каналов и помех позволяют ввести статистической определение количественной меры информации и на ее основе количественную меру таких характеристик, как избыточность, производительность источника, скорость передачи информации и пропускная способность канала. Детализация перечисленных понятий является содержанием второй главы курса, называемой «Количественные оценки информационных объектов и процессов». Важнейшей операцией по преобразованию формы представления информации, которая оказывает существенное влияние на все перечисленные ранее характеристики информационных систем, является кодирование. Рассмотрению различных методов кодирования информации посвящена третья глава настоящего курса, называемая «Основы теории кодирования». С учетом учебного плана и учебного графика на дисциплину отводится 34 часа лекционных занятий. В соответствии с этим настоящее учебное пособие структурировано на 16 двухчасовых лекций (первая лекция - вводная). Каждая лекция завершается перечнем вопросов, которые используются студентами для самоконтроля, а преподавателем – для контроля изученного материала. СОДЕРЖАНИЕ
Лекция 1 ВВЕДЕНИЕ
ВВЕДЕНИЕ
Информация, наряду с материей и энергией, является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена. Однако, можно перечислить основные свойства информации: а) информация переносит знания об окружающем мире, которых в рассматриваемой точке не было до получения информации; б) информация не материальна, но она проявляется в форме материальных носителей - дискретных знаков, символов или функций времени; в) информация может быть заключена как в символах, как таковых, так и в их взаимном расположении; г) символы доставляют информацию только для получателя, способного их распознать. Распознавание состоит в отождествлении символов с объектами реального мира и их отношениями. Поэтому информацию коротко и не строго можно определить как результат моделирования, т.е. описания реального мира или его исследуемой части. Под символами понимаются реальные различимые получателем объекты: буквы, цифры и т.п. Из символов строятся последовательности, которые называются сообщениями. Элементарным сообщением является каждый из символов. Множество всех символов, используемых для построения сообщений в какой-либо информационной системе, называется ее алфавитом. Сообщения и их последовательности содержат информацию для получателя, которую ему необходимо доставить. Любая доставка, транспортировка, передача информации неразрывно связана с определенной материальной системой, называемой системой передачи информации, структура которой в самом общем виде выглядит следующим образом (рис. В1).
Рис. В1
Источник сообщений вырабатывает информацию в виде сообщений. С источником связано определенное множество возможных сообщений. Генерация некоторого конкретного сообщения заключается в случайном выборе одного сообщения из множества возможных или вероятных. Какое это конкретно будет сообщение заранее неизвестно, по крайней мере, тому, для кого оно предназначено. Если бы передаваемое сообщение было заранее известным, т.е. детерминированным, то передача его не имела бы смысла, поскольку оно не содержит информации. Поэтому сообщения следует рассматривать как случайные события, или случайные функции, или случайные величины. Другими словами, должно существовать множество вариантов сообщений, из которых с определенной вероятностью реализуется одно. Источник сообщения можно рассматривать как устройство, осуществляющее выбор одного из некоторого множества сообщений. Чтобы сравнивать между собой различные источники и различные каналы необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении информацию. Ранее на интуитивном уровне было определено, что заранее известное сообщение не содержит информации. В связи с вероятностным характером сообщений до их получения в месте приема существует неопределенность в отношении того, какое из возможных сообщений поступит. При приеме сообщения эта неопределенность снимается полностью или частично. Чем больше существовавшая ранее и снимаемая при получении сообщения неопределенность, тем, очевидно, большее количество информации содержит это сообщение. Например, из двух сообщений, одно из которых содержит сведения о результатах бросания монеты, а другое - о результатах бросания игральной кости, второе содержит больше информации, поскольку снимает большую неопределенность относительно исхода этого эксперимента. Таким образом, количество информации, содержащееся в сообщении, может быть количественно оценено по вероятности его поступления. Это позволяет установить объективную численную меру количества информации, содержащегося в любых возможных сообщениях, независимо от их конкретного смысла, ценности, полезности и т.п. Введение количественной меры информации позволяет определить такие понятия как производительность источника, избыточность, скорость передачи информации, пропускная способность канала. Под производительностью источника понимается скорость создания информации, т.е. количество информации, создаваемое источником в единицу времени. Под избыточностью сообщения (источника) понимается использование в сообщениях большего количества символов, чем это минимально необходимо для передачи того же количества информации. Например, естественный язык обладает избыточностью, благодаря чему речь и текст обладают большой устойчивостью к искажениям. Если в тексте по каким-либо причинам оказались искаженными одна-две буквы в среднем на предложение, то, как правило, информация, заключенная в тексте, сохраняется. Отсюда следует, что избыточность является полезным свойством. Однако избыточные сообщения требуют большего времени для передачи по каналу и большего объема памяти для их хранения. Под скоростью передачи информации по каналу понимается количество информации, получаемое в единицу времени. Под пропускной способностью канала понимается максимально возможная (потенциальная) скорость передачи информации, которая может быть достигнута для данного канала при выполнении определенных условий. Естественными носителями информации являются последовательности дискретных элементов - символов или непрерывные функции. Любые дискретные элементы можно сопоставить числам. Поэтому все сообщения можно разделить на два класса: дискретные во времени (последовательности случайных величин) и непрерывные во времени (случайные функции). Реализацией дискретного сообщения является вполне определенная последовательность чисел. Реализацией непрерывного сообщения является определенная непрерывная во времени функция. Дискретное сообщение является частным случаем непрерывного. Передатчик преобразует сообщение в сигнал. Сигналами называются динамические, т.е. изменяющиеся во времени, процессы любой природы. Чаще других используются электрические сигналы. Сигналы формируются путем изменения тех или иных параметров физического носителя по закону, определяемому переносимым сообщением. Таким образом, в передатчике каждое из возможных сообщений на входе преобразуется в одно из возможных значений сигнала на выходе по строго установленному правилу. Сигналы, как и сообщения, по своим параметрам разделяются на дискретные и непрерывные. Если множество возможных значений параметра, используемого для переноса сообщения, конечно, то сигнал называется дискретным по данному параметру. Если информативный параметр сигнала может принимать бесконечное множество значений, то сигнал называется непрерывным по данному параметру. В зависимости от типов сообщений, сигналов и каналов правила, по которым сообщения преобразуются в сигналы, могут называться кодированием и модуляцией. Под кодированием в широком смысле понимается преобразование формы представления информации с целью обеспечения удобства ее передачи или хранения. В узком смысле, говоря о кодировании, обычно предполагают преобразование дискретных форм представления информации. Кодирующим отображением называется отображение множества слов, представленных в одном алфавите символов, в множество слов, представленных в этом же или другом фиксированном алфавите. Первый алфавит называется входным, второй - выходным. Применение кодирующего отображения к любому слову, представленному во входном алфавите, называется кодированием, а само кодирующее отображение, т.е. правило, по которому осуществляется кодирование, называется кодом. Слова в выходном алфавите, сопоставленные по правилу кодирования словам, записанным во входном алфавите, называются кодовыми комбинациями. Кодирование обеспечивает либо максимально возможную скорость передачи информации, либо заданную помехоустойчивость. В первом случае целесообразно обеспечить такое кодирование сообщения, при котором за счет устранения избыточности существенно уменьшается число символов, приходящихся на единицу сообщения. При отсутствии помех это дает непосредственный выигрыш во времени передачи. Такое кодирование называется эффективным или оптимальным кодированием для источника. Другой тип кодирования, называемый кодированием для канала, призван обеспечить заданную достоверность при передаче по каналу, на который воздействуют помехи. Такое кодирование называют избыточным или помехоустойчивым. Оно должно выполняться с учетом интенсивности помех в канале и их статистических закономерностей. Помехоустойчивые или корректирующие коды строятся так, что для передачи сообщений используются не все кодовые комбинации, возможные на данном алфавите, а лишь часть из них. Тем самым создается возможность обнаружения и исправления ошибки при неправильном приеме некоторого числа символов кодовой комбинации. Таким образом, корректирующие свойства этих кодов достигаются введением в кодовые комбинации специальных дополнительных, т.е. избыточных символов. Целесообразность устранения избыточности методами эффективного кодирования для источника с последующим введением избыточности за счет использования помехоустойчивого кодирования обусловлена тем, что избыточность источника в большинстве случаев не согласована со статистическими закономерностями помех в канале и поэтому не может быть полностью использована для повышения достоверности принимаемых сообщений. Устройства, осуществляющие кодирование и декодирование, называются кодером и декодером, соответственно. Модуляция представляет собой процесс преобразования кодовых символов, как элементов кодовых комбинаций, в сигналы, пригодные для передачи по каналу, свойства которого предъявляют определенные требования к характеристикам и параметрам передаваемых по ним сигналов. Для образования сигналов при модуляции используются постоянные состояния, колебания или импульсы, которые рассматриваются как носители. В исходном состоянии эти носители представляют собой как бы чистую поверхность, подготовленную для нанесения необходимых данных, т.е. к модуляции. Общий принцип модуляции состоит в изменении в соответствии с передаваемым сообщением одного или нескольких параметров носителя, называемого еще переносчиком или несущей. От вида модуляции в значительной мере зависят помехоустойчивость и пропускная способность системы связи. Все сказанное ранее о случайном характере сообщений в равной мере относится и к сигналам. В любом канале кроме сигнала, генерируемого передатчиком рассматриваемой системы, действуют другие сигналы и родственные сигналу по физической природе случайные процессы, объединяемые общим названием - помехи. Помехи накладываются на полезный сигнал и искажают его. Поэтому сигнал на выходе канала отличается от входного. Приемник осуществляет восстановление переданного сообщения по принятому сигналу. Данная операция возможна, если известно правило преобразования сообщения в сигнал. На основании этого правила вырабатывается правило обратного преобразования - демодуляции и декодирования, позволяющее в конечном счете выбрать на приемной стороне сообщение из известного множества сообщений, в идеальном случае полностью совпадающее с переданным. Однако вследствие искажений принятого сигнала возможны ошибки при восстановлении сообщений. Способность системы противостоять вредному влиянию помех на передачу сигнала называется помехоустойчивостью. Знание характеристик случайных процессов, называемых помехами, позволяет учесть их влияние и выбрать такие способы передачи и приема, которые обеспечивают предельную или потенциальную помехоустойчивость, которая при выбранных критериях, заданном множестве сигналов и известных характеристиках помех не может быть превзойдена ни при каком способе приема. Все сказанное ранее позволяет представить структуру системы передачи информации, изображенную на рис. В1, в виде, изображенном на рис. В2.
Рис. В2
Дискретность или непрерывность канала определяется только характером информационных параметров сигналов на его входе и выходе. На входе и выходе дискретного канала наблюдаются дискретные сигналы или символы из конечного алфавита. В непрерывных каналах сигналы на входе и выходе сигналы на входе и выходе непрерывны в ранее определенном смысле. Из всего рассмотренного во введении можно сделать следующие выводы: 1. Вероятностный характер сообщений, сигналов, каналов и помех обуславливает необходимость рассмотрения математических методов описания (построения математических моделей) названных информационных объектов и процессов. Детализация этого вывода является содержанием первой главы курса, называемой «Теоретические методы описания информационных объектов и процессов». 2. Вероятностные свойства сообщений, сигналов, каналов и помех позволяют ввести статистической определение количественной меры информации и на ее основе количественную меру таких характеристик, как избыточность, производительность источника, скорость передачи информации и пропускная способность канала. Детализация понятий, перечисленных в настоящем выводе, является содержанием второй главы курса, называемой «Количественные оценки информационных объектов и процессов». 3. Важнейшей операцией по преобразованию формы представления информации, которая оказывает существенное влияние на все перечисленные ранее характеристики информационных систем, является кодирование. Рассмотрению различных методов кодирования информации посвящена третья и последняя глава настоящего курса, называемая «Основы теории кодирования».
Контрольные вопросы к
|
