Головна сторінка Випадкова сторінка
КАТЕГОРІЇ:
АвтомобіліБіологіяБудівництвоВідпочинок і туризмГеографіяДім і садЕкологіяЕкономікаЕлектронікаІноземні мовиІнформатикаІншеІсторіяКультураЛітератураМатематикаМедицинаМеталлургіяМеханікаОсвітаОхорона праціПедагогікаПолітикаПравоПсихологіяРелігіяСоціологіяСпортФізикаФілософіяФінансиХімія
Перелік
Дата добавления: 2015-03-11; просмотров: 460
|
|
Если бы сообщения передавались бы с помощью равновероятных букв алфавита и между собой статистически независимых, то энтропия таких сообщений была бы максимальной. На самом деле реальные сообщения строятся из не равновероятных букв алфавита с наличием статистических связей между буквами. Поэтому энтропия реальных сообщений -Hр, оказывается много меньше оптимальных сообщений - Hо. Допустим, нужно передать сообщение, содержащее количество информации, равное I. Источнику, обладающему энтропией на букву, равной Hр, придется затратить некоторое число nр, то есть 
. Если энтропия источника была бы Н0, то пришлось бы затратить меньше букв на передачу этого же количества информации I= n0H0 
.
Таким образом, часть букв nр-nо являются как бы лишними, избыточными. Таким образом, мера удлинения реальных сообщений по сравнению с оптимально закодированными и представляет собой избыточность D. 
(3.2)
Но наличие избыточности нельзя рассматривать как признак несовершенства источника сообщений. Наличие избыточности способствует повышению помехоустойчивости сообщений. Высокая избыточность естественных языков обеспечивает надежное общение между людьми.
| <== предыдущая лекция | | | следующая лекция ==> |
| Робота в зошитах з друкованою основою, ст. 51 | | | Необхідних до виконання завдань з «Основ римського приватного права» при підготовці до 6-го семінарського заняття |