Студопедия — Количество и объем информации. Избыточность кода.
Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Количество и объем информации. Избыточность кода.






Рассмотрим схему обращения информации

Отправитель передал сообщение, состоящее из m букв алфавита A, обладающего энтропией H(A).

Количество информации в сообщении равно =m H(A)

Кодирующее устройство кодирует исходное сообщение символами алфавита B с энтропией H(A).

Если код равномерный, то количество информации в закодированном сообщении легко подсчитать:

где r – разрядность равномерного кода.

Сравним полученные значения I и Ik.Ясно, что в общем случае . Это следует из формулы расчета минимальной разрядности кода. Равенство имеет место лишь в весьма редких случаях. Например, при двоичном кодировании равновероятного алфавита А, если при этом , и H (B) = 1.

Однако, в соответствии с определением, кодирование есть переход от одной формы записи к другой, содержащей ту же самую информацию. И с этой точки зрения неравенство является противоречием. Чтобы его снять, было введено понятие объёма информации .

Объёмом информации – кол-о перед-ой инф-ии, рассчитанное относительно кодового (вторичного) алфавита

При неравномерном кодировании объём информации выражается по формуле

Mинимально возможная средняя длина кодового слова равна .

Cредняя длина кодового слова при кодировании произвольного алфавита A любым двоичным кодом не может быть меньше энтропии исходного алфавита.

Избыточностью кода - превышение средней длины кода над минимально возможной

Избыточность кода является следствием как процедуры кодирования (природы кода), так и свойств алфавитов, в этом процессе участвующих.







Дата добавления: 2015-12-04; просмотров: 228. Нарушение авторских прав; Мы поможем в написании вашей работы!



Обзор компонентов Multisim Компоненты – это основа любой схемы, это все элементы, из которых она состоит. Multisim оперирует с двумя категориями...

Композиция из абстрактных геометрических фигур Данная композиция состоит из линий, штриховки, абстрактных геометрических форм...

Важнейшие способы обработки и анализа рядов динамики Не во всех случаях эмпирические данные рядов динамики позволяют определить тенденцию изменения явления во времени...

ТЕОРЕТИЧЕСКАЯ МЕХАНИКА Статика является частью теоретической механики, изучающей условия, при ко­торых тело находится под действием заданной системы сил...

Этапы и алгоритм решения педагогической задачи Технология решения педагогической задачи, так же как и любая другая педагогическая технология должна соответствовать критериям концептуальности, системности, эффективности и воспроизводимости...

Понятие и структура педагогической техники Педагогическая техника представляет собой важнейший инструмент педагогической технологии, поскольку обеспечивает учителю и воспитателю возможность добиться гармонии между содержанием профессиональной деятельности и ее внешним проявлением...

Репродуктивное здоровье, как составляющая часть здоровья человека и общества   Репродуктивное здоровье – это состояние полного физического, умственного и социального благополучия при отсутствии заболеваний репродуктивной системы на всех этапах жизни человека...

Условия, необходимые для появления жизни История жизни и история Земли неотделимы друг от друга, так как именно в процессах развития нашей планеты как космического тела закладывались определенные физические и химические условия, необходимые для появления и развития жизни...

Метод архитекторов Этот метод является наиболее часто используемым и может применяться в трех модификациях: способ с двумя точками схода, способ с одной точкой схода, способ вертикальной плоскости и опущенного плана...

Примеры задач для самостоятельного решения. 1.Спрос и предложение на обеды в студенческой столовой описываются уравнениями: QD = 2400 – 100P; QS = 1000 + 250P   1.Спрос и предложение на обеды в студенческой столовой описываются уравнениями: QD = 2400 – 100P; QS = 1000 + 250P...

Studopedia.info - Студопедия - 2014-2024 год . (0.011 сек.) русская версия | украинская версия