Метрики оценки качества сжатых видео-последовательностей.

Наше восприятие визуальных сцен формируется в сложнейшем взаимодействии органов зрения, глаз и мозга человека. На восприятие визуального качества влияет пространственная точность (на сколько четко видны разные части сцены, нет ли очевидных искажений) и временная точность (насколько естественным выглядит движение сцены, является ли оно «плавным» и «гладким»). Кроме того, с точки зрения зрителя, на качество воздействуют другие факторы, такие как внешнее окружение этого человека, его внутреннее состояние и степень вовлеченности во взаимодействие с визуальной сценой. На качество восприятия также влияет то особое внимание, которое зритель оказывает различным частям и точкам изображения по сравнению с общим взглядом на экран. Это так называемый эффект новизны. Все эти факторы делают чрезвычайно сложным аккуратное количественное измерение визуального качества.

1.3.1. Пиковое отношение сигнал/шум.

Сложность и дороговизна субъективных методов оценивания качества делают привлекательным автоматическое измерение качества с помощью определенных алгоритмов. Многие разработчики систем видеосжатия и видеообработки часто опираются на так называемые объективные (алгоритмические) меры качества. Наиболее популярной мерой служит пиковое соотношение сигнал/шум PSNR.

Пиковое соотношение сигнал/шум PSNR (Peak Signal to Noise Ratio) измеряется с помощью логарифмической шкалы и вычисляется по среднеквадратичному отклонению MSE (mean squared error) исходного изображения от преобразованного видеокадра относительно числа (2ⁿ-1)² (квадрата наибольшего возможного значения пиксела, где n – число бит на сэмпл кадра):

(2,7)

Высокое значение ПОСШ означает определенную схожесть восстановленного и исходного изображений, но оно не дает гарантию того, что зрителю понравится восстановленный образ. Большим минусом использования ПОСШ в системах цифровой обработки изображений и, в частности, в цифровых фильтрах является то, что данная величина не имеет абсолютного значения. Бессмысленно говорить о том, что если ПОСШ равно, например, 25 дБ, то это хорошо. Величина ПОСШ используется только для сравнения различных алгоритмов обработки или для изучения влияния параметров на эффективность того или иного алгоритма.

Следует иметь в виду, что критерий ПОСШ будет характеризовать «среднее» качество изображения в целом, а на различных его фрагментах ошибки, в принципе, могут различаться [3, 4].

Широкое применение данной оценки обусловлено тем, что подсчет этой характеристики математически прост и, следовательно, не требует больших вычислительных затрат.

1.3.2. Индекс структурного сходства.

Объективные методы для оценки визуального качества информации традиционно стремятся к измерению наблюдаемых зрительно ошибок (разницы) между искаженным и исходным изображением, используя разнообразные из известных свойств зрительной системы человека. Предполагая, что визуальное восприятие человека хорошо адаптировано для извлечения структурной информации из сцены, вводится альтернативная дополнительная структура для качественной оценки, основанной на деградации структурной информации. Как специфический пример этой концепции разработан индекс структурного подобия (Structural Similarity Index).

Цифровые изображения подвержены широкому ряду искажений при получении, обработке, сжатии, хранении, передаче и воспроизведении, многие из которых приводят к ухудшению визуального качества. Для приложений, в которых изображения в конце концов наблюдаются человеком, единственным «правильным» методом измерения качества визуальной информации является метод субъективной оценки. Однако на практике субъективная оценка слишком неудобна, дорогостояща и занимает довольно много времени. Целю исследования в области объективной оценки качества изображения является создание количественной меры, которая может автоматически прогнозировать и воспроизводить качество изображений.

Метрика объективной оценки качества может играть важную роль в широком спектре приложений. Во-первых она может быть использована в динамических мониторах, регулируя качество изображений. Например, сетевой цифровой видео сервер может, исследуя качество передаваемого видео, контролировать распределение потоковых ресурсов. Во-вторых, она может применяться для оптимизации алгоритмов и параметров настройки систем цифровой обработки изображений. Например, в системе видео-связи метрика качества может помочь в оптимальной разработке системы префильтрации и алгоритма битового распределения в кодере, а также в оптимальном восстановлении, маскировке ошибок и алгоритмах постфильтрации в декодере. В-третьих, она может быть использована как критерий качества работы систем и алгоритмов обработки изображений.

Объективные метрики качества изображений могут быть классифицированы в соответствие с наличием или отсутствием исходного (без искажений) изображения, с которым сравнивается искаженное изображение. Наиболее часто встречающийся подход, известный как полноссылочный, предполагает известность всего исходного изображения. Однако во многих практических приложениях исходное изображение недоступно и необходимы нессылочные или «слепые» методы оценки качества. Для третьего типа методов исходное изображение доступно только частично. Это может быть набор определенных характеристик, которые сделаны доступными как дополнительная, чтобы облегчить оценку качества искаженного изображения. Такие методы называют неполноссылочной оценкой качества.

Простейшими и широко используемыми полноссылочными метриками качества являются средняя квадратичная ошибка (MSE), вычисляемая с помощью среднего квадрата разности интенсивностей пикселей искаженного и исходного изображений, а также связанное с ней пиковое отношение сигнал/шум (PSNR). Они так популярны из-за простоты вычисления, простого физического смысла, и удобности для математической оптимизации. Однако они не очень хорошо согласуются с воспринимаемым визуальным качеством. За последние три десятилетия, некоторое количество попыток вылились в разработку методов оценки качества, которые используют известные характеристики человеческой зрительной системы. Большинство предложенных моделей оценки визуального качества основаны на той идее модификации измерения MSE, при которой ошибки учитываются в соответствии с их видимостью.

Сигналы несинтезированных изображений высоко структурированы: их пиксели имеют строгую зависимость друг от друга, особенно когда они пространственно близки, а их зависимость несет важную информацию о структуре объекта на визуальной сцене.

Была разработана новая структура для оценки качества изображений, основанная на предположении, что зрительная система человека высоко адаптирована к извлечению структурной информации из наблюдаемой области. Из этого следует, что изменение структурной информации приведет к хорошей аппроксимации наблюдаемых искажений визуальной информации.

Такой подход можно лучше понять, сравнивая его с подходом, основанном на чувствительности к ошибкам. Во-первых, подход, основанный на чувствительности к ошибкам, оценивает воспроизводимые ошибки, измеряя ухудшение изображения. В то время как новый подход рассматривает ухудшение изображения как изменение визуальной структурной информации.

Во-вторых, парадигма «чувствительный к ошибкам» означает восходящий подход, симулирующий функцию значимых начальных компонент в HVS. Новая парадигма использует нисходящий подход, подражающий гипотетической функциональности полного HVS. Это, с одной стороны, помогает новой философии избежать проблемы превышения порога, т.к. она не рассчитана на психофизический подход измерения наблюдаемых искажений. С другой стороны, проблема когнитивного взаимодействия также производит точный размер, так как исследование структуры объекта рассматривается как цель целого процесса визуального наблюдения, включая высокий уровень интерактивного процесса (которые трудно включить в восходящем подходе).

В-третьих, проблема сложности несинтезированных изображений и их сложности также избегает некоторые области из-за того, что новая философия не пытается предсказать качество изображения путем накопления ошибок, связанных с психофизиологическим пониманием простого рисунка. Вместо этого, новая философия предлагает оценивать структурные изменения между двумя высоко-структурированными сигналами напрямую.

Мы разработали специфический пример меры качества на основе структурного сходства из перспективы (вида) структуры изображения. Предыдущая реализация такого подхода была сделана в [6-8], были достигнуты обещающие результаты на простых тестах. В этой статье, мы обобщили этот алгоритм, обеспечили более широкий набор проверки результатов.

Яркость поверхности наблюдаемого объекта – это результат освещения и отражения, однако структура объектов на сцене не зависит от освещения. Следовательно, исследуя структурную информацию на изображении, мы хотим отделить влияние освещения. Мы определяем структурную информацию на изображении как характерную черту, которая представляет структуру объектов на сцене, независящую от средней яркости и контраста. Тогда как яркость и контраст могут изменяться на протяжении сцены, мы используем для определенности термин «локальные» яркость и контраст.

Системная диаграмма предложенной системы измерения качества показана на рис. Положим, что x и y – это два неотрицательных сигнала изображения, которые выровнены друг с другом (т.е. пространственные патчи извлечены из каждого изображения). Если мы предположим, что один из сигналов обладает совершенным качеством, тогда измерение схожести может служить количественной оценкой качества второго сигнала. Система выделяет задачи измерения схожести на три этапа (сравнения): яркость, контраст, структура. Во-первых, сравнивается яркость каждого сигнала. Предположим, что сигналы дискретны, тогда оценка средней интенсивности вычисляется как

(2)

Яркость сравнительной функции l(x,y) есть функция от μ_x и μ_y.

Во-вторых, удаляем среднюю интенсивность из сигнала. В дискретной форме, результирующий сигнал соответствует проекции вектора x на гиперплоскость:

(3)

Мы используем стандартное отклонение (квадратный корень из разности) как оценку контраста сигнала. Объективная оценка в дискретной форме определяется как

(4)

Сравнение контраста c(x,y) тогда определяется также как сравнение σ_x и σ_y.

В-третьих, сигнал пронормирован (поделен) на его собственное стандартное отклонение, так что два сравниваемых сигнала имеют целое стандартное отклонение. Структура сравнения s(x,y) управляет этими нормализованными сигналами (x- μ_x)/ σ_x и (y- μ_y)/ σ_y.

Наконец, три компоненты объединяются в итоге в полное измерение схожести:

(5)

Очень важным является то, что эти три компоненты являются независимыми относительно друг друга. Например, изменение яркости и/или контраста не оказывает эффекта на структуру изображения.

Для того, чтобы завершить определение измерения схожести в (5), нам необходимо определить три функции l(x,y), c(x,y), s(x,y), а также итоговую функцию f(.). Нам также необходимо, чтобы мера схожести удовлетворяла следующим условиям:

1.3.3. Неэталонный индекс блочности.