Удаление аномалий

Присутствие аномалий при построении моделей оказывает на них большое влияние, ухудшая качество результата. Как видно из диаграммы, выбросы ухудшают статистическую картину распределения данных. Воспользуемся Мастером обработки и выберем парциальную обработку.

В Мастере парциальной предобработки на втором шаге выбираем поле "Количество" и указываем ему тип обработки "Редактирование аномальных значений", степень подавления "Большая". Так как больше никаких действий над данными не планировалось, то переходим на шаг запуска процесса обработки и нажимаем "Пуск".

Рисунок 3.10 – Настройка параметров парциальной предобработки

После выполнения процесса обработки на диаграмме (рис. 4.9) видно, что выбросы уменьшились, и стала проясняться реальная картина продаж.

3.4.5 Сглаживание данных – удаление шумов

Сглаживание данных применяется для удаления шумов из исходного набора (что будет продемонстрировано позднее), а также для выделения тенденции, трудно обнаруживаемой в исходном наборе. Платформа Deductor Studio предлагает несколько видов спектральной обработки: сглаживание данных путем указания полосы пропускания, вычитание шума путем указания степени вычитания шума и вейвлета преобразования путем указания глубины разложения и порядка вейвлета.

Сгладим данные при помощи парциальной обработки.

Рисунок 3.11 – Временной ряд после удаления аномалий

В Мастере парциальной предобработки на третьем шаге выбираем поле "Количество" и указываем ему тип обработки "Вычитание шума", степень подавления "Большая". Переходим на шаг запуска процесса обработки и нажимаем "Пуск".

Как видно из диаграммы рис. 3.12 данные стали более сглаженными и могут служить для дальнейшей обработки. Взглянув на данные легко понять общую тенденцию.

Рисунок 3.12 – Временной ряд после удаления шумов