Робастные методы расчета на­строек

 

Методы робастного оценивания – те методы, которые позволяют получать достаточно надежные оценки статистической совокупности с учетом неясности закона ее распределения и наличия существенных отклонений в значениях данных.

Методы оценивания, учитывающие наличие «грубых ошибок» и позволяющие при этом достаточно точно определять оценки параметров, называются робастными или устойчивыми. Таковыми являются методы Хубера, Винзора, Пуанкаре и ряд других методов.

Пусть совокупность вместе с «обычными» значениями элементов содержит «грубые ошибки». При этом основная масса элементов является реализацией случайной величины, закон распределения которой известен с точностью до некоторого параметра. Вероятность появления этих элементов в совокупности равна

1-ε, где ε — вероятность появления другой случайной величины — η, определяющей грубые ошибки. Однако это условие является условным.

Например, известно, что средняя арифметическая оценка является несмещённой, состоятельной и эффективной оценкой математического ожидания, однако её эффективность падает с увеличением числа наблюдений, значительно удалённых от среднего значения.

Лаплас и Гаусс выявили преимущества и недостатки средней абсолютной ошибки

,

а также средней квадратической ошибки

,

где ;

- i-е значение случайной величины;

- среднее значение случайной величины.

При наличии серии наблюдений

 

,

 

средняя абсолютная и средняя квадратическая ошибки определяют разные характеристики распределения ошибок. Отношение их предельных значений для нормального распределения ошибок:

.

Еще в начале XIX века Ф. Бессаль отметил, что в большинстве случаев реальные распределения имеют «утяжелённые хвосты» (наблюдения, значительно удалённые от среднего значения), по сравнению с табличным нормальным распределением. В ХХ в. утяжеление хвоста реальных распределений отмечено во многих наборах статистической информации. Д. Тьюки предложил свою модель для оценки характеристик распределения с утяжеленными относительно нормальной совокупности хвостами. В ней предусматривается наличие нормальной совокупности с математическим ожиданием μ;, дисперсией , которая засоряется другой нормальной совокупностью с этим же математическим ожиданием и с дисперсией .

Распределение Тьюки имеет вид:

,

где

.

Часто для сравнения средней абсолютной ошибки со средней квадратической ошибкой используется асимптотическая характеристика

,

где e(ε) – относительная асимптотическая эффективность по отношению к .

Если засорения нет, то для определения требуется на 12% меньше наблюдений, чем для определения . Однако уже при малом засорении преимущество быстро падает. Наоборот, с ростом засорения относительная эффективность быстро растёт. При засорении, равном 0,18%, e(0,18)=1.

Итак, легко убедиться в том, что процедуры, предусмотренные теорией нормальных ошибок, не устойчивы к «грубым» ошибкам. Более устойчивыми оказываются процедуры, связанные с определением средней абсолютной ошибки . Известен целый ряд методов исключения резко выделяющихся наблюдений.

Наиболее доступным и распространенным является анализ измерений с точки зрения экономической сущности полученных наблюдений. Для выявления резко выделяющихся наблюдений имеется ряд критериев, которые являются несмещенными, инвариантными по отношению к преобразованиям совокупности и требуют добавления константы или умножения каждого члена совокупности на положительное число.

Пуанкаре предложил для расчета средней по усеченной совокупности (урезанной средней) формулу:

,

где - число грубых ошибок.

- целая часть от произведения .

- объем выборочной совокупности за исключением ошибочных данных.

- некоторая функция засорения выборки (значения смотрятся по таблице — приложение Г).

По Винзору средняя определяется также с заранее известным по формуле:

,

 

Помимо средних величин по винзорированным данным могут быть найдены и другие показатели.

Помимо рассмотренных методов оценки широкое применение имеет классический подход Хубера. При это используется некоторая величина К, определяемая с учетом степени засорения статистической совокупности и определяющая шаг модификации резко отличающихся наблюдений.

Оценка средней величины по Хуберу:

,

где - Устойчивая оценка, определяется при помощи итеративных процедур;

- величина, которая допускается в качестве отклонения от центра совокупности, принимает постоянные значения с учетом удельного веса грубых ошибок в совокупности данных ;

-Численность группы наблюдений из совокупности, отличающихся наименьшими значениями: , или значения в интервале ();

- Численность группы наблюдений из совокупности, отличающихся наибольшими значениями: , или значения в интервале ();

При расчетах по приведенной выше формуле в качестве начальной оценки может применяться обычная средняя арифметическая или медиана, оцененная по выборке. Затем на каждой итерации производится разделение выборочной совокупности на три части. В одну часть попадают «истинные» признаковые значения, которые остаются без изменения (). В две другие части совокупности (для и ) попадают «ошибки», они не исключаются из рассмотрения, а заменяются соответственно на величины и . По «истинным» и модифицированным данным каждый раз определяется новая оценка средней и итерация возобновляется. Итерации повторяются до тех пор, пока все наблюдения не оказываются в интервале «истинных» значений:

Оценка , найденная по методу Хубера, представляется достаточно эффективной, но быстро теряет оптимальные свойства с увеличением засорения выборки (ростом ).

 

77 Нелинейные системы. Общая характеристика нелинейных АСР. Типовые нелинейные модели. Уравнения нелинейных систем. – Козлицкий