Робастные методы расчета настроек
Методы робастного оценивания – те методы, которые позволяют получать достаточно надежные оценки статистической совокупности с учетом неясности закона ее распределения и наличия существенных отклонений в значениях данных. Методы оценивания, учитывающие наличие «грубых ошибок» и позволяющие при этом достаточно точно определять оценки параметров, называются робастными или устойчивыми. Таковыми являются методы Хубера, Винзора, Пуанкаре и ряд других методов. Пусть совокупность вместе с «обычными» значениями элементов содержит «грубые ошибки». При этом основная масса элементов является реализацией случайной величины, закон распределения которой известен с точностью до некоторого параметра. Вероятность появления этих элементов в совокупности равна 1-ε, где ε — вероятность появления другой случайной величины — η, определяющей грубые ошибки. Однако это условие является условным. Например, известно, что средняя арифметическая оценка является несмещённой, состоятельной и эффективной оценкой математического ожидания, однако её эффективность падает с увеличением числа наблюдений, значительно удалённых от среднего значения. Лаплас и Гаусс выявили преимущества и недостатки средней абсолютной ошибки , а также средней квадратической ошибки , где ; - i-е значение случайной величины; - среднее значение случайной величины. При наличии серии наблюдений
,
средняя абсолютная и средняя квадратическая ошибки определяют разные характеристики распределения ошибок. Отношение их предельных значений для нормального распределения ошибок: . Еще в начале XIX века Ф. Бессаль отметил, что в большинстве случаев реальные распределения имеют «утяжелённые хвосты» (наблюдения, значительно удалённые от среднего значения), по сравнению с табличным нормальным распределением. В ХХ в. утяжеление хвоста реальных распределений отмечено во многих наборах статистической информации. Д. Тьюки предложил свою модель для оценки характеристик распределения с утяжеленными относительно нормальной совокупности хвостами. В ней предусматривается наличие нормальной совокупности с математическим ожиданием μ;, дисперсией , которая засоряется другой нормальной совокупностью с этим же математическим ожиданием и с дисперсией . Распределение Тьюки имеет вид: , где . Часто для сравнения средней абсолютной ошибки со средней квадратической ошибкой используется асимптотическая характеристика , где e(ε) – относительная асимптотическая эффективность по отношению к . Если засорения нет, то для определения требуется на 12% меньше наблюдений, чем для определения . Однако уже при малом засорении преимущество быстро падает. Наоборот, с ростом засорения относительная эффективность быстро растёт. При засорении, равном 0,18%, e(0,18)=1. Итак, легко убедиться в том, что процедуры, предусмотренные теорией нормальных ошибок, не устойчивы к «грубым» ошибкам. Более устойчивыми оказываются процедуры, связанные с определением средней абсолютной ошибки . Известен целый ряд методов исключения резко выделяющихся наблюдений. Наиболее доступным и распространенным является анализ измерений с точки зрения экономической сущности полученных наблюдений. Для выявления резко выделяющихся наблюдений имеется ряд критериев, которые являются несмещенными, инвариантными по отношению к преобразованиям совокупности и требуют добавления константы или умножения каждого члена совокупности на положительное число. Пуанкаре предложил для расчета средней по усеченной совокупности (урезанной средней) формулу: , где - число грубых ошибок. - целая часть от произведения . - объем выборочной совокупности за исключением ошибочных данных. - некоторая функция засорения выборки (значения смотрятся по таблице — приложение Г). По Винзору средняя определяется также с заранее известным по формуле: ,
Помимо средних величин по винзорированным данным могут быть найдены и другие показатели. Помимо рассмотренных методов оценки широкое применение имеет классический подход Хубера. При это используется некоторая величина К, определяемая с учетом степени засорения статистической совокупности и определяющая шаг модификации резко отличающихся наблюдений. Оценка средней величины по Хуберу: , где - Устойчивая оценка, определяется при помощи итеративных процедур; - величина, которая допускается в качестве отклонения от центра совокупности, принимает постоянные значения с учетом удельного веса грубых ошибок в совокупности данных ; -Численность группы наблюдений из совокупности, отличающихся наименьшими значениями: , или значения в интервале (); - Численность группы наблюдений из совокупности, отличающихся наибольшими значениями: , или значения в интервале (); При расчетах по приведенной выше формуле в качестве начальной оценки может применяться обычная средняя арифметическая или медиана, оцененная по выборке. Затем на каждой итерации производится разделение выборочной совокупности на три части. В одну часть попадают «истинные» признаковые значения, которые остаются без изменения (). В две другие части совокупности (для и ) попадают «ошибки», они не исключаются из рассмотрения, а заменяются соответственно на величины и . По «истинным» и модифицированным данным каждый раз определяется новая оценка средней и итерация возобновляется. Итерации повторяются до тех пор, пока все наблюдения не оказываются в интервале «истинных» значений: Оценка , найденная по методу Хубера, представляется достаточно эффективной, но быстро теряет оптимальные свойства с увеличением засорения выборки (ростом ).
77 Нелинейные системы. Общая характеристика нелинейных АСР. Типовые нелинейные модели. Уравнения нелинейных систем. – Козлицкий
|