Проверка статистических гипотез

Проверка статистических гипотез - один из основных разделов математической статистики, объединяющий методы проверки соответствия статистических данных некоторой статистической гипотезе (гипотезе о вероятностной природе данных). Процедуры проверки статистических гипотез позволяют принимать или отвергать статистические гипотезы, возникающие при обработке или интерпретации результатов наблюдений по многих практически важных разделах науки и производства, связанных со случайным экспериментом. Правило, в соответствии с которым принимается или отклоняется данная гипотеза, называется статистическим критерием. Построение критерия определяется выбором подходящей функции T = T(X₁,..., X_n) от результатов наблюдений X₁,..., X_n, которая служит мерой расхождения между опытными и гипотетическими значениями. Эта функция, являющаяся случайной величиной, называется статистикой критерия, при этом предполагается, что распределение вероятностей T может быть вычислено при допущении, что проверяемая гипотеза верна, и что это распределение не зависит от характеристик гипотетического распределения. По распределению статистики T находится критическое значение T₀ такое, что если гипотеза верна, то вероятность неравенства T>T₀ равна α, где α - заранее заданный уровень значимости (область значений (x₁,..., x_n), для которых T(X₁,..., X_n)>T₀, область отклонения гипотезы H₀, называется критической областью). Если в конкретном случае обнаружится, что T>T₀, то считается, что расхождение значимо, и гипотеза отвергается, тогда как появление значения T≤T₀ не противоречит гипотезе. Такого рода критерии, называются критериями значимости, используются как для проверки гипотез о параметрах распределения, так и гипотез о самих распределениях. В частном случае, когда проверяется согласие между выборочным и гипотетическим распределениями, пользуются термином критерий согласия.

Пусть, например, проверяется гипотеза о том, что независимые результаты наблюдений X₁,..., X_n подчиняются нормальному распределению со средним значением a=a₀ при известной дисперсии σ². При этом арифметическое среднее X_ср = (X₁+...+X_n)/n результатов наблюдений распределено нормально с математическим ожиданием a=a₀ и дисперсией σ²/n, а величина распределена нормально с параметрами (0, 1). Полагая

можно найти связь между T₀ и a по таблицам нормального распределения. Например, при гипотезе a=a₀ событие T>1.96 имеет вероятность 0.05. Правило, в соответствии с которым гипотеза a=a₀ объявляется неверной при T>1.96, будет приводить к ложному отбрасыванию этой гипотезы в среднем в 5 случаях из 100, в которых она верна. Если же T≤1.96, то это ещё не означает, что гипотеза подтверждается, т. к. указанное неравенство с большой вероятностью может выполняться при a, близких к a₀. Следовательно, при использовании предложенного критерия можно лишь утверждать, что результаты наблюдений не противоречат гипотезе a=a₀. Если дисперсия σ² неизвестна, то вместо данного критерия для проверки гипотезы a=a₀ можно воспользоваться критерием Стъюдента, основанным на статистике которая включает несмещённую оценку дисперсии

и подчинена распределению Стьюдента с n-1 степенями свободы. Для проверки гипотезы о неизвестном значении σ² используется хи-квадрат критерий.

При выборе статистики T всегда явно или неявно высказывают гипотезы, альтернативные проверяемой гипотезе. Например, при проверке гипотезы a=a₀ с известным σ² вместо следует взять , если заранее известно, что a≥a₀, т. е. отклонение гипотезы a=a₀ влечёт принятие гипотезы a>a₀.

При решении вопроса о принятии или отклонении какой-либо гипотезы H₀ с помощью любого критерия, основанного на результатах наблюдения, могут быть допущены ошибки двух типов. Ошибка "первого рода" совершается тогда, когда отвергается верная гипотеза H₀. Ошибка "второго рода" совершается в том случае, когда гипотеза H₀ принимается, а на самом деле верна не она, а какая-либо альтернативная гипотеза H₁. Естественно требовать, чтобы критерий для проверки данной гипотезы приводил возможно реже к ошибочным решениям. Обычная процедура построения наилучшего критерия для простой гипотезы заключается в выборе среди всех критериев с заданным уровнем значимости α (вероятность ошибки 1-го рода) такого, который имел бы наименьшую вероятность ошибки 2-го рода (или, что то же самое, наибольшую вероятность отклонения гипотезы, когда она неверна). Последняя вероятность (дополняющая до единицы вероятность ошибки 2-го рода) называется мощностью статистического критерия. В случае когда альтернативная гипотеза H₁ простая (см. Статистическая гипотеза), наилучшим будет критерий, который имеет наибольшую мощность среди всех других критериев с заданным уровнем значимости α (наиболее мощный статистический критерий). Если альтернативная гипотеза H₁ сложная, например зависит от параметра, то мощность критерия будет функцией, определённой на классе простых альтернативных гипотез, составляющих H₁, т. е. будет функцией параметра. Критерий, имеющий наибольшую мощность при каждой альтернативной гипотезе из класса H₁ называется равномерно наиболее мощным статистическим критерием, однако следует отметить, что такой критерий существует лишь в немногих специальных ситуациях. В задаче проверки простой гипотезы о среднем значении нормальной совокупности a=a₀ против сложной альтернативной гипотезы a>a₀ равномерно наиболее мощный критерий существует, тогда как при проверке той же гипотезы против альтернативы a≠a₀ его нет. Поэтому часто ограничиваются поиском равномерно наиболее мощных критериев в тех или иных специальных классах (инвариантных, несмещённых и т. п. критериев).

Теория проверки статистических гипотез позволяет с единой точки зрения трактовать задачи математической статистики, связанные с проверкой гипотез (оценка различия между средними значениями, проверка гипотезы постоянства дисперсии, проверка гипотез независимости, проверка гипотез о распределениях и т. п.). Идеи последовательного статистического анализа, применённые к проверке статистических гипотез, указывают на возможность связать решение о принятии или отклонении гипотезы с результатами последовательно проводимых наблюдений (в этом случае число наблюдений, на основе которых по определённому правилу принимается решение, не фиксируется заранее, а определяется в ходе эксперимента). Основные задачи проверки статистических гипотез могут быть сформулированы в рамках теории статистических решений.