Критерий согласия Колмогорова

Рассмотрим как критерий Колмогорова (λ) применяется при проверке гипотезы о нормальном распределении генеральной совокупности. Выравнивание фактического распределения по кривой нормального распределения состоит из нескольких этапов:

1. Сравнивают фактические и теоретические частоты.

2. По фактическим данным определяют теоретические частоты кривой нормального распределения, которая является функцией нормированного отклонения.

3. Проверяют на сколько распределение признака соответствует нормальному.

 

ДляIV колонки таблицы:

В MS Excel нормированное отклонение (t) рассчитывается с помощью функции НОРМАЛИЗАЦИЯ. Необходимо выделить диапазон свободных ячеек по количеству вариант (строк электронной таблицы). Не снимая выделения, вызвать функцию НОРМАЛИЗАЦИЯ. В появившемся диалоговом окне указать следующие ячейки, в которых размещены, соответственно, наблюдаемые значения (X_i), средняя (X) и среднеквадратическое отклонение Ϭ. Операцию обязательно завершить одновременным нажатием клавиш Ctrl+Shift+Enter

ДляV колонки таблицы:

Функцию плотности вероятности нормального распределения φ(t) находим по таблице значений локальной функции Лапласа для соответствующего значения нормированного отклонения (t)

ДляVI колонки таблицы:

Допустим, что данное статистическое распределение выровнено с помощью некоторой теоретической кривой (рис. 7.6.1). Как бы хорошо ни была подобрана теоретическая кривая, между нею и статистическим распределением неизбежны некоторые расхождения. Естественно возникает вопрос: объясняются ли эти расхождения только случайными обстоятельствами, связанными с ограниченный числом наблюдений, или они являются существенными и связаны с тем, что подобранная нами кривая плохо выравнивает данное статистическое распределение. Для ответа на такой вопрос служат так называемые «критерии согласия».

Идея применения критериев согласия заключается в следующем.

На основании данного статистического материала нам предстоит проверить гипотезу , состоящую в том, что случайная величина подчиняется некоторому определенному закону распределения. Этот закон может быть задан в той или иной форме: например, в виде функции распределения или в виде плотности распределения или же в виде совокупности вероятностей , где - вероятность того, что величина попадет в пределы -го разряда.

Рис. 7.6.1

Так как из этих форм функция распределения является наиболее общей и определяет собой любую другую, будем формулировать гипотезу , как состоящую в том, что величина имеет функцию распределения .

Для того чтобы принять или опровергнуть гипотезу , рассмотрим некоторую величину , характеризующую степень расхождения теоретического и статистического распределений. Величина может быть выбрана различными способами; например, в качестве можно взять сумму квадратов отклонений теоретических вероятностей от соответствующих частот или же сумму тех же квадратов с некоторыми коэффициентами («весами»), или же максимальное отклонение статистической функции распределения от теоретической и т. д. Допустим, что величина выбрана тем или иным способом. Очевидно, это есть некоторая случайная величина. Закон распределений этой случайной величины зависит от закона распределения случайной величины , над которой производились опыты, и от числа опытов . Если гипотеза верна, то закон распределения величины определяется законом распределения величины (функцией ) и числом .

Допустим, что этот закон распределения нам известен. В результате данной серии опытов обнаружено, что выбранная нами мера расхождения приняла некоторое значение . Спрашивается, можно ли объяснить это случайными причинами или же это расхождение слишком велико и указывает на наличие существенной разницы между теоретическим и статистическим распределениями и, следовательно, на непригодность гипотезы ? Для ответа на этот вопрос предположим, что гипотеза верна, и вычислим в этом предположении вероятность того, что гипотеза верна, и вычислим в этом предположении вероятность того, что за счет случайных причин, связанных с недостаточным объемом опытного материала, мера расхождения окажется не меньше, чем наблюденное нами в опыте значение , т. е. вычислим вероятность события:

.

Если эта вероятность весьма мала, то гипотезу следует отвергнуть как мало правдоподобную; если же эта вероятность значительна, следует признать, что экспериментальные данные не противоречат гипотезе .

Возникает вопрос о том, каким же способом следует выбирать меру расхождения ? Оказывается, что при некоторых способах ее выбора закон распределения величины обладает весьма простыми свойствами при достаточно большом практически не зависит от функции . Именно такими мерами расхождения и пользуются в математической статистике в качестве критериев согласия.

Рассмотрим один из наиболее часто применяемых критериев согласия - так называемый «критерий » Пирсона.

Предположим, что произведено независимых опытов, в каждом из которых случайная величина приняла определенное значение. Результаты опытов сведены в разрядов и оформлены в виде статистического ряда:

Требуется проверить, согласуются ли экспериментальные данные с гипотезой о том, что случайная величина имеет данный закон распределения (заданной функцией распределения или плотностью ). Назовем этот закон распределения «теоретическим».

Зная закон распределения, можно найти теоретические вероятности попадания случайной величины в каждый из разрядов:

.

Проверяя согласованность теоретического и статистического распределений, мы будем исходить из расхождений между теоретическими вероятностями и наблюденными частотами . Естественно выбрать в качестве меры расхождения между теоретическим и статистическим распределениями сумму квадратов отклонений , взятых с некоторыми «весами» :

. (7.6.1)

Коэффициенты («веса» разрядов) вводятся потому, что в общем случае отклонения, относящиеся к различным разрядам, нельзя считать равноправными по значимости. Действительно, одно и то же по абсолютной величине отклонение , может быть мало значимым, если сама вероятность мала. Поэтому естественно «веса» взять обратно пропорциональными вероятностям разрядов .

Далее возникает вопрос о том, как выбрать коэффициент пропорциональности.

К. Пирсон показал, что если положить

(7.6.2)

то при больших закон распределения величины обладает весьма простыми свойствами: он практически не зависит от функции распределения и от числа опытов , а именно, этот закон при увеличении приближается к так называемому «распределению ».

При таком выборе коэффициентов мера расхождения обычно обозначается :

. (7.6.3)

Для удобства вычислений (чтобы не иметь дела с дробными величинами с большим числом нулей) можно ввести под знак суммы и, учитывая, что , где - число значений в -м разряде, привести формулу (7.6.3) к виду:

(7.6.4)

Распределение зависит от параметра , называемого числом «степеней свободы» распределения. Число «степеней свободы» равно числу разрядов минус число независимых условий («связей»), наложенных на частоты . Примерами таких условий могут быть

,

если мы требуем только того, чтобы сумма частот была равна единице (это требование накладывается во всех случаях);

,

если мы подбираем теоретическое распределение с тем условием, чтобы совпадали теоретическое и статистическое средние значения;

,

если мы требуем, кроме того, совпадения теоретической и статистической дисперсий и т.д.

Для распределения составлены таблицы (см. табл. 4 приложения). Пользуясь этими таблицами, можно для каждого значения и числа степеней свободы найти вероятность того, что величина, распределенная по закону , превзойдет это значение. В табл. 4 входами являются: значение вероятности и число степеней свободы . Числа, стоящие в таблице, представляют собой соответствующие значения .

Распределение дает возможность оценить степень согласованности теоретического и статистического распределений. Будем исходить из того, что величина действительно распределена по закону . Тогда вероятность , определенная по таблице, есть вероятность того, что за счет чисто случайных причин мера расхождения теоретического и статистического распределений (7.6.4) будет не меньше, чем фактически наблюденное в данной серии опытов . Если эта вероятность весьма мала (настолько мала, что событие с такой вероятностью можно считать практически невозможным), то результат опыта следует считать противоречащим гипотезе о том, что закон распределения величины есть . Эту гипотезу следует отбросить как неправдоподобную. Напротив, если вероятность сравнительно велика, можно признать расхождения между теоретическим и статистическим распределениями несущественными и отнести их за счет случайных причин. Гипотезу о том, что величина распределена по закону , можно считать правдоподобной или, по крайней мере, не противоречащей опытным данным.

Таким образом, схема применения критерия к оценке согласованности теоретического и статистического распределений сводится к следующему:

1) Определяется мера расхождения по формуле (7.6.4).

2) Определяется число степеней свободы как число разрядов минус число наложенных связей :

.

3) По и с помощью табл. 4 определяется вероятность того, что величина, имеющая распределение с степенями свободы, превзойдет данное значение . Если эта вероятность весьма мала, гипотеза отбрасывается как неправдоподобная. Если эта вероятность относительно велика, гипотезу можно признать не противоречащей опытным данным.

Насколько должна быть мала вероятность для того, чтобы отбросить или пересмотреть гипотезу – вопрос неопределенный; он не может быть решен из математических соображений, так же как и вопрос о том, насколько мала должна быть вероятность события для того, чтобы считать его практически невозможным. На практике, если оказывается меньшим чем 0,1, рекомендуется проверить эксперимент, если возможно – повторить его и в случае, если заметные расхождения снова появятся, пытаясь искать более подходящий для описания статистических данных закон распределения.

Следует особо отметить, что с помощью критерия (или любого другого согласия) можно только в некоторых случаях опровергнуть выбранную гипотезу и отбросить ее как явно несогласную с опытными данными - если же вероятность велика, то этот факт сам по себе ни в коем случае не может считаться доказательством справедливости гипотезы , а указывает только на то, что гипотеза не противоречит опытным данным.

С первого взгляда может показаться, что чем больше вероятность р, тем лучше согласованность теоретического и статистического распределений и тем более обоснованным следует считать выбор функции в качестве закона распределения случайной величины. В действительности это не так. Допустим, например, что, оценивая согласие теоретического и статистического распределении по критерию , мы получили . Это значит, что с вероятностью 0,99 за счет чисто случайных причин при данном числе опытов должны были получиться расхождения большие, чем наблюденные. Мы же получили относительно весьма малые расхождения, которые слишком малы для того, чтобы признать их правдоподобными. Разумнее признать, что столь близкое совпадение теоретического и статистического распределений не является случайным и может быть объяснено определенными причинами, связанными с регистрацией и обработкой опытных данных (в частности, с весьма распространенной на практике «подчисткой» опытных данных, когда некоторые результаты произвольно отбрасываются или несколько изменяются).

Разумеется, все эти соображения применимы только в тех случаях, когда количество опытов достаточно велико (порядка нескольких сотен) и когда имеет смысл применять сам критерий, основанный на предельном распределении меры расхождения при . Заметим, что при пользовании критерием достаточно большим должно быть не только общее число опытов , но и числа наблюдений в отдельные разрядах. На практике рекомендуется иметь в каждом разряде не менее 5 — 10 наблюдений. Если числа наблюдений в отдельных разрядах очень мала (порядка 1 — 2), имеет смысл объединить некоторые разряды.

Пример 1. Проверить, согласованность теоретического и статистического распределений для примера 1 .

Решение. Пользуясь теоретическим нормальным законом распределения с параметрами

,

находим вероятности попадания в разряды по формуле

,

где - границы -го разряда.

Затем составляем сравнительную таблицу чисел попаданий в разряды и соответствующих значений .

	–4;–3	–3;–2	–2;–1	–1;0	0;1	1;2	2;3	3;4
	6,2	26,2	71,2	122,	131,8	90,5	38,5	10,5

По формуле (7.6.4) определяем значение меры расхождения

Определяем число степеней свободы как число разрядов минус число наложенных связей (в данном случае ):

.

По табл. 4 приложения находим для :

при

при .

Следовательно, искомая вероятность при приблизительно равна 0,56. Эта вероятность малой не является; поэтому гипотезу о той, что величина распределена по нормальному закону, можно считать правдоподобной.

Пример 2. Проверить согласованность теоретического и статистического распределений для условий примера 2 7.5.

Решение. Значения вычисляем как вероятности попадания на участки (20; 30). (30; 40) и т. д. для случайной величины, распределенной по закону равномерной плотности на отрезке (23,6; 96,6). Составляем сравнительную таблицу значений и :

По формуле (7.6.4) находим :

Число степеней свободы:

По табл. 4 приложения имеем:

при и .

Следовательно, наблюденное нами расхождение между теоретическим и статистическим распределениями могло бы за счет чисто случайных причин появиться лишь с вероятностью . Так как эта вероятность очень мала, следует признать экспериментальные данные противоречащими гипотезе о том, что величина распределена по закону равномерной плотности.

Кроме критерия , для оценки степени согласованности теоретического и статистического распределений на практике применяется еще ряд других критериев. Из них мы вкратце остановимся на критерии А.Н. Колмогорова.

В качестве меры расхождения между теоретическим и статистическим распределениями А.Н. Колмогоров рассматривает максимальное значение модуля разности между статистической функцией распределения и соответствующей теоретической функцией распределения:

.

Основанием для выбора в качестве меры расхождения величины является простота ее вычисления. Вместе с тем она имеет достаточно простой закон распределения. А. Н. Колмогоров доказал, что, какова бы ни была функция распределения непрерывной случайной величины , при неограниченном возрастании числа независимых наблюдений вероятность неравенства

стремится к пределу

(7.6.5)

Значения вероятности , подсчитанные по формуле , приведены в таблице 7.6.1.

Схема применения критерия А.Н. Колмогорова следующая: строятся статистическая функция распределения и предполагаемая теоретическая функция распределения , и определяется максимум модуля разности между ними (рис. 7.6.2).

Далее, определяемая величина

и по таблице 7.6.1 находится вероятность . Это есть вероятность того, что (если величина действительно распределена по закону ) за счет чисто случайных причин максимальное расхождение между и будет не меньше, чем фактически наблюденное. Если вероятность весьма мала, гипотезу следует отвергнуть как неправдоподобную; при сравнительно больших ее можно считать совместимой с опытными данными.

Рис. 7.6.2

Критерий А.Н. Колмогорова своей простотой выгодно отличается от описанного ранее критерия ; поэтому его весьма охотно применяют на практике. Следует, однако, оговорить, что этот критерий можно применять только в случае, когда гипотетическое распределение полностью известно заранее из каких-либо теоретических соображений, т.е. когда известен не только вид функции распределения , но и все входящие в нее параметры. Такой случай сравнительно редко встречается на практике. Обычно из теоретических соображений известен только общий вид функции , а входящие в нее числовые параметры определяются по данному статистическому материалу. При применении критерия это обстоятельство учитывается соответствующим уменьшением числа степеней свободы распределения . Критерий А.Н. Колмогорова такого согласования не предусматривает. Если все же применять этот критерий в тех случаях, когда параметры теоретического распределения выбираются по статистическим данным, критерий дает заведомо завышенные значения вероятности ; поэтому мы в ряде случаев рискуем принять как правдоподобную гипотезу, в действительности плохо согласующуюся с опытными данными.

Проверить, согласуются ли данные выборки со статистической гипотезой о нормальном распределении генеральной совокупности, из которой извлечена эта выборка: Критерий согласия Колмогорова (λ) определяется путем деления модуля max разности между эмпирическими и теоретическими кумулятивными частотами на корень квадратный из числа наблюдений:

По специальной таблице вероятности для критерия согласия λ определяем, что значению λ=0,59 соответствует вероятность 0,88 (λ<P) критерий статистически не значим. Это значит, что с вероятностью 0,88 можно судить, что отклонения фактических (эмпирических) частот от теоретических являются случайными. Следовательно, нулевая гипотеза принимается и есть основания утверждать, что эмпирическое распределение подчиняется нормальному распределению.

Распределение эмпирических и теоретических частот, плотности вероятности теоретического распределения

Применяя критерии согласия для проверки соответствия наблюдаемого (эмпирического) распределения теоретическому, следует различать проверку простых и сложных гипотез.

Одновыборочный критерий нормальности Колмогорова-Смирнова основан на максимуме разности между кумулятивным эмпирическим распределением выборки и предполагаемым (теоретическим) кумулятивным распределением. Если D статистика Колмогорова-Смирнова значима, то гипотеза о том, что соответствующее распределение нормально, должна быть отвергнута.

Информационный критерий — применяемая в эконометрике (статистике) мера относительного качества эконометрических (статистических) моделей, учитывающая степень «подгонки» модели под данные с корректировкой (штрафом) на используемое количество оцениваемых параметров. То есть критерии основаны на неком компромиссе между точностью и сложностью модели. Критерии различаются тем, как они обеспечивают этот баланс.

Информационный характер критериев связан с концепцией информационной энтропии и расстоянии Кульбака-Лейблера, на основе которой был разработан исторически первый критерий — критерий Акаике (AIC), предложенный в 1974 году Хиротсугу Акаике ^[1].

Информационные критерии используются исключительно для сравнения моделей между собой, без содержательной интерпретации значений этих критериев. Они не позволяют тестировать модели в смысле проверки статистических гипотез. Обычно чем меньше значения критериев, тем выше относительное качество модели.

Информационный критерий Акаике (AIC)

Предложен Хиротугу Акаике в 1971 году, описан и исследован им же в 1973, 1974, 1983 годах. Первоначально аббревиатура AIC, предложенная автором, расшифровывалась как " an information criterion " ("некий информационный критерий"), однако последующие авторы называли его Akaike information criterio n. Исходная расчетная формула критерия имеет вид:

где - значение логарфимической функции правдоподобия построенной модели, -количество использованных (оцененных) параметров.

Многие современные авторы, а также во многих эконометрических программных продуктах (например в EViews) применяется несколько иная формула, предполагающая деление на объем выборки , по которой строилась модель:

Данный подход позволяет сравнивать модели, оцененные по выборкам разного объема. Чем меньше значение критерия, тем лучше модель. Многие другие критерии являются модификациями AIC.

Статистическая гипотеза Н называется простой, если она однозначно определяет закон распределения случайной величины Х, например, для непрерывных величин в виде функции распределения F_х(x, q) или функции плотности распределения вероятности f_х(x, q) c определенными значениями параметров q. При этом, вероятность попадания значений одномерной случайной величины Х в интервал [х₁,х₂] может быть вычислена по формулам:

Р(х₁<X< х₂) = F_х(x₂, q) - F_х(x₁, q) = ; f_х(x, q) = F_х(x, q)

Гипотеза является сложной, если в ней неизвестный закон распределения предполагается принадлежащим к некоторому допустимому множеству распределений.

Пример простой статистической гипотезы Н₁: Длина ж/б перекрытия распределена по нормальному закону N(a,s) cо следующими параметрами: математическое ожидание а =600см, среднеквадратическое отклонение s =0,75см.

Пример сложной стати-ской гипотезы Н₂: Толщина ж/б перекрытия распределена по нормальному закону N(a,s) со следующими параметрами: математическое ожидание а =20см, среднеквадратическое отклонение s <0,75см.

Ясно, что сложная гипотеза состоит из множества простых гипотез. Это множество (конечное или бесконечное) может быть описано изменением некоторого параметра h в определенных пределах. Так, в приведенном примере Н₂={ Н₁(а =20, s=h);0 <h<;0,75 }.