Достаточные статистики. Теорема факторизации Неймана - Фишера

Рассмотренные ранее критерии имеют ограниченную применимость по двум причинам:

1) они требуют жёстких условий регулярности исходной модели;

2) в лучшем случае позволяют находить оптимальные оценки для отдельных параметрических функций t(q). Более эффективным способом построения оптимальных оценок является использование достаточных статистик.

По определению статистика Т=Т() называется достаточной для модели F={F(x,q),qÎQ} (или для параметра q), если условная плотность (или вероятность в дискретном случае) L ( |t;q) случайного вектора =(X₁,...,X_n) при условии T()=t не зависит от параметра q.

Эквивалентным определением достаточности является следующее: для любого события AÌ условная вероятность P_q( ÎA|T()=t) не зависит от q. Это свойство статистики Т означает, что она содержит всю информацию о параметре q, имеющуюся в выборке.

Действительно, вероятность любого события, которое может произойти при фиксированном Т, не зависит от q, следовательно, оно не может нести дополнительную информацию о неизвестном параметре. Сама выборка , очевидно, является достаточной статистикой. Обычно стремятся найти достаточную статистику наименьшей размерности, представляющую исходные данные в наиболее сжатом виде. В этом смысле говорят о минимальной достаточной статистике. Такая статистика важна при обработке больших массивов статистической информации.

Достаточные статистики находят на основании следующей теоремы.

Теорема 2.4. (Неймана-Фишера, критерий факторизации). Для того чтобы статистика Т() была достаточной для q, необходимо и достаточно, чтобы функция правдоподобия L(;q) имела вид:

L(;q)=g(T();q)h() (15)

где g - произвольная функция, которая зависит от параметра q и от выборочных значений через статистику; h-функция выборки, от параметра q не зависит.

Доказательство

Рассмотрим доказательство теоремы факторизации Неймана-Фишера для дискретной модели.

Если статистика достаточна при любом из области значений : , то функция не зависит от и ее можно записать в виде .

Пусть и , тогда событие ,

= = = = ,

т.е. выполняется представление (15). При получении данного выражения использовалась формула условной вероятности.

Верно и обратное. Пусть имеется факторизация (15). Тогда при любом , таком что :

= . (16)

При : =

= = (17)

В формуле (17) используется свойство: вероятность пересечения событий равна сумме вероятностей.

При все обращаются в нуль на множестве , исключая эти из рассмотрения и из выражения (17), получаем:

 

(18).

Подставив (17) и (18) в выражение (16), получим:

 

= ,

т.е. статистика достаточна, т.к. не зависит от .

Если же таково, что , то очевидно, что .

Таким образом, в любом случае, при любом : , условная вероятность не зависит от параметра . Доказательство для непрерывной модели аналогично.

Теорема 2.5. Если существует эффективная оценка, то существует и достаточная статистика.

Доказательство: Если _эф=T(X) - эффективная оценка параметра q, то она удовлетворяет условию Рао-Крамера, т.е.

, т.е.

-

в таком виде представляется функция правдоподобия, а значит выполняется условие факторизации.

Замечание.

Если эффективная. оценка не существует, то достаточная статистика может существовать!

Итак, эффективная оценка существует только тогда, когда имеется достаточная статистика. Но достаточная статистика может существовать и при отсутствии эффективной оценки, т.е. условие достаточности является менее ограничительным, чем условие существования эффективной оценки.

Пример. Случайная величина x имеет нормальное распределение x~N(m,s). Найти достаточную статистику для оценки Mx.

Решение:

f(x,q)=

Запишем функцию правдоподобия и применим критерий факторизации (15)

L (;q)=

h(x)= - зависит только от выборки;

g(T(x);q)= – зависит от выборочного значения через статистику.

T(X)= сумма элементов выборки – это статистика, достаточная для оценки математического ожидания.

 

Вопрос