Понятия функции правдоподобия, вклада выборки, функции информации

 

Рассмотрим что такое функция правдоподобия. Пусть f(x,q) - плотность распределения случайной величины x (или вероятность в дискретном случае), =(X₁,...,X_n) – выборка из L (x)Î F и =(x₁,...,x_n) – реализация . Функция L (,q)=f(x₁,...,x_n;q) является плотностью распределения случайного вектора . Функция L (,q), рассматриваемая при фиксированном , как функция параметра qÎQ, называется функцией правдоподобия.

Если элементы выборки независимы, то функция правдоподобия L (,q)= q) [x_i распределены как и x].

Если имеется выборка (X₁,...,X_n) из x, имеющей дискретное распределение P(x=x_i)=p_i, то функцией правдоподобия называется вероятность того, что L (,q)=P(X₁=x₁,..., X_n=x_n;q), рассматриваемая как функция параметра q

L (,q)= (X_i=x_i;q)= (x=x_i,q)

для независимых случайных величин.

Функция правдоподобия показывает, насколько при фиксированных значениях выборки правдоподобно то или другое значение параметра.

Рассмотрим основные свойства функции правдоподобия

Функция правдоподобия неотрицательна

L (,q)>0

при всех и qÎQ

Условия нормировки

L (,q)d =1, (d =dx₁...dx_n) (5)

(для дискретных моделей условия нормировки выражаются через суммы).

Предположим, что функция правдоподобия удовлетворяет следующим условиям:

1) дифференцируема по параметру q;

2) условие регулярности: порядок дифференцирования по q и интегрирования по х можно менять.

Модели, для которых выполняются эти условия, называют регулярными. Общее необходимое условие состоит в том, что выборочное пространство не должно зависеть от неизвестного параметра q.

Пусть параметр q - скалярный. Случайная величина

(6)

называется вкладом (или функцией вклада) выборки (i-е слагаемое в правой части (6) называется вкладом i-го наблюдения i=1,...,n). Предполагается, что 0<M_q[U²(;q)]<¥, для любого qÎQ.

Рассмотрим некоторые свойства вклада U(;q) для регулярных моделей. Дифференцируя условие нормировки (5) по q, получаем

Для удобства и краткости записи вместо многомерного интеграла будем писать одномерный, но иметь в виду многомерный.

Итак, для регулярной модели

M_q[U (;q)]=0, "qÎQ (7)

Определим функцию информации Фишера или просто информацию Фишера о параметре q, содержащуюся в выборке :

i_n(q)=D_q[U(;q)]=M_q[U²(;q)] (8)

Величину:

i(q)=i₁(q)= (9)

называют количеством (фишеровской) информации, содержащейся в одном наблюдении.

Из соотношений (6) - (9) следует, что i_n(q)=n i(q), т.е. количество информации, содержащейся в выборке, возрастает пропорционально объёму выборки. Если функция f(x,q) дважды дифференцируема по q, то продифференцировав при n=1 выражение (7) и применив тот же приём, что и ранее, т.е. умножим и разделим на f(x₁,q), получим эквивалентное представление для i(q)

, т.е

i(q)= (10)

 

Вопрос

Неравенство Рао-Крамера и эффективные оценки

 

Рассмотрим задачу оценивания заданной параметрической функции t(q) в модели F ={F(x,q),qÎQ}. Пусть модель F - регулярна, t(q) - дифференцируема и T _t - класс всех несмещенных оценок t(q). Тогда имеет место следующая теорема.

Теорема 2.3. (Неравенство Рао-Крамера). Для любой оценки T=T()Î T _t справедливо неравенство:

(11)

Равенство здесь имеет место тогда и только тогда, когда Т - линейная функция вклада выборки, т.е.

T()-t(q)=a(q)U(,q), (12)

где а(q) - некоторая функция от q.

Доказательство: По условию теоремы

M_q[T()]= L (;q)d =t(q), "qÎQ.

Модель F - регулярна, поэтому дифференцируя это тождество по q и учитывая (7), получаем

.(13)

 

Используя неравенство Коши-Буняковского и формулу (8) для определения фишеровской информации, получаем

t¢(q)£

Возведём в квадрат:

[t¢(q)]²£ (*)

Отсюда имеем неравенство (11).

Неравенство (*) обращается в равенство тогда и только тогда, когда Т() и U(;q) линейно связаны.

Неравенство (11) называется неравенством Рао-Крамера. Оно определяет нижнюю границу дисперсии всех несмещённых оценок заданной параметрической функции t(q) для регуляных моделей.

Если существует оценка T^*Î T _t, для которой нижняя граница Рао-Крамера достигается, то её называют эффективной. Эффективная оценка является оптимальной и согласно теореме 2.2 она единственна. Из теоремы 2.3 следует, что критерием эффективности оценки является представление (12). Будем называть этот критерий оптимальности критерием Рао-Крамера. Если для оценки Т^* выполнено соотношение (12), то из формулы (13) следует

t¢(q)= D_q[T^*]

т.е. для дисперсии эффективной оценки справедлива формула

D_q[T^*]=a(q)t¢(q) (14)

Отметим следующее: вклад выборки U(;q) однозначно определяется моделью, поэтому представление (12) единственно. Следовательно, эффективная оценка может существовать только для одной параметрической функции t(q) и не существует ни для какой другой функции параметра q, отличной от at(q)+b, где а и b - константы.

Замечание.

Если Т=Т() оценка со смещением b(q) и b(q) - дифференцируема, то неравенство Рао-Крамера будет иметь вид:

D_q[T]³ ,

обобщающее (11).

 

Вопрос