Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Понятия функции правдоподобия, вклада выборки, функции информации




 

Рассмотрим что такое функция правдоподобия. Пусть f(x,q) - плотность распределения случайной величины x (или вероятность в дискретном случае), =(X1,...,Xn) – выборка из L(x)ÎF и =(x1,...,xn) – реализация . Функция L( ,q)=f(x1,...,xn;q) является плотностью распределения случайного вектора . Функция L( ,q), рассматриваемая при фиксированном , как функция параметра qÎQ, называется функцией правдоподобия.

Если элементы выборки независимы, то функция правдоподобия L( ,q)= q) [xi распределены как и x].

Если имеется выборка (X1,...,Xn) из x, имеющей дискретное распределение P(x=xi)=pi, то функцией правдоподобия называется вероятность того, что L( ,q)=P(X1=x1,..., Xn=xn;q), рассматриваемая как функция параметра q

L( ,q)= (Xi=xi;q)= (x=xi,q)

для независимых случайных величин.

Функция правдоподобия показывает, насколько при фиксированных значениях выборки правдоподобно то или другое значение параметра.

Рассмотрим основные свойства функции правдоподобия

Функция правдоподобия неотрицательна

L( ,q)>0

при всех и qÎQ

Условия нормировки

L( ,q)d =1, (d =dx1...dxn) (5)

(для дискретных моделей условия нормировки выражаются через суммы).

Предположим, что функция правдоподобия удовлетворяет следующим условиям:

1) дифференцируема по параметру q;

2) условие регулярности: порядок дифференцирования по q и интегрирования по х можно менять.

Модели, для которых выполняются эти условия, называют регулярными. Общее необходимое условие состоит в том, что выборочное пространство не должно зависеть от неизвестного параметра q.

Пусть параметр q - скалярный. Случайная величина

(6)

называется вкладом (или функцией вклада) выборки (i-е слагаемое в правой части (6) называется вкладом i-го наблюдения i=1,...,n). Предполагается, что 0<Mq[U2( ;q)]<¥, для любого qÎQ.

Рассмотрим некоторые свойства вклада U( ;q) для регулярных моделей. Дифференцируя условие нормировки (5) по q, получаем

Для удобства и краткости записи вместо многомерного интеграла будем писать одномерный, но иметь в виду многомерный.

Итак, для регулярной модели

Mq[U ( ;q)]=0, "qÎQ (7)

Определим функцию информации Фишера или просто информацию Фишера о параметре q, содержащуюся в выборке :

in(q)=Dq[U( ;q)]=Mq[U2( ;q)] (8)

Величину:

i(q)=i1(q)= (9)

называют количеством (фишеровской) информации, содержащейся в одном наблюдении.

Из соотношений (6) - (9) следует, что in(q)=n i(q), т.е. количество информации, содержащейся в выборке, возрастает пропорционально объёму выборки. Если функция f(x,q) дважды дифференцируема по q, то продифференцировав при n=1 выражение (7) и применив тот же приём, что и ранее, т.е. умножим и разделим на f(x1,q), получим эквивалентное представление для i(q)

, т.е

i(q)= (10)

 

Вопрос

Неравенство Рао-Крамера и эффективные оценки

 

Рассмотрим задачу оценивания заданной параметрической функции t(q) в модели F={F(x,q),qÎQ}. Пусть модель F - регулярна, t(q) - дифференцируема и Tt - класс всех несмещенных оценок t(q). Тогда имеет место следующая теорема.

Теорема 2.3. (Неравенство Рао-Крамера). Для любой оценки T=T( Tt справедливо неравенство:

(11)

Равенство здесь имеет место тогда и только тогда, когда Т - линейная функция вклада выборки, т.е.

T( )-t(q)=a(q)U( ,q), (12)

где а(q) - некоторая функция от q.

Доказательство: По условию теоремы

Mq[T( )]= L( ;q)d =t(q), "qÎQ.

Модель F - регулярна, поэтому дифференцируя это тождество по q и учитывая (7), получаем

.(13)

 

Используя неравенство Коши-Буняковского и формулу (8) для определения фишеровской информации, получаем

t¢(q)£

Возведём в квадрат:

[t¢(q)]2£ (*)

Отсюда имеем неравенство (11).

Неравенство (*) обращается в равенство тогда и только тогда, когда Т( ) и U( ;q) линейно связаны.

Неравенство (11) называется неравенством Рао-Крамера. Оно определяет нижнюю границу дисперсии всех несмещённых оценок заданной параметрической функции t(q) для регуляных моделей.

Если существует оценка T*ÎTt, для которой нижняя граница Рао-Крамера достигается, то её называют эффективной. Эффективная оценка является оптимальной и согласно теореме 2.2 она единственна. Из теоремы 2.3 следует, что критерием эффективности оценки является представление (12). Будем называть этот критерий оптимальности критерием Рао-Крамера. Если для оценки Т* выполнено соотношение (12), то из формулы (13) следует

t¢(q)= Dq[T*]

т.е. для дисперсии эффективной оценки справедлива формула

Dq[T*]=a(q)t¢(q) (14)

Отметим следующее: вклад выборки U( ;q) однозначно определяется моделью, поэтому представление (12) единственно. Следовательно, эффективная оценка может существовать только для одной параметрической функции t(q) и не существует ни для какой другой функции параметра q, отличной от at(q)+b, где а и b - константы.

Замечание.

Если Т=Т( ) оценка со смещением b(q) и b(q) - дифференцируема, то неравенство Рао-Крамера будет иметь вид:

Dq[T]³ ,

обобщающее (11).

 

Вопрос


Поможем в написании учебной работы
Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой





Дата добавления: 2015-06-15; просмотров: 1460. Нарушение авторских прав; Мы поможем в написании вашей работы!

Studopedia.info - Студопедия - 2014-2022 год . (0.019 сек.) русская версия | украинская версия
Поможем в написании
> Курсовые, контрольные, дипломные и другие работы со скидкой до 25%
3 569 лучших специалисов, готовы оказать помощь 24/7