ТЕМА 4. Методы нахождения оценок параметров распределения

Мы рассмотрим два основных метода нахождения оценок параметров – метод моментов и метод наибольшего правдоподобия. Перед рассмотрением метода моментов необходимо дать определения моментов и эмпирических моментов.

Определение. Пусть - случайная величина, . Момент k - го порядка случайной величины обозначается и определяется равенством . Центральный момент k - го порядка случайной величины обозначается и определяется равенством . Абсолютный момент k - го порядка обозначается и определяется равенством .

Замечание. Математическое ожидание случайной величины является ее моментом первого порядка, а дисперсия – центральным моментом второго порядка.

Замечание. Если распределение случайной величины зависит от параметров , то ее моменты являются функциями от этих параметров. Например, пусть случайная величина имеет распределение Пуассона с параметром , то есть при любом верно соотношение . Тогда выполняются равенства , . Если же случайная величина имеет нормальное распределение с параметрами , то есть ее плотность распределения задается равенством , то верны равенства .

Определение. Пусть дана выборка , . Эмпирический момент k - го порядка обозначается и определяется равенством . Центральный эмпирический момент k - го порядка обозначается и определяется равенством . Абсолютный эмпирический момент k - го порядка обозначается и определяется равенством .

Замечание. Эмпирическое среднее является эмпирическим моментом первого порядка, а эмпирическая дисперсия - центральным эмпирическим моментом второго порядка.

Замечание. Эмпирические моменты являются функциями от выборки.

Метод моментов, нахождения оценок параметров распределения, состоит в следующем. Пусть распределение генеральной совокупности зависит от l независимых параметров . Вычисляются l моментов, являющихся функциями данных параметров (например ) и l одноименных эмпирических моментов, являющихся функциями выборки (например ). Затем составляется и решается следующая система из l уравнений и l неизвестными: , .

Решения данной системы , и являются оценками параметров , найденными с помощью метода моментов.

Пример 1. Пусть генеральная совокупность имеет распределение Бернулли с известным числом опытов N и неизвестной вероятностью успеха в одном опыте . Для оценки неизвестного параметра воспользуемся методом моментов. Поскольку неизвестный параметр один, то нужно решить уравнение , то есть . Но . Таким образом, получаем: , откуда .

При использовании метода наибольшего правдоподобия оценка неизвестного параметра находится из условия , где - функция правдоподобия.

Поскольку функции и достигают максимума в одной точке, то из технических соображений удобнее максимизировать по не , а . Если функция дифференцируема по параметру , то оценку наибольшего правдоподобия можно находить из уравнения , называемого уравнением правдоподобия. При этом нужно убедиться в том, что найдена точка максимума, а не минимума, данной функции, проверив, например, выполнения условия .

Пример 2. Пусть генеральная совокупность имеет распределение Пуассона с неизвестным параметром , то есть при всех верно равенство . Тогда имеем:

,

,

.

Составляя уравнение правдоподобия, получаем:

, откуда получаем .

Поскольку , то найденная оценка максимизирует функцию правдоподобия.

Пример 3. Пусть генеральная совокупность имеет показательное распределение с параметром , то есть при . Получаем

,

, .

Из уравнения правдоподобия имеем , откуда получаем . Поскольку , то найденная оценка максимизирует функцию правдоподобия.