Метод наименьших квадратов. Свойства оценок МНК

Для оценивания параметров линейной модели множественной регрессии применяется на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна:

.

Исследования остатков предполагают проверку наличия следующих пяти предпосылок МНК:

случайный характер остатков;

нулевая средняя величина остатков, не зависящая от ;

гомоскедастичность – дисперсия каждого отклонения , одинакова для всех значений x;

отсутствие автокорреляции остатков – значения остатков распределены независимо друг от друга;

остатки подчиняются нормальному распределению.

Теорема Гаусса-Маркова Если предпосылки МНК выполняются, то оценки, полученные по МНК, обладают следующими свойствами:

1. Несмещенностью оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

2. Эффективностью, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

3. Состоятельностью оценок. Характеризуетувеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.