Метод наименьших квадратов и его предпосылки

Рассмотрим уравнение линейной множественной регрессии. Уравнение генеральной совокупности или модель регрессии запишем в виде

, (t = ), (2.1)

где – значения зависимой переменной с номером t;

– значения независимых переменных с номером t;

– параметры уравнения регрессии, – константа или свободный член уравнения регрессии, – коэффициенты уравнения регрессии;

– значения случайного члена уравнения регрессии.

Предполагается, что ε_t независимы и нормально распределены с нулевым математическим ожиданием и постоянной дисперсией , т. е. N(0, ).

Термины «зависимая» и «независимые» для переменных не совсем удачны и означают лишь, что в этом случае значения зависимой переменной оцениваются на основе известных значений независимых переменных.

Приведём предпосылки спецификации классической регрессионной модели:

эндогенная, зависимая переменная объясняется m экзогенными, независимыми переменными;

в общем случае уравнение регрессии включает константу;

объём выборки n должен быть значительно больше числа объясняющих переменных m (считается, что каждый регрессор должен быть обеспечен не менее 6–7 наблюдениями);

разность n–m–1 называется числом степеней свободы модели; чем она больше, тем надёжнее результаты оценивания;

параметры уравнения регрессии должны быть постоянными для всей выборки; это положение зачастую определяет выборку.

Кроме предпосылок спецификации модели необходимо выполнение ещё и предпосылок метода наименьших квадратов (МНК). Как известно, оценки параметров модели линейной регрессии обычно рассчитываются на основе МНК. Доказано, что эти оценки будут «хорошими», т.е. несмещёнными, эффективными и состоятельными, если будут выполняться следующие предпосылки относительно поведения остаточного члена :

математическое ожидание равно нулю для всех t, т.е. M() = 0; t;

дисперсия постоянна, т.е. D() = 0 t, в этом случае говорят, что в остатках наблюдается гомоскедастичность; в противном случае – гетероскедастичность;

случайные отклонения и независимы друг от друга для t s, в этом случае говорят, что в остатках отсутствует какая-либо автокорреляция;

регрессоры и остатки должны быть независимыми.

Кроме основных предпосылок, рассматриваются ещё две дополнительные – отсутствие между регрессорами сильной линейной зависимости (совершенной мультиколлинеарности) и что N (0, E_n). Последняя предпосылка не влияет на качество оценок и необходима для проверки статистических гипотез и построения интервальных оценок.

Одна из задач эконометрики – тестирование выполнимости предпосылок и выработка методов оценивания при их нарушениях.

Оцененное уравнение регрессии будем записывать так:

, (t = ). (2.2)

Здесь – оценки параметров уравнения регрессии, а – выборочная реализация случайного процесса .

Представим уравнение генеральной совокупности и оценённое уравнение регрессии в матричной форме. Введём следующие обозначения:

Y = , X = , b = , e = , и т. д.

Тогда уравнения регрессии (2.1) и (2.2) в матричной форме примут вид

Y = X + и Y = Xb + e. (2.3)

МНК-оценки параметров уравнения (2.1) рассчитываются из условия минимизации по b квадратичной формы:

Q(b) = e = (Y – Xb)^T(Y – Xb) = Y^TY – 2Y^TXb – b^TX^TXb.

Продифференцируем Q(b) по b и приравняем результат к нулю:

= –2X^TY – 2X^TXb = 0.

Откуда имеем

b = . (2.4)

Это и есть МНК-оценка параметров уравнения (2.1).

Кроме того, известно, что несмещённая оценка дисперсии случайного члена равна

= = = ,

где – оценённые по уравнению (2.2) значения зависимой переменной.