Оценивание значимости уравнения регрессии

Для числового определения качества (значимости) оценок уравнения регрессии обычно используют критерии, вычисляемые через остаточную, регрессионную и полную суммы квадратов. Остаточная сумма Q_e (см. формулу (3)) характеризует отклонение наблюдений зависимой переменной от линии регрессии. Чем меньше Q_e, темлучше соотношение (1) описывает реально существующую зависимость Y (X).

Регрессионная сумма Q_R вычисляется по формуле:

. (9)

Величина Q_R показывает, насколько оценки отличаются от среднего зна­чения отклика . Иначе говоря, Q_R характеризует отличие оценок зависи­мой переменной, полученных с помощью линейной регрессии, от самой про­стой оценки – выборочного среднего значения. Чем больше Q_R, тем целесооб­разнее использовать достаточно сложную регрессионную модель вместо .

Полная сумма квадратов Q определяется соотношением:

. (10)

Величина полной суммы зависит только от наблюдений отклика и не зависит от оценок параметров уравнения линейной регрессии . Можно доказать (см., например, [5]), что в условиях классической нормальной регрессионной модели выполняется соотношение:

Q= Q_R + Q_e. (11)

Из равенства (11) следует, что если, например, изменение оценок приведет к уменьшению Q_e, то Q_R обязательно увеличится, так как их сумма должна остаться неизменной. Поэтому МНК-оценка регрессионного уравнения обеспечивает не только минимум Q_e, но и максимум Q_R, и значение критерия качества МНК-оценки можно использовать для характеристики значимости уравнения регрессии (при заданных наблюдениях).

Критерии качества уравнения регрессии обычно определяются через отношения рассмотренных выше сумм квадратов (тогда величина критерия не зависит от единиц измерения отклика). Например, используется коэффициент детерминации R ²:

. (12)

Из (11) следует, что 0≤ R ² ≤ 1. Чем ближе R ² к 1, тем значимее уравнение регрессии. Если R ²=1, то уравнение регрессии идеально соответствует наблюдениям (все точки наблюдений лежат на линии регрессии). Если R ²=0, то , и применение регрессионной модели бессмысленно. Для парной регрессии

R ²= r ², (12а)

где r – выборочный коэффициент корреляции X и Y.

Для оценивания значимости оценок уравнения парной регрессии также используется статистика F Фишера:

(13)

Учитывая, что большое значение Q_R и малое значение Q_e указывают на высокое качество уравнения регрессии, можно сделать вывод: чем больше F, тем значимее уравнение.

Известно (см., например, [5]), что в условиях классической нормальной линейной регрессионной модели статистика (13) имеет распределение Фишера (F -распределение) со степенями свободы k ₁=1 и k ₂= n -2. Используя ее, можно проверить ги­потезу о незначимости уравнения регрессии. Обозначим через f (a; 1; n- 2) квантиль F -распределения уровня 1-a(в эконометрике обычно a=0, 05). Если уравнение незначимо, то большие значения F маловероятны. Поэтому гипотезу о незначимости уравнения регрессии следует отклонять, если

F> f (a; 1; n- 2). (14)

Вероятность ошибки первого рода (отклонить гипотезу при условии, что она верна) при использовании правила (14) равна a.

Упрощенно критерий Фишера можно сформулировать следующим образом: если неравенство (14) справедливо, то уравнение регрессии считается значимым, иначе – незначимым.