Построение линейной модели множественной регрессии

Линейная модель множественной регрессии имеет вид:

.

Это уравнение содержит неизвестные параметры .

Эти коэффициенты регрессии есть случайные величины, так как их значения оцениваются на основе выборочных наблюдений. Поэтому полученные расчетные параметры не являются истинными, а представляют собой лишь их статистические оценки.

Модель линейной регрессии, в которой вместо истинных значений параметров присутствуют их оценки (а именно такие модели регрессии и применяются на практике), в матричном виде запишем следующим образом:

,

где – вектор–столбец зависимой переменной (матрица размером ), представляющий собой наблюдаемых значений ();

– матрица наблюдаемых значений независимых переменных , размер которой (добавлен единичный столбец для определения );

– подлежащий оцениванию вектор–столбец неизвестных параметров (матрица размером );

– вектор–столбец случайных отклонений (матрица размером ).

Таким образом, имеем:

.

Для регрессионной модели, линейной относительно коэффициентов регрессии (или приведенной к указанному виду), коэффициенты регрессии удобно находить методом наименьших квадратов.

После определения коэффициентов регрессии можно рассчитать разности фактических и теоретических значений результативного признака в каждом наблюдении

Для рассматриваемой линейной модели

.

Величина называется остатком в –ом наблюдении. Эти остатки можно считать выборочными значениями неизвестного остатка , являющегося случайной величиной.

Следует заметить, что если при построении регрессионной модели будем добавлять новые наблюдения, то величины могут изменяться, так как при этом, вообще говоря, будут изменяться коэффициенты регрессии и, следовательно, теоретические значения результативного признака. Поэтому регрессионный анализ включает не только построение самой регрессионной модели, но и исследование остатков. При этом сами остатки следует рассматривать как случайные величины.

Каждый коэффициент регрессии является случайной величиной, свойства которой зависят от свойств остаточного члена в регрессионной модели.

Для того чтобы регрессионный анализ, основанный на методе наименьших квадратов, давал наилучшие результаты, а использование критериев Стьюдента и Фишера при проверке статистической достоверности коэффициентов регрессии и уравнения регрессии было обосновано, необходимо выполнение некоторых предположений относительно поведения остатков .

Для регрессионных моделей, линейных относительно объясняющих переменных , случайный член должен удовлетворять четырем условиям Гаусса–Маркова:

1. Остаток в каждом –ом наблюдении имеет нулевое математическое ожидание, то есть

для любого ;

2. Дисперсия остатков одинакова для всех наблюдений, то есть

для любого ;

3. Остатки в разных наблюдениях не зависят друг от друга, то есть ковариация

при ;

4. Остаток и каждая объясняющая переменная в любом наблюдении не зависят друг от друга, то есть

для любого ,

где − значение объясняющей переменной в –ом наблюдении.

Ковариация определяется формулой

Наряду с условиями Гаусса–Маркова предполагается нормальность распределения остатков. Если остатки нормально распределены, то нормально будут распределены и коэффициенты регрессии.

Предположение о нормальном распределении остатков основывается на центральной предельной теореме, согласно которой, если случайная величина является общим результатом взаимодействия большого числа других случайных величин, ни одна из которых не является доминирующей, то приближенно она будет иметь нормальное распределение, даже если отдельные случайные составляющие не имеют нормального распределения.

Случайный член определяется рядом факторов, которые явно не входят в уравнение регрессии. Поэтому даже если ничего не известно о распределении этих факторов или об их сущности, можно предположить, что случайный член регрессионной модели распределен по нормальному закону.

Отметим, что если уравнение регрессии включает постоянный член , то обычно предполагают, что первое условие Гаусса–Маркова выполняется автоматически, так как роль постоянного члена состоит в определении систематической тенденции в результативном признаке , которую не учитывают объясняющие переменные , включенные в регрессионную модель.

Используя формулу и учитывая, что из первого условия имеем , можем записать второе условие Гаусса–Маркова в виде

для любого .

Второе условие известно как гомоскедастичность, что означает «одинаковый разброс».

Третье условие предполагает отсутствие систематической связи между остатками в любых двух наблюдениях.

Учитывая, что по первому условию и , получаем

.

Поэтому третье условие можно записать в виде

при .

Аналогично четвертое условие Гаусса–Маркова может быть записано следующим образом:

для любого .

Если выполнены условия Гаусса–Маркова, то метод наименьших квадратов дает несмещенные, эффективные и состоятельные оценки коэффициентов регрессии .

Возвращаясь к линейной регрессионной модели, записанной в матричном виде, необходимо отметить, что столбцы матрицы должны быть линейно независимыми, а число наблюдений должно превосходит ранг матрицы (ее максимальный ранг – ()).

Линейная модель, для которой выполняются условия 1 – 4 и остатки нормально распределены, называется классической нормальной моделью множественной регрессии.

Если не выполняется только условие нормального распределения остатков, то модель называют классической линейной моделью множественной регрессии.

С использованием имеющихся исходных статистических данных критерий метода наименьших квадратов выглядит следующим образом:

Здесь Т – символ транспонирования матрицы.

В матричном виде решение множественного регрессионного анализа определяется соотношением:

.

Для конкретного –го наблюдения имеем соотношение

Коэффициент регрессии показывает, на какую величину в среднем изменится результативный признак , если переменную увеличить на одну единицу своего измерения при неизменном значении других факторов, закрепленных на среднем уровне (то есть является нормативным коэффициентом и имеет размерность отношения размерностей и ).

Обычно предполагается, что случайная величина имеет нормальный закон распределения с математическим ожиданием равным нулю и некоторой дисперсией.

Одним из условий построения регрессионной модели является предположение о линейной независимости объясняющих переменных, то есть столбцы и строки матрицы исходных данных должны быть линейно независимы. Для экономических показателей это условие выполняется не всегда.

Линейная или близкая к ней связь между факторами называется мультиколлинеарностью и приводит к линейной зависимости уравнений в системе алгебраических уравнений, что делает вычисление параметров либо невозможным, либо затрудняет содержательную интерпретацию параметров модели.

Мультиколлинеарность может возникать в силу разных причин. Например, несколько независимых переменных могут иметь общий временной тренд, относительно которого они совершают малые колебания.

В частности, так может случиться, когда значения одной независимой переменной являются лагированными значениями другой.

Явление мультиколлинеарности в исходных данных считают установленным, если коэффициент парной корреляции между двумя переменными больше 0,8.

Чтобы избавиться от мультиколлинеарности, в модель включают лишь один из линейно связанных между собой факторов, причем тот, который в большей степени связан с зависимой переменной.

В качестве критерия отсутствия мультиколлинеарности может быть принято соблюдение следующих неравенств:

Если приведенные неравенства (или хотя бы одно из них) не выполняются, то в модель включают тот фактор, который наиболее тесно связан с .