Основные теоретические сведения. В общем случае регрессия – функциональная зависимость между объясняющими переменными Хj и объясняемой переменной Y

В общем случае регрессия – функциональная зависимость между объясняющими переменными Х_j и объясняемой переменной Y, которая строится с целью прогнозирования среднего значения Y при заданных значениях Х_j =x_j, или для анализа влияния отдельных переменных Х_j, на зависимую переменную.

Различают уравнения регрессии I и II рода.

Уравнением регрессии первого рода называют уравнение вида:

. (1.1)

 

Если уравнение (1.1) представляет собой уравнение связи двух случайных величин Y и Х, то это уравнение представляет собой уравнение парной регрессии. В предположении нормального распределения случайной величины (Y, Х) парную регрессию называют линейной парной регрессией, т.к. в этом случае условное математическое ожидание (1.1) представляет собой уравнение прямой линии

Y = M (Y / x) = ₀ + ₁ Х. (1.2)

Для точного описания уравнения регрессии необходимо знать условный закон распределения зависимой переменной Y при условии, что переменная Х примет значение х. В связи с тем, что реальные значения переменной Y не всегда совпадают с ее средним значением M (Y / x), то в уравнение регрессии вводится случайная составляющая . Тогда уравнение (1.2) можно записать в виде:

Y^* = M (Y / x) + (1.3)

 

или для конкретных наблюдений (у _i, x _i):

= ₀ + ₁ x_i + _i, . (1.4)

Уравнение (1.4) называют теоретической линейной моделью.

Возмущения _i, должны удовлетворять основным предпосылкам регрессионного анализа:

1. Математическое ожидание возмущения _i равно нулю

или

₀ + ₁ x_i.

2. Дисперсия возмущения _i постоянна для любого i, т.е.

, .

3. Возмущения _i и _j являются независимыми друг от друга, что влечет за собой отсутствие автокорреляции

.

4. Возмущения _i представляет собой нормально распределенную случайную величину.

Обычно исследователь имеет дело с исходными данными выборки объемом n, где каждое наблюдение – есть точка (Y, Х) в (m +1) – мерном пространстве. Здесь m – число объясняющих переменных.

В случае парной регрессии имеется выборка объемом n двумерной случайной величины (Y, Х).

Уравнением регрессии второго рода называют эмпирическое уравнение регрессии, которое строится на основе данных выборки.

Рассматривается парная линейная регрессия, когда уравнение регрессии второго рода имеет вид

_i = М [ Y/X=x ] = b ₀ + b ₁ x_i, . (1.5)

С учетом уравнения (1.3) эмпирическую линейную модель связи переменных Y и Х запишем в виде:

y_i = b ₀ + b ₁ x_i + e_i, (1.6)

 

где _i, b ₀, b ₁, e _i – оценки соответственно y_i, ₀, ₁, _i.

Построение уравнения регрессии начинается с построения корреляционного поля, представляющего собой графическую зависимость в виде точек случайной величины (Y, Х) на плоскости y 0 x. По расположению эмпирических точек делается вывод о наличии линейной корреляционной зависимости между переменными Y и Х. Дальнейшее построение уравнения регрессии сводится к оценке ее параметров, используя метод наименьших квадратов (МНК). В этом случае неизвестные параметры b ₀ и b ₁ выбираются так, чтобы сумма квадратов отклонений эмпирических значений y_i от значений _i, найденных по уравнению регрессии (1.5), была минимальной

min.

Применение МНК обусловлено тем, что он позволяет получить несмещенные оценки с минимальной дисперсией, в условиях, когда _i удовлетворяют всем предпосылкам регрессионного анализа.

В результате операции МНК оценка выборочного коэффициента регрессии b ₁ определяется выражением:

b ₁ = Cov (X, Y) / , (1.7)

а коэффициента b ₀:

b ₀ = , (1.8)

где = у_i / n; = х_i / n; Cov (X, Y) = ; = .

 

Точность оценок коэффициентов линейного уравнения регрессии первого рода характеризуется их выборочными дисперсиями, которые вычисляются по формулам:

 

, (1.9)

. (1.10)

Здесь S ² – дисперсия регрессии – оценка дисперсии , определяемая по формулам: S ² = е_i ² /(n – 2), е_i = y_i - b ₀ - b ₁ x_i.

Проверка качества уравнения регрессии осуществляется по ряду позиций.

Оценка статистической значимости коэффициентов регрессии заключается в проверке основной гипотезы Н0 о значимости отличия коэффициентов b0 и b1 от нуля. С этой целью используется критерий Стьюдента. Вычисляются, и сравниваются с tкрит. Результатом сравнения является вывод о значимости коэффициентов b0 и b1.

2. Интервальные оценки коэффициентов уравнения регрессии.

Так как объем выборки ограничен, то b ₀ и b ₁ – случайные величины, поэтому желательно найти доверительные интервалы для истинных значений ₀, ₁. Для этого также используется статистика

, i = 0, 1,

которая имеет t – распределение Стьюдента с степенями свободы. Интервальные оценки параметров _i при заданном уровне значимости имеют вид

, i = 0, 1,

с надежностью р = 1- . Здесь t_крит – критическое значение распределения Стьюдента, взятое из таблицы с параметрами и /2.

3. Проверка значимости уравнения регрессии в целом.

Позволяет установить, соответствует ли математическая модель экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных для описания зависимой переменной. Проверка значимости уравнения регрессии производится на основе дисперсионного анализа. Мерой общего качества уравнения регрессии является коэффициент детерминации R²:

R ² = 1 - е_i ² / (y_i - )². (1.11)

Выражение (1.11) вытекает из соотношения:

 

(y_i - )² = k_i ² + e_i ², (1.12)

где k_i ² = ( _i - )² – объясненная регрессией сумма квадратов. Характеризует разброс, обусловленный регрессией;

e_i ² = (y_i - _i)² – остаточная (необъясненная) сумма квадратов – характеризует случайную составляющую разброса y_i относительно линии регрессии .

Из соотношений (1.11) и (1.12) следует, что коэффициент детерминации R ² есть не что иное, как:

 

R ² = k_i ² / (y_i - )². (1.13)

 

Таким образом, коэффициент детерминации можно вычислить по (1.11) или по (1.13).

Основная цель использования уравнения регрессии - прогноз значений зависимой переменной.

Здесь речь идет о возможных значениях Y_р при определенных значениях объясняющей переменной Х_р. Так как задача решается в условиях неопределенности то прогноз удобнее всего давать на основе интервальных оценок, построенных с заданной надежностью .

Причем здесь возможно два подхода: 1) предсказание среднего значения, т.е. M (Y / Х = x_р); 2) предсказание индивидуальных значений Y / Х = x_р.

Интервальный прогноз для среднего значения вычисляется следующим образом:

_р t_кр S , (1.14)

где _р = b ₀ + b ₁ x_р; t _кр – критическое значение, полученное по распределению Стьюдента при количестве степеней свободы = n – 2 и заданной вероятности /2.

Интервальный прогноз для индивидуального значения вычисляется по формуле:

_р t_кр S . (1.15)