Сущность метода наименьших квадратов
Снова запишем вид соотношения (5) и распишем его подробнее:
N N N S = S (yi – ŷi)2 = S [yi – (a + bxi) ]2 = S (yi – a - bxi)2 ® min. (7) I=1 I=1 I=1
Далее потупим так, как и в случае с вышеприведенным примером по нахождению экстремума у функции вида (1), с тем лишь отличием, что в качестве неизвестных переменных будем рассматривать не функцию у, а коэффициенты уравнения (5) а и b. С целью упрощения последующих записей переменные у знака суммы и остальные индексы обозначать не будем. Для решения поставленной задачи продифференцируем выражение (7) по двум неизвестным а и b в так называемых частных производных.
∂S — = 2 S (y – a - bx) (0 – 1 - 0) = 2 S (y – a - bx) (-1) = 0. (8) ∂a
Разделим обе части равенства (8) на (-1), в правой части равенства (8) останется 0. Понятно, 2 ≠ 0, следовательно,
S (y – a - bx) = 0. (9)
Распишем выражение (9) следующим образом.
S (y – a - bx) = Sу - Sа - Sb = 0; Sу = Sа + b Sх = а S + b Sх.
Поскольку S = S1= (1 + 1 + … + 1) = N, то выражение (9) примет вид:
S у = аN + b Sх (10)
В уравнении (10) все переменные, то есть Sу, Sх и N, – известные величины, суть исходные данные для получения уравнения регрессии, коэффициент а – неизвестная величина. Проделаем подобные операции по отношению к еще одной неизвестной величине – коэффициенту b. ∂S — = 2 S (y – a - bx) (0 – 0 – x) = 2 S (y – a - bx) (-x) = 0. (11) ∂b
Если в выражении (11) 2 ≠ 0, то остальная часть равенства (11) примет вид:
S (yx – ax – bx2) = Syx - Sax - S bx2 = 0;
Sxy = a Sx + b Sx2 (12)
Таким образом, выражение (8) и (12) составляют систему двух уравнений (13) с двумя неизвестными, коэффициентами а и b, а это, в свою очередь, означает, что данная система уравнений – имеет единственное решение.
æ а N + b Sх = Sу { (13) è a Sx + b Sx2 = Sxy
Решение системы уравнений (13) может быть осуществлено несколькими способами: методом подстановки, когда одно неизвестное выражается через другое, методом Крамера (метод определителей) и матричным методом. Заметим, однако, что применение первых двух способов оправдано лишь в случаях, когда число неизвестных не превышает трех. Матричный метод – наиболее универсальный, и именно он используется в вычислительных процедурах на ЭВМ средствами ППП, что рассмотрим несколько ниже. Для решения системы уравнений (13) воспользуемся методом определителей, как наиболее наглядным, для чего перепишем систему (13) в следующем виде.
(для а) (для b) (для правых частей выражения 13) | N Sх | | Sу | | | = | | (14) | Sх Sx2 | | Sxy |
Вычислим главный и частные определители по известным правилам, когда столбцы при соответствующих неизвестных замещаются правыми частями выражения (14): ∆ = N Sx2 - (Sх)2, ∆ a = Sу Sx2 - Sх Sxy, ∆ b = N Sxy - Sх Sу.
Тогда искомые значения коэффициентов а и b будут следующими:
∆ a Sу Sx2 - Sх Sxy а = — = ———————, (15) ∆ N Sx2 - (Sх)2
∆ b N Sxy - Sх Sу b = — = ———————, (16) ∆ N Sx2 - (Sх)2
Если коэффициенты регрессии а и b вычислены правильно, то в этом легко убедиться по тождеству (16а), иллюстрирующего тот факт, что если мы подставим среднее значение х, то при найденных коэффициентах получим среднее значение у: уср ≡ а + b хср. (16а)
Далее рассмотрим процесс нахождения величин коэффициентов линейной функции вида (6) на конкретном, т.н. «модельном» примере. Пример. В качестве примера обратимся к следующим исходным данным. Пусть некая фирма в текущем году с января по июнь располагает следующими данными по ежемесячной прибыли: в январе, феврале и марте – по 1 тыс.руб.; в апреле – 3 тыс.руб.; в мае – 4 тыс.руб. Требуется построить прогноз ожидаемой прибыли на июнь и оценить ее достоверность – при прочих равных условиях. Под равными условиями этим имеется в виду неизменность (постоянство) внутренних и внешних условий деятельности фирмы (структура производства, позиционирование продукции, коньюнктура, уровень инфляции и др.). Введем обозначения. Поскольку мы имеем дело с моментным временным рядом, представим месяцы как варианты вариационного ряда – элементы множества Х = {xi}, где xi – месяцы текущего года, i=1,n; n=5. То есть x1= 1 (первый месяц), x2= 2, x3= 3, x4= 4, x5= 5 (пятый месяц). Тогда прибыль У = {yi}, где yi - ежемесячная прибыль в тыс.руб. Исходные (эмпирические) данные в принятых нами обозначениях представим в виде рабочей таблицы (табл. 2). Причем в табл. 2 предусмотрим такие столбцы, наличие которых позволило бы вычислить все элементы формул (15) и (16). Таблица 2 Эмпирические данные и промежуточные вычисления
Опуская для большей наглядности индексы и подставляя данные табл. 2 в выражения (15) и (16), получим следующее.
Sу Sx2 - Sх Sxy 10•55 - 15•38 550 – 570 - 20 а = ——————— = —————— = ———— = —— = - 0,4; (17) N Sx2 - (Sх)2 5•55 - (15)2 275 - 225 50
N Sxy - Sх Sу 5•38 - 15•10 190 – 150 40 b = ——————— = —————— = ———— = —— = + 0,8. (18) N Sx2 - (Sх)2 5•55 - (15)2 275 - 225 50
Коэффициенты найдены, и символьное выражение (6) примет явный вид: ŷ = - 0,4 + 0,8 • х.. (19)
Осуществим проверку корректности вычисления коэффициентов уравнения линейной регрессии по выражению (16а). Тождество (16а) выполняется:
2 ≡ - 0,4 + 0,8 • 3 = - 0,4 + 2,4 = 2
Следовательно, коэффициенты а и b найдены верно.
Выражение (19) относится ко всем действительным значениям х. Однако для нас представляет интерес именно его вещественные значения - дискретные положительные значения – 1, 2, 3 и т.д., - в частности нас интересует прибыль в 6-м месяце текущего года (в июне). Поэтому перепишем (19) с учетом ранее опущенных индексов:
Рис. 2. Эмпирические данные, линия регрессии и прогноз.
Для нахождения прогнозного значения прибыли достаточно в выражение (20) подставить х6=6:
ŷi = - 0,4 + 0,8хi = - 0,4 + 0,8•6 = -0,4 + 4,8 = 4,4 (тыс.руб.). (21)
Эмпирические данные (Ряд 1), линия регрессии и прогноз на следующий месяц (Ряд 2) приведены на рис. 1. Вполне очевидно, что в общем случае прогноз тем точнее, чем период ретроспекции (здесь - январь-май, то есть 5 месяцев) больше прогнозируемого периода (здесь - июнь, то есть 1 месяц). Иными словами, картину, полученную в виде (19) или (20), мы экстраполируем за пределы проведенной нами аппроксимации – представления некоторой эмпирической зависимости (2 и 3 столбцы табл. 1) в виде некоторой аналитической функции (19), в данном случае – линейной. Заметим также, что с января по май в одноименных точках по оси абцисс ОХ сумма квадратов разностей эмпирических значений прибыли У (Ряд 1) и их аналитических значений по выражению (20) (Ряд 2) будет минимальной в рамках любой другой линейной функции, то есть функции со значениями коэффициентов а и b, отличных от найденных (а≠-0,4; b≠0,8), что и составляет сущность метода наименьших квадратов (МНК), символически записанной в выражении (5).
Y Y
y = a + bx y = a - bx
0 X 0 X Рис. 3 Рис. 4
Y Y
y = -a + bx y = a
0 X 0 X
Рис. 5 Рис. 6
Во всех приведенных случаях значение коэффициент «а» со своим знаком иллюстрируется величиной ординаты, отсекаемой прямой от оси ОY. Значение коэффициента «b» есть не что иное, как величина тангенса угла наклона прямой к оси ОХ (отношение длины катета, противолежащего углу, к длине катета, прилежащего к углу). Особенно это наглядно можно проиллюстрировать на примере уравнения прямой y = а + bx, если а = 0, а b = 1, то есть y = 0 + 1x = х. Иными словами, уравнение у = х является уравнением биссектрисы угла, которое делит координатную плоскость строго пополам; тангенс такого угла равен единице: какое значение задаем на оси ОХ, такое же значение получим и по оси OY. И если свободный член уравнения прямой отражает пересечение оси OY в точке 0 на оси OX, то коэффициент при аргументе «х» отражает скорость изменения функции «у». Действительно, если при увеличении х величина у возрастает (рис. 3, 5), то значение b > 0, скорость изменения у положительна. И наоборот: если при увеличении х величина у убывает (рис. 2), то значение b < 0, скорость изменения у отрицательна. Если же при увеличении х величина у остается без изменений (рис. 6), то значение b = 0, скорость изменения у равна нулю или отсутствует: y = const.
Итак, после того, как искомые коэффициенты уравнения линейной регрессии а и b найдены и прогноз построен, для завершения поставленной задачи остается оценить точность аппроксимации, вычислить величину коэффициента линейной корреляции, а также оценить значимость полученных коэффициентов и надежность уравнения в целом.
|
