Метод наименьших квадратов.

Саратовский государственный технический университет

Пусть на основании эксперимента необходимо установить функциональную зависимость между двумя переменными величинами х и у.

x				…		…
y				…		…

Таблица 1

 

 

Пусть, например точки взятые из таблицы 1 расположены так, как на рис.1. В данном случае естественно предположить, что между х и у, существует линейная зависимость выражаемая формулой ax+b. Подставляя значения координат точек в выражение у-(ax+b) получим равенство:

-погрешности.

Поставим задачу подобрать коэффициенты а и b таким образом, чтобы эти погрешности были возможно меньше по абсолютной величине.

Для этого рассмотрим сумму квадратов погрешностей.

Параметры a,b будем находить из условия минимума S(a,b). Находим первый частные производные по параметрам a и b.

Приравняем частные производные к 0. Получим линейную систему с двумя уравнениями a и b.

Система 2 называется нормальной системой метода наименьших квадратов. Решая систему 2, находим a и b.

И затем подставляем их в (1) получаем уравнение искомой прямой. Тот факт, что S(a,b) в т. M(a;b) имеем минимум и легко устанавливается с помощью частных производных 2 порядка.

Пример: В результате эксперимента получены 5 значении искомой функции y. При 5 значениях аргумента

x	-2	0	1	2	4
y	0,5	1	1,5	2	3

Решение: Будем искать функциональную зависимость между х и у в виде линейной функции ax+b

a=0,425

2,125+5b=8

b=1,175

Ответ: у=0б425х+1,175

В случае нахождения приближающей функции в виде квадратного трехчлена

Находим

; ; и приравниваем к 0.

Решение системы (4) дает значение параметров a,b,c для приближающей функции (3).

В качестве приближающих функций в зависимости от характера точечного графика f часто используются следующие функции:

1)

2)

3)

4)

5)

6)

7)

8)

Здесь a,b,c,m параметры. Когда вид приближающей функции установлен, задача сводится только к отысканию значений параметров.

Нахождение приближающей функции в виде других элементарных функций.

Покажем, как нахождение приближающей функции с 2мя параметрами в виде элементарных функций 1-8 может быть сведено к нахождению параметров линейной функции.

Будем искать приближающую функцию в виде:

Учитывая, что в исходной таблице 1 значения аргумента и значения функции положительны прологарифмируем равенство (5) при условии :

Так как F приближающая функция для f, функция lnF будет приближающей для функции lnf. Введем новую переменную u=lnx, функцией от u: Φ(u)

, lna=B. (7)

Тогда (6) примет вид: (8)

То есть задача свелась к отысканию приближающей функции в виде линейной.

Для нахождения приближающей функции в виде степенной при сделанных выше предположениях, выполним следующее:

- по новой таблице найти параметры A и B по функции вида (8).

- используя обозначения (7) найти значения параметров a и m и поставить их в (5).

Замечание: значения разностей (A); i=1,2,…,n называются отклонениями значения y вычисленных по формуле

(B)

Для найденной имперической функции (B) в соответствии с исходной таблицей 1, можно найти сумму квадратов отклонений

, которая в соответствии с методом наименьших квадратов для заданного вида приближающей функции должна быть наименьшей из 2х различных приближений одной и той же табличной функции следуя принципу наименьших квадратов лучшим нужно считать, для которого сумма B имеет наименьшее значение.

Пример:

Построить приближающую функцию методом наименьших квадратов для зависимости заданной следующей таблицей:

x	1,1	1,7	2,4	3,0	3,7	4,5	5,1	5,8
y	0,3	0,6	1,1	1,7	2,3	3,0	3,8	4,6

Для сравнения качества приближений рассмотреть 2 способа приближений к заданной функции: в виде прямой ax+b и в виде смешенной функции y=Cx^m

После нахождения значений параметров а и b, с и m, найти сумму квадратов отклонений (В) и установить какое из 2х приближений лучше.

Решение

Пологая, что х,у связаны зависимостью вида . Находим коэффициенты a и b способомнаименьших квадратов.

 

Получим систему вида:

 

5b=36-30a;

b=-1,006.

a=0,932.

 

Тогда получим: y=0,932x-1,006

Прологарифмируем данные

Ln x	0,095	0,53	0,87	1,09	1,3	1,5	1,62	1,75
Ln y	-1,2	-0,51	0,095	0,53	0,83	1,09	1,33	1,52

 

Решаем как систему линейного уравнения

а =

11,86* +8,75b=7,8

-18,32b=25,65

b=-1,4.

Тогда a=1,69

m= a =1,69

ln(c)=b,

c=0,247;

y=cx^m=0,247x^1,69

Относительная ошибка:

1)

y=0,932x-1,006

x	1,1	1,7	2,4	3,0	3,7	4,5	5,1	5,8
y	0,0192	0,5784	1,2308	1,79	2,4424	3,188	3,7472	4,3996

 

Ɛ₁=0,2808
Ɛ₂=0,0216

Ɛ₃=0,1308

Ɛ₄=-0,09

Ɛ₅=0,1424

Ɛ₆=0,188

Ɛ₇=0,0528

Ɛ₈=0,02

ПогрешностьS(a,b)= σ₁²=0,203

2) y=0,247x^1,69

x	1,1	1,7	2,4	3,0	3,7	4,5	5,1	5,8
y	0,29	0,6	1,08	1,5	2,2	3,1	3,8	4,818

 

Ɛ₁=0,1
Ɛ₂=0

Ɛ₃=0,2

Ɛ₄=0,2

Ɛ₅=0,1

Ɛ₆=-0,1

Ɛ₇=0

Ɛ₈=-0,2

S(a,b)=σ₂²=0,3

Первое приближение лучше, так как σ₁ <σ₂