Метод наименьших квадратов. Пусть для исследуемого процесса постулируется линейная модель вида (3)

Пусть для исследуемого процесса постулируется линейная модель вида (3). В этом уравнении величины и неизвестны, причем величину трудно исследовать, поскольку она изменяется от наблюдения к наблюдению. Однако величины остаются постоянными.

Если было проведено опытов (), в результате которых фиксировались значения факторов и отклика , можно найти оценки параметров .

В качестве процедуры оценивания обычно используется метод наименьших квадратов.

Уравнение регрессии модели (3) имеет вид:

.

Составим сумму квадратов отклонений измеренных значений отклика от постулированного уравнения регрессии:

(8)

и подберем такие значения , чтобы их подстановка вместо в (8) давала минимальное значение . Для этого надо найти частные производные по параметрам и приравнять их нулю. Тогда

так что для оценок имеем:

(9)

Система (9) носит название системы нормальных уравнений. Данная система уравнений имеет единственное решение . Величины является несмещенными и эффективными оценками параметров модели .

Предсказанные или расчетные значения отклика можно получить из оценочного уравнения регрессии:

.

Рассмотрим линейную модель 1-го порядка при наличии одного фактора:

. (10)

Система нормальных уравнений в этом случае будет иметь вид:

.

После преобразований получим

(11)

Решение уравнений (11) дает:

, (12)

где

.

Оценочное уравнение регрессии можно записать в виде

(13)

Пользуясь формулой (13), можно найти предсказанные значения отклика и значения остатков для каждой пары экспериментальных точек .