Метод наименьших квадратов. Один из методов такой обработки — метод наименьших квадратов (МНК)
Один из методов такой обработки — метод наименьших квадратов (МНК). Этот метод позволяет найти не только косвенно измеряемые параметры аk, но и погрешности Рассмотрим сначала простой случай, когда величина у измеряется абсолютно точно, и каждое измерение дает одну точку на плоскости (x, y) принадлежащую кривой (1). Тогда достаточно проделать p измерений при различных значениях x. Подставляя результаты измерений в (1), получим систему линейных уравнений для аk, решая которую мы определим коэффициенты аk абсолютно точно. Однако, в большинстве случаев измерения не точны, и точки плоскости (x, y), соответствующие отдельным измерениям, отклоняются от кривой (1) (см. рис. 8). Очевидно, что p измерений здесь будет недостаточно, поскольку через p различных точек на плоскости проходит только одна кривая вида (1), и ее коэффициенты будут отличаться от истинных. Ясно, что, увеличивая количество измерений n (n > p), мы можем получить более точные результаты. Идея МНК принадлежит, вероятно, Гауссу и заключается в минимизации суммы квадратов отклонений экспериментальных точек от предполагаемой кривой. Пусть при n различных аргументах х1, x2,..., хn измерения дали значения y1, у2,..., уn соответственно. Рассмотрим функцию
где wi > 0 — вес i- го измерения. Веса необходимо использовать в том случае, когда заранее известно, что случайные отклонения ei = yi – f(xi) в среднем различны для разных xi. Такая ситуация возникает, когда объединяются измерения, выполненные приборами разного класса точности. Более точному измерению y, следует приписать больший вес, а именно: wi ~ 1/ei2. Знак ~ указывает, что конкретное значение веса произвольно, существенно лишь соотношение между весами. Действительно, одновременное умножение всех весов на любое число приведет к умножению функции R на то же число, при этом положение минимума R не изменится. Поскольку отклонения ei, неизвестны, выбор весов wi не может зависеть от yi и должен быть сделан на основе априорной информации 0 точности измерений. При отсутствии априорной информации полагают все wi = 1.
Положение минимума функции R определяет искомые коэффициенты зависимости (1). Обозначим через b1, b2,... bр значения переменных { zk }, при которых R минимальна. В точке минимума выполняются условия: ¶ R/¶ zm (b1, b2,..., bP)=0, m=1, 2,... p.
Дифференцируя (2), получаем для bk систему линейных уравнений:
где
Решение системы (3) всегда существует и единственно, поскольку ее детерминант отличен от нуля в силу линейной независимости fk(x). Если измерения точны, то ei = 0, bk = ak и Rmin = 0. В общем случае bk ¹ ak и можно сказать, что оценка bk = аk + Dk состоит из «плавной составляющей» ak и случайной ошибки Dk (сравните: yi = f(xi) + ei). Средние величины погрешностей Dk и ei неизвестны, но их также можно оценить через Rmin - остаточную сумму квадратов. Важно понять, что речь идет не о конкретных случайных отклонениях Dk и ei, а о средних, наиболее вероятных значениях этих ошибок (строго говоря - о дисперсиях отклонений), которые мы обозначим через Пк и ei. Можно показать, что в пределе n> > 1
где (C-1)kk – диагональные элементы матрицы C-1, обратной к матрице Сmk , определенной в (4), и
Выражения (5-6) определяют 68% доверительные интервалы для аk и f(xi) соответственно. Умножением Dк и ei на коэффициент ta из таблицы 1.1 можно получить доверительные интервалы с вероятностью a:
Таблица 1.1.
а для произвольного значения x имеем : f(x) = F(x) ± ta Ei (x), где
Строго говоря, при малом числе измерений n надежность приведенных выше оценок уменьшается. В таких ситуациях вместо таблицы 1.1, отвечающей предельному гауссовскому распределению (n=8), следует пользоваться таблицами распределения Стьюдента, в которых коэффициенты ta зависят также от n (точнее, от n-p) и отличаются от приведенных в табл. 1.1 в большую сторону. Это значит, что формулы (5-7) дают при малых n заниженную погрешность. Однако уже при значениях n> 20 до 30 различие становится малым, поэтому в дальнейшем будем пользоваться табл. 1.1.
Пример
В табл. 1.2 даны “измерения” yi, полученные путем добавления к функции f(x)=2x-x2 отклонений ei, взятых из таблиц случайных чисел. При x< 1 выбраны средние отклонения ei»0.2, при x> 1 выбраны ei» 0.4, моделирующие измерения грубым прибором. Таблица1.2
Требуется по этим данным определить параметры зависимости: y=a1 +a2x +a3x2. Поскольку a priori известно, что при x< 1 измерения в среднем вдвое точнее, припишем им веса wi=4 (см. табл.1.2). Положим f0(x)=1, f1(x)=x, f2(x)=x2, p=3, n=20. Выполним необходимые вычисления, получим:
b1=0.069, b2=1.991, b3=-1.043, D1=0.16, D2=0.43, D3=0.23, Rmin = 4.08, E1 = … = E10 = 0.24, E11 = … = E20 = 0.48. На рис. 8 представлены результаты. Видно, что первоначальная зависимость восстановлена практически точно, несмотря на значительные отклонения отдельных измерений и малое число экспериментальных точек. Отклонения найденных коэффициентов bk от их точных значений оказались существенно меньше, чем вычисленные погрешности Пk. Можно утверждать, что из имеющихся экспериментальных данных нельзя получить более точные оценки для ak, чем найденные выше методом МНК. Для уточнения коэффициентов необходимо провести более точные измерения (уменьшить ei), или увеличить количество измерений n. Заметим, что неизвестные заранее отклонения ei нам удалось оценить с погрешностью всего 20%.
|
, как если бы аk измерялись непосредственно. Кроме того, можно строго доказать, что МНК является «лучшим» методом обработки для зависимостей вида (1). Точнее, оценка по МНК оказывается несмещенной и обладает наименьшей дисперсией в классе линейных оценок. Ограничением на применимость МНК является линейность зависимости y от неизвестных коэффициентов аk, при атом зависимость от х может быть нелинейной. Тем не менее, даже при нелинейной зависимости y от аk, МНК применяется. В этом случае можно попытаться найти линеаризующее преобразование. Например, зависимость y = A ехр (bx + сх2) приводится к виду (1), если вместо y рассматривать величину Y = lnу = lnA + bx + сx2. Если же подходящее преобразование найти не удаётся, то задача сводится к нелинейной системе уравнений, которую в принципе можно решить. Однако существование и единственность решения не гарантированы заранее. Кроме того, теряют силу результаты линейного МНК об оценке погрешностей. 
, 
, 
,
