Постановка задачи приближения функции по методу наименьших квадратов ~ Нормальная система метода наименьших квадратов ~ Выбор степени аппроксимирующего многочлена

На практике часто возникает необходимость найти функциональную зависимость между величинами x и y, которые получены в результате эксперимента. Часто вид эмпирической зависимости известен, но числовые параметры неизвестны.

Ниже рассматривается решение задачи приближения многочленами таблично заданной функции по методу наименьших квадратов и по методу интерполяции.

Постановка задачи приближения функции по методу наименьших квадратов. Пусть функция y=f(x) задана таблицей своих значений: , i=0,1,-n. Требуется найти многочлен фиксированной степени m, для которого среднеквадратичное отклонение (СКО) минимально.

Так как многочлен определяется своими коэффициентами, то фактически нужно подобрать набор кофициентов , минимизирующий функцию .

Используя необходимое условие экстремума, , k=0,1,-m получаем так называемую нормальную систему метода наименьших квадратов: , k=0,1,-m.

Полученная система есть система алгебраических уравнений относительно неизвестных . Можно показать, что определитель этой системы отличен от нуля, то есть решение существует и единственно. Однако при высоких степенях m система является плохо обусловленной. Поэтому метод наименьших квадратов применяют для нахождения многочленов, степень которых не выше 5. Решение нормальной системы можно найти, например, методом Гаусса.

Запишем нормальную систему наименьших квадратов для двух простых случаев: m=0 и m=2. При m=0 многочлен примет вид: . Для нахождения неизвестного коэффициента имеем уравнение:. Получаем, что коэффициент есть среднее арифметическое значений функции в заданных точках.

Если же используется многочлен второй степени , то нормальная система уравнений примет вид:

ПРИМЕР 1. Приближение функции по методу наименьших квадратов.

Предположим, что функцию f можно с высокой точностью аппроксимировать многочленом некоторой степени m. Если эта степень заранее неизвестна, то возникает проблема выбора оптимальной степени аппроксимирующего многочлена в условиях, когда исходные данные содержат случайные ошибки. Для решения этой задачи можно принять следующий алгоритм: для каждого m=0,1,2,.. вычисляется величина

. За оптимальное значение степени многочлена следует принять то значение m, начиная с которого величина стабилизируется или начинает возрастать.

ПРИМЕР 2. Нахождение оптимальной степени многочлена.

Определение параметров эмпирической зависимости. Часто из физических соображений следует, что зависимость между величинами хорошо описывается моделью вида , где вид зависимости g известен. Тогда применение критерия наименьших квадратов приводит к задаче определения искомых параметров из условия минимума функции: .

ПРИМЕР 3. Вывод нормальной системы уравнений для нахождения параметров эмпирической зависимости.

Если зависимость от параметров нелинейна, то экстремум функции ищут методами минимизации функций нескольких переменных.