Теорема об универсальной аппроксимации

Ответ на этот вопрос обеспечивает теорема об универсальной аппроксимации для нелинейного отображения вход-выход, которая формулируется следующим образом.

Пусть - ограниченная, не постоянная монотонно возрастающая непрерывная функция. Пусть - -мерный еденичный гиперкуб . Пусть пространство непрерывных на функций обозначается символом . Тогда для любой функции существует такое целое число и множество действительных констант где , что

является реализацией аппроксимации функции , т.е.

для всех принадлежащих входному пространству.

Теорема об универсальной аппроксимации непосредственно применима к многослойному персептрону. Во-первых, заметим, что в модели многослойного персептрона в качестве функции активации используется ограниченная, монотонно возрастающая логистическая функция , удовлетворяющая условиям, накладываемым теоремой на функцию .

Во-вторых, заметим, что теорема об универсальной аппроксимации описывает выходной сигнал персептрона следующего вида.

1. Сеть содержит входных узлов и один скрытый слой, состоящий из нейронов. Входы обозначены .

2. Скрытый нейрон имеет синаптические веса и порог .

3. Выход сети представляет собой линейную комбинацию выходных сигналов

скрытых нейронов, взвешенных синаптическими весами выходного нейрона — .

Теорема об универсальной аппроксимации является теоремой существования, т.е. математическим доказательством возможности аппроксимации любой непрерывной функции. Выражение D.86), составляющее стержень теоремы, просто обобщает описание аппроксимации функции конечным рядом Фурье. Таким образом, теорема утверждает, что многослойного персептрона с одним скрытым слоем достаточно для построения равномерной аппроксимации с точностью для любого обучающего множества, представленного набором входов и желаемых откликов . Тем не менее из теоремы не следует, что один скрытый слой является оптимальным в смысле времени обучения, простоты реализации и, что более важно, качества обобщения.