Нейронные сети.
Розенблат 1962. MLP – многослойный перцетрон.
Нейронная сеть имеет входной слой и выходной слой.
Градиентные методы
Метод обратного распространения ошибки. E(w) = Σ(yigN – yig(c волной))2, i = 1…k, g = 1…m – определяет количество примеров из выборки, которые используется на начальной эпохе обучения. ΔWij = - η*dE/dwij, η – коэффициент скорости обучения. ΔWijn = - η*δn*yn-1 – общая формула корректировки весовых коэффициентов. δNj = (yjN – yjN(с волной))* dyjN/dsjN, dy/ds = 1-s2. δnj = Σ(δn+1k * wjk)*dy/ds ΔWijn = - η*(μ*Δwijn(t-1) + (1-μ)*δjn * yin-1) Метод сопряженных градиентов. Шаги продолжаются до тех пор, пока мы не найдем точку локального минимума. Метод Левенберг/Маркар. Учитывает преимущества как градиентного, так и аналитического метода. Строим аналитическую зависимость, находим точку минимума, затем берем половину отрезка, полученного из точек с помощью градиентного и аналитического методов.
Если возможных вариантов выхода больше двух, то на выходе нейрона создается правило, подобное функции активации. Затем устанавливаем пороги принятия и отвержения. Тогда нейрон будет ставить 1, если принятие происходит при 0,95, а отвержение – при 0,05. В зависимости от характера задач пользователь сети может самостоятельно регулировать эти коэффициенты.
|
