Нейронные сети.

Розенблат 1962.

MLP – многослойный перцетрон.

Х	У
К	П	М	Объект
			Птица
			Самолет
			–

Нейронная сеть имеет входной слой и выходной слой.

 

 

Градиентные методы

Метод обратного распространения ошибки.

E(w) = Σ(y_ig^N – y_ig(c волной))², i = 1…k, g = 1…m – определяет количество примеров из выборки, которые используется на начальной эпохе обучения.

ΔW_ij = - η*dE/dw_ij, η – коэффициент скорости обучения.

ΔW_ijⁿ = - η*δⁿ*y^n-1 – общая формула корректировки весовых коэффициентов.

δ^N_j = (y_j^N – y_j^N(с волной))* dy_j^N/ds_j^N, dy/ds = 1-s².

δⁿ_j = Σ(δⁿ⁺¹_k * w_jk)*dy/ds

ΔW_ijⁿ = - η*(μ*Δw_ijⁿ(t-1) + (1-μ)*δ_jⁿ * y_i^n-1)

Метод сопряженных градиентов.

Шаги продолжаются до тех пор, пока мы не найдем точку локального минимума.

Метод Левенберг/Маркар.

Учитывает преимущества как градиентного, так и аналитического метода. Строим аналитическую зависимость, находим точку минимума, затем берем половину отрезка, полученного из точек с помощью градиентного и аналитического методов.

 

Если возможных вариантов выхода больше двух, то на выходе нейрона создается правило, подобное функции активации. Затем устанавливаем пороги принятия и отвержения. Тогда нейрон будет ставить 1, если принятие происходит при 0,95, а отвержение – при 0,05. В зависимости от характера задач пользователь сети может самостоятельно регулировать эти коэффициенты.