Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Алгоритм обратного распространения ошибки и его недостатки





Данный алгоритм является эффек­тивным средством обучения многослойных нейронных сетей и представляет собой следующую последовательность шагов:

1. Задаются шаг обучения a (0<a<1) и желаемая среднеквадра­тичная ошибка нейронной сети Еm.

2. Инициализируются случайным образом весовые коэффициен­ты и пороговые значения нейронной сети.

3. Подаются последовательно образы из обучающей выборки на вход нейронной сети и для каждого входного образа выпол­няются следующие действия:

3.1. Производится фаза прямого распространения входного образа по нейронной сети. При этом вычисляется выходная активность всех нейронов сети

где индекс j характеризует нейроны следующего слоя по отноше­нию к слою i.

3.2. Осуществляется фаза обратного распространения сигнала, в результате которой определяется ошибка gj , j = 1,2,... нейронных эле­ментов для всех слоев сети. При этом для выходного слоя gj = yj - tj, а для скрытого слоя

3.3. Изменяются веса и пороги нейронов для каждого слоя нейронной сети:

4. Вычисляется суммарная среднеквадратичная ошибка ней­ронной сети

где L – размерность обучающей выборки.

5. Если Е > Еm, то происходит переход к шагу 3 алгоритма. В противном случае алгоритм обратного распространения ошибки заканчивается.

Таким образом, данный алгоритм функционирует до тех пор, пока суммарная среднеквадратичная ошибка сети не станет меньше заданной, т.е. Е £ Еm.

Алгоритм обратного распространения ошибки, основанный на методе градиентного спуска, имеет следующие недостатки:

ü неизвестность выбора числа слоев и количества нейронов в слое;

ü медленная сходимость гра­диентного метода с постоянным шагом обучения;

ü сложность выбора подходя­щей скорости обучения a: слишком малое a увеличивает время обучения и приводит к скатыванию нейронной сети в локальный минимум, большое a может привести к пропуску глобального минимума и сделать процесс обучения расходящимся;

ü невозможность определения точек локального и глобального ми­нимумов, так как градиентный метод их не различает;

ü влияние случайной инициализации весовых коэффициентов нейронной сети на поиск минимума функции среднеквадра­тичной ошибки.

Последний пункт отражает, что при разной инициализации могут получаться различные решения задачи. Это характеризует неустойчивость алгоритма обучения. То, что алгоритм не позволяет в общем случае достичь глобального мини­мума, не уменьшает его достоинств, так как во многих практических задачах достаточно обучить нейронную сеть до требуемой среднеквадратичной ошибки. Является ли при этом найденный минимум локальным или глобальным, не имеет большого значения.

 







Дата добавления: 2015-09-04; просмотров: 1282. Нарушение авторских прав; Мы поможем в написании вашей работы!




Кардиналистский и ординалистский подходы Кардиналистский (количественный подход) к анализу полезности основан на представлении о возможности измерения различных благ в условных единицах полезности...


Обзор компонентов Multisim Компоненты – это основа любой схемы, это все элементы, из которых она состоит. Multisim оперирует с двумя категориями...


Композиция из абстрактных геометрических фигур Данная композиция состоит из линий, штриховки, абстрактных геометрических форм...


Важнейшие способы обработки и анализа рядов динамики Не во всех случаях эмпирические данные рядов динамики позволяют определить тенденцию изменения явления во времени...

КОНСТРУКЦИЯ КОЛЕСНОЙ ПАРЫ ВАГОНА Тип колёсной пары определяется типом оси и диаметром колес. Согласно ГОСТ 4835-2006* устанавливаются типы колесных пар для грузовых вагонов с осями РУ1Ш и РВ2Ш и колесами диаметром по кругу катания 957 мм. Номинальный диаметр колеса – 950 мм...

Философские школы эпохи эллинизма (неоплатонизм, эпикуреизм, стоицизм, скептицизм). Эпоха эллинизма со времени походов Александра Македонского, в результате которых была образована гигантская империя от Индии на востоке до Греции и Македонии на западе...

Демографияда "Демографиялық жарылыс" дегеніміз не? Демография (грекше демос — халық) — халықтың құрылымын...

Методы анализа финансово-хозяйственной деятельности предприятия   Содержанием анализа финансово-хозяйственной деятельности предприятия является глубокое и всестороннее изучение экономической информации о функционировании анализируемого субъекта хозяйствования с целью принятия оптимальных управленческих...

Образование соседних чисел Фрагмент: Программная задача: показать образование числа 4 и числа 3 друг из друга...

Шрифт зодчего Шрифт зодчего состоит из прописных (заглавных), строчных букв и цифр...

Studopedia.info - Студопедия - 2014-2025 год . (0.012 сек.) русская версия | украинская версия