Студопедия — Правило обучения Видроу-Хоффа
Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Правило обучения Видроу-Хоффа






Используется для обучения нейронной сети, состоящей из рас­пределительных нейронов и одного выходного нейрона, имеющего линейную функцию активации.

Такая сеть называется адаптивным нейронным элементом или ADALINE (Adaptive Linear Element). Выходное значение такой сети

Правило обучения Видроу-Хоффа известно под названием дельта-правило (delta rule). Оно предполагает минимизацию среднеквадратичной ошибки нейронной сети, которая для L входных образов определяется следующим образом:

где Е(к) – среднеквадратичная ошибка сети для k -го образа; и tk – соответственно выходное и эталонное значения нейронной сети для k -го образа.

Среднеквадратичная ошибка нейронной сети для одного входно­го образа определяется по формуле

Правило обучения Видроу-Хоффа базируется на методе гради­ентного спуска в пространстве весовых коэффициентов и порогов нейронной сети. Согласно этому правилу веса и пороги нейронной сети необходимо изменять с течением времени по следующим выражениям:

Найдем производные ошибки E по параметрам сети wj1 и Т:

где j -я компонента k -го образа.

Отсюда получаем выражения для обучения нейрон­ной сети по дельта-правилу:

wjl (t + l) = wjl (t) - a( - tk)

T (t + l) = T (t) + a( - tk).

Б. Видроу и М. Хофф доказали, что данный закон обучения всегда позволяет находить весовые коэффициенты нейрона таким образом, чтобы минимизировать среднеквадратичную ошибку сети независимо от начальных значений весов.

Алгоритм обучения, в основе которого лежит дельта-правило, состоит из следующих шагов:

1. Задаются скорость обучения a (0<a<1) и минимальная сред­неквадратичная ошибка сети Еm, которой необходимо достичь в про­цессе обучения.

2. Случайным образом инициализируются весовые коэффициен­ты и порог нейронной сети.

3. Подаются входные образы на нейронную сеть и вычисляются векторы выходной активности сети.

4. Осуществляется изменение весовых коэффициентов и порога нейронной сети согласно правилам обучения.

5. Алгоритм продолжается до тех пор, пока суммарная средне­квадратичная ошибка сети не станет меньше заданной, т. е. Е £ Еm.

В алгоритме Видроу-Хоффа существует проблема выбора значе­ния шага обучения a. Если шаг a слишком мал, то процесс обучения является очень длительным; если a большой, процесс обучения мо­жет оказаться расходящимся, т.е. не привести к решению задачи. Т.о., сходимость алгоритма обучения зависит от разум­ного выбора значения шага обучения. В некоторых работах пред­полагается выбирать значение a, которое уменьшается в процессе обучения следующим образом:

где k – номер итерации в алгоритме обучения.

 







Дата добавления: 2015-09-04; просмотров: 6950. Нарушение авторских прав; Мы поможем в написании вашей работы!



Картограммы и картодиаграммы Картограммы и картодиаграммы применяются для изображения географической характеристики изучаемых явлений...

Практические расчеты на срез и смятие При изучении темы обратите внимание на основные расчетные предпосылки и условности расчета...

Функция спроса населения на данный товар Функция спроса населения на данный товар: Qd=7-Р. Функция предложения: Qs= -5+2Р,где...

Аальтернативная стоимость. Кривая производственных возможностей В экономике Буридании есть 100 ед. труда с производительностью 4 м ткани или 2 кг мяса...

Растягивание костей и хрящей. Данные способы применимы в случае закрытых зон роста. Врачи-хирурги выяснили...

ФАКТОРЫ, ВЛИЯЮЩИЕ НА ИЗНОС ДЕТАЛЕЙ, И МЕТОДЫ СНИЖЕНИИ СКОРОСТИ ИЗНАШИВАНИЯ Кроме названных причин разрушений и износов, знание которых можно использовать в системе технического обслуживания и ремонта машин для повышения их долговечности, немаловажное значение имеют знания о причинах разрушения деталей в результате старения...

Различие эмпиризма и рационализма Родоначальником эмпиризма стал английский философ Ф. Бэкон. Основной тезис эмпиризма гласит: в разуме нет ничего такого...

Факторы, влияющие на степень электролитической диссоциации Степень диссоциации зависит от природы электролита и растворителя, концентрации раствора, температуры, присутствия одноименного иона и других факторов...

Йодометрия. Характеристика метода Метод йодометрии основан на ОВ-реакциях, связанных с превращением I2 в ионы I- и обратно...

Броматометрия и бромометрия Броматометрический метод основан на окислении вос­становителей броматом калия в кислой среде...

Studopedia.info - Студопедия - 2014-2024 год . (0.008 сек.) русская версия | украинская версия