Студопедия — Способы обеспечения и ускорения сходимости
Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Способы обеспечения и ускорения сходимости






1.Выбор начального распространения весов. Чтобы вывести сеть из равновесия перед обучением выполняют инициализация (заполнение) матрицы весов случайными значениями иначе все произведения от функции ошибки = 0.

Способы изменения весов: ▪ Классический подход (учитывая, что функция сигмоида имеет минимальные значения в интервале [-3;3], то случайные величины весов выбирают из интервала [-3/Ön;3/Ön], где n размерность сети во входном слое. ▪ Инициализация весов по прототипам, полученным из кластеров обучающего множества.

2.Обход локальных минимумов. Для достижения глобального мин поверхности ошибки используется ряд способов:

ü расширение размерности пространства весов за счет увеличения количества скрытых весов и повышения количества нейронов в скрытых слоях.

ü Эвристические подходы оптимизации. Например, использ генетического алгоритма.

3.Упорядочивание примеров. Множество примеров упорядочивают случайным образом («взбалтывание примеров»), что позволяет избавиться от случайно образованной тенденции. Если некоторые примеры представлены в недостаточном объеме, то их подают на сеть чаще остальных.

4. Пакетная обработка. Если модифицировать веса связей после кажд примера, то предъявление кажд класса может приводить к колебаниям сети. Пакетная обработка подразумевает изменение весов связи по усредненному значение по ряду примеров. Минимальная величина ошибки выполняется с помощью градиентных методов:

ü градиент общей ошибки вычисляется после просчета всего обучающего множества (эпохи) w(t+1)=w(t) – τ׶E/¶W, где ¶E/¶W – градиент, τ - величиной градиентного шага, задается пользователем.

ü Стохастический градиентный метод. Пересчет выполняется после прохождения всего множества примеров, но используется часть частной производной ошибки для к-го множества. w(t+1)=w(t) – τ׶E/¶Wк. Если в начале обучения брать небольшие пакеты примеров, а затем их увеличивать до общего количеств, то время обучения снижается, а сходимость к глобальному решению остается. Этот подход используется при большом количестве примеров или при большой их размерности.

5. Импульс. При определении направления поиска к текущему градиенту добавляется поправка – это вектор смещения с пред шага, взятый с некоторым коэффициентом , где μ определяется пользователем(»0,9<1). Этот метод чувствителен к способу упорядочивания примеров.

6. Управление величиной шага. При небольшом шаге процесс обучения будет медленней, а при большом – можно проскочить глобальный мин (что плохо). Потому величину шага постоянно снижает в процессе обучения. Если при определенном шаге ошибка сети уменьшилась, то шаг умножают на коэффициент >1 (это поощрение), если ошибка увеличилась то на <1 (наказание).

 

 







Дата добавления: 2015-10-19; просмотров: 629. Нарушение авторских прав; Мы поможем в написании вашей работы!



Аальтернативная стоимость. Кривая производственных возможностей В экономике Буридании есть 100 ед. труда с производительностью 4 м ткани или 2 кг мяса...

Вычисление основной дактилоскопической формулы Вычислением основной дактоформулы обычно занимается следователь. Для этого все десять пальцев разбиваются на пять пар...

Расчетные и графические задания Равновесный объем - это объем, определяемый равенством спроса и предложения...

Кардиналистский и ординалистский подходы Кардиналистский (количественный подход) к анализу полезности основан на представлении о возможности измерения различных благ в условных единицах полезности...

Решение Постоянные издержки (FC) не зависят от изменения объёма производства, существуют постоянно...

ТРАНСПОРТНАЯ ИММОБИЛИЗАЦИЯ   Под транспортной иммобилизацией понимают мероприятия, направленные на обеспечение покоя в поврежденном участке тела и близлежащих к нему суставах на период перевозки пострадавшего в лечебное учреждение...

Кишечный шов (Ламбера, Альберта, Шмидена, Матешука) Кишечный шов– это способ соединения кишечной стенки. В основе кишечного шва лежит принцип футлярного строения кишечной стенки...

ОПРЕДЕЛЕНИЕ ЦЕНТРА ТЯЖЕСТИ ПЛОСКОЙ ФИГУРЫ Сила, с которой тело притягивается к Земле, называется силой тяжести...

СПИД: морально-этические проблемы Среди тысяч заболеваний совершенно особое, даже исключительное, место занимает ВИЧ-инфекция...

Понятие массовых мероприятий, их виды Под массовыми мероприятиями следует понимать совокупность действий или явлений социальной жизни с участием большого количества граждан...

Studopedia.info - Студопедия - 2014-2024 год . (0.01 сек.) русская версия | украинская версия