Способы обеспечения и ускорения сходимости

1.Выбор начального распространения весов. Чтобы вывести сеть из равновесия перед обучением выполняют инициализация (заполнение) матрицы весов случайными значениями иначе все произведения от функции ошибки = 0.

Способы изменения весов: ▪ Классический подход (учитывая, что функция сигмоида имеет минимальные значения в интервале [-3;3], то случайные величины весов выбирают из интервала [-3/Ön;3/Ön], где n размерность сети во входном слое. ▪ Инициализация весов по прототипам, полученным из кластеров обучающего множества.

2.Обход локальных минимумов. Для достижения глобального мин поверхности ошибки используется ряд способов:

ü расширение размерности пространства весов за счет увеличения количества скрытых весов и повышения количества нейронов в скрытых слоях.

ü Эвристические подходы оптимизации. Например, использ генетического алгоритма.

3.Упорядочивание примеров. Множество примеров упорядочивают случайным образом («взбалтывание примеров»), что позволяет избавиться от случайно образованной тенденции. Если некоторые примеры представлены в недостаточном объеме, то их подают на сеть чаще остальных.

4. Пакетная обработка. Если модифицировать веса связей после кажд примера, то предъявление кажд класса может приводить к колебаниям сети. Пакетная обработка подразумевает изменение весов связи по усредненному значение по ряду примеров. Минимальная величина ошибки выполняется с помощью градиентных методов:

ü градиент общей ошибки вычисляется после просчета всего обучающего множества (эпохи) w(t+1)=w(t) – τ׶E/¶W, где ¶E/¶W – градиент, τ - величиной градиентного шага, задается пользователем.

ü Стохастический градиентный метод. Пересчет выполняется после прохождения всего множества примеров, но используется часть частной производной ошибки для к-го множества. w(t+1)=w(t) – τ׶E/¶W_к. Если в начале обучения брать небольшие пакеты примеров, а затем их увеличивать до общего количеств, то время обучения снижается, а сходимость к глобальному решению остается. Этот подход используется при большом количестве примеров или при большой их размерности.

5. Импульс. При определении направления поиска к текущему градиенту добавляется поправка – это вектор смещения с пред шага, взятый с некоторым коэффициентом , где μ определяется пользователем(»0,9<1). Этот метод чувствителен к способу упорядочивания примеров.

6. Управление величиной шага. При небольшом шаге процесс обучения будет медленней, а при большом – можно проскочить глобальный мин (что плохо). Потому величину шага постоянно снижает в процессе обучения. Если при определенном шаге ошибка сети уменьшилась, то шаг умножают на коэффициент >1 (это поощрение), если ошибка увеличилась то на <1 (наказание).