Обучение с учителем

 

НС представляет собой адаптивную систему, жизненный цикл которой состоит из двух независимых фаз – обучения и работы сети.

Обучение считается законченным, когда сеть правильно выполняет преобразование на тестовых примерах и дальнейшее обучение не вызывает значительного изменения настраиваемых весовых коэффициентов.

Далее сеть выполняет преобразование ранее неизвестных ей данных на основе сформированной ею в процессе обучения нелинейной модели процесса.

Сеть успешно работает до тех пор, пока существенно не изменится реальная модель отображаемого явления (например, в случае возникновения ситуации, информация о которой никогда ни предъявлялась сети при обучении).

После этого сеть может быть до обучена с учетом новой информации, причем при дообучении предыдущая информация не теряется, а обобщается с вновь поступившей. При «повреждении» части весовых коэффициентов НС ее свойства могут быть полностью восстановлены в процессе дообучения.

От того, насколько качественно будет выполнен этап обучения НС, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации.

 

Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов и вычислительная сложность.

Под емкостью понимается, сколько образцов может запомнить сеть и какие функции и границы принятия решений могут быть на ней сформированы.

Сложность образцов определяет число обучающих примеров, необходимых для достижения способности сети к обобщению.

Важной характеристикой является время затрачиваемое на обучение. Как правило, время обучения и качество обучения связаны обратной зависимостью и выбирать эти параметры приходится на основе компромисса.

 

Существуют три парадигмы обучения: «с учителем», «без учителя» (самообучение) и смешанная.

В свою очередь множество различных алгоритмов обучения делятся на два больших класса: детерминистских и стохастических алгоритмов.

В первом из них подстройка весов представляет собой жесткую последовательность действий,

во втором – она производится на основе действий, подчиняющихся некоторому случайному процессу.

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар.

Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети.

В многослойных же сетях оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, не известны, и двух или более слойную НС уже невозможно обучить, руководствуясь только величинами ошибок на выходах этой сети.

Один из вариантов решения этой проблемы – разработка наборов выход-ных сигналов, соответствующих входным, для каждого слоя НС, что, конечно, явля-ется очень трудоемкой операцией и не всегда осуществимо.

Второй вариант – дина-мическая подстройка весовых коэффициентов синапсов, в ходе которой выбирают-ся, как правило, наиболее слабые связи, которые изменяются на малую величину в ту или иную сторону.

Качество работы нейронной сети сильно зависит от предъявляемого ей в процессе обучения набора учебных данных. Учебные данные должны быть типичными для задачи, решению которой обучается сеть. Обучение часто оказывается уникальным процессом, когда приемлемые решения многих проблем могут быть получены только в процессе многочисленных экспериментов. Разработчикам решения на основе нейронной сети требуется следующее:

• Выбрать соответствующую модель сети.

• Определить топологию сети (т.е. число элементов и их связи).

• Указать параметры обучения.

Часто разработчику необходимо выполнить и предварительную подготовку данных. Такая предварительная подготовка может быть совсем простой, - например, перевод с помощью масштабирования значений всех признаков (т.е. переменных) в диапазон от 0 до 1, - а может включать использование и более сложных статистических процедур.