Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Многослойные нейронные сети





Многослойная нейронная сеть способна осуществлять любое отображение входных векторов в выходные. Это свойство многослойных нейронных сетей отмечали ещё в 60-х годах М.Минский и С.Пайперт. Однако на тот момент времени не было эф­фективного алгоритма обучения таких сетей. Поэтому их выводы по перспективам раз­вития многослойных нейронных сетей были весьма пессимистичными. В 1986 г. рядом авторов (Rumelhart, Hinton, Williams) независимо друг от друга был предложен алгоритм обратного распространения ошибки, который стал эффективным средством обучения многослойных нейронных сетей.

 

Архитектура многослойной НС состоит из множест­ва слоев нейронов.

Входной слой (input layer) выполняет рас­пределительные функции. Выходной слой (output layer) слу­жит для обработки информации от предыдущих слоев и выдачи результатов. Слои, расположенные между входным и входным, называются промежуточными или скрытыми (hidden layers). Как и выходной слой, скрытые слои являются обрабаты­вающими. Выход каждого нейрона предыдущего слоя сети соединен синаптическими связями со всеми входами нейронов следующего слоя.

В качестве функции активации нейронных элементов обычно используется гиперболический тангенс или сигмоидная функция.

Пусть W ( i ) – матрица весовых коэффициентов i -го слоя многослойной сети. Тогда для нейронной сети с двумя скрытыми слоями выходные значения

Y = F (F (F (XW (1)) W (2)) W (3))

где X =(x1,x2,...,xn) – вектор-строка входных сигналов; F – функция активации.

Общее число синаптических связей многослойной нейронной сети

где р – общее количество слоев сети; k (i) – количество нейронов в i -м слое.

Число слоев в многослойной нейронной сети характеризует, ка­ким образом входное пространство может быть разбито на подпро­странства меньшей размерности. Так, двухслойная нейронная сеть с одним слоем нелинейных нейронов разбивает входное пространство образов на классы при помощи гиперплоскости. Трехслойная нейронная сеть, где в качестве двух последних слоев используются нейронные элементы с нелинейной функцией активации, позволяет формировать любые выпуклые области в пространстве решений. Четырехслойная нейронная сеть, которая имеет три нелинейных слоя, дает возможность получать об­ласть решений любой формы и слож­ности, в том числе и невыпуклой.

В 1957 г. А.Н. Колмогоров показал, что любую непрерывную функцию n переменных на единичном отрезке [0,1] можно предста­вить в виде суммы конечного числа одномерных функций:

где функции g и j p являются одномерными и непрерывными; l i = const " i.

Данная теорема легла в основу построения многослойных НС для аппроксимации функций. Из нее следует, что любую непрерывную функцию f:[0,1] n ® [0,1] можно аппроксимировать при помощи трехслойной нейронной сети, которая имеет n входных, (2 n + 1) скрытых и один выходной нейрон. Однако проблема здесь со­стоит в выборе соответствующих функций g и j. В 1988 г. ряд авторов обобщили приведенные выше результаты на многослойную нейронную сеть с алгоритмом обратного распространения ошибки.

Теорема. Любая непрерывная функция f:[0,1]n ® [0,1] может быть аппроксимирована трехслойной нейронной сетью с одним скрытым слоем и алгоритмом обратного распространения ошибки с любой степенью точности.

Данная теорема является основной для аппроксимации функций при помощи многослойных нейронных сетей.

 







Дата добавления: 2015-09-04; просмотров: 2493. Нарушение авторских прав; Мы поможем в написании вашей работы!




Расчетные и графические задания Равновесный объем - это объем, определяемый равенством спроса и предложения...


Кардиналистский и ординалистский подходы Кардиналистский (количественный подход) к анализу полезности основан на представлении о возможности измерения различных благ в условных единицах полезности...


Обзор компонентов Multisim Компоненты – это основа любой схемы, это все элементы, из которых она состоит. Multisim оперирует с двумя категориями...


Композиция из абстрактных геометрических фигур Данная композиция состоит из линий, штриховки, абстрактных геометрических форм...

Деятельность сестер милосердия общин Красного Креста ярко проявилась в период Тритоны – интервалы, в которых содержится три тона. К тритонам относятся увеличенная кварта (ув.4) и уменьшенная квинта (ум.5). Их можно построить на ступенях натурального и гармонического мажора и минора.  ...

Понятие о синдроме нарушения бронхиальной проходимости и его клинические проявления Синдром нарушения бронхиальной проходимости (бронхообструктивный синдром) – это патологическое состояние...

Опухоли яичников в детском и подростковом возрасте Опухоли яичников занимают первое место в структуре опухолей половой системы у девочек и встречаются в возрасте 10 – 16 лет и в период полового созревания...

Мотивационная сфера личности, ее структура. Потребности и мотивы. Потребности и мотивы, их роль в организации деятельности...

Классификация ИС по признаку структурированности задач Так как основное назначение ИС – автоматизировать информационные процессы для решения определенных задач, то одна из основных классификаций – это классификация ИС по степени структурированности задач...

Внешняя политика России 1894- 1917 гг. Внешнюю политику Николая II и первый период его царствования определяли, по меньшей мере три важных фактора...

Studopedia.info - Студопедия - 2014-2025 год . (0.008 сек.) русская версия | украинская версия