Вычисление сигнала активации

Для всех элементов имеется правило вычисления выходного значения, которое предполагается передать другим элементам или во внешнюю среду (если речь идет о выходном элементе, представляющем конечный результат вычислений). Это правило называют функцией активности (или функцией активации), а соответствующее выходное значение называют активностью соответствующего элемента.

Активность может представляться либо некоторым действительным значением произвольного вида, либо действительным значением из некоторого ограниченного интервала значений (например, из интервала [0, 1]), или же некоторым значением из определенного дискретного набора значений (например, {0, 1} или {+1,-1}).

На вход функции активности поступает значение комбинированного ввода данного элемента.

Активационная функция может иметь различный вид (рис. 2.9).

В случае, когда функция активности одна и та же для всех нейронов сети, сеть называют однородной (гомогенной).

Если же она зависит еще от одного или не-скольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

Рис. 2.9. Типы активационных функций:

а – функция единичного скачка; б – линейный порог (гистерезис); в – сигмоид – гиперболический тангенс; г – сигмоид – формула

Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида). Она обладает свойством усиливать слабые сигналы лучше, чем сильные, и предотвращает насыщение от сильных сигналов.

Другой широко используемой активационной функцией является гиперболический тангенс. В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что для ряда сетей оказывается выгодным.