Вычисление сигнала активацииДля всех элементов имеется правило вычисления выходного значения, которое предполагается передать другим элементам или во внешнюю среду (если речь идет о выходном элементе, представляющем конечный результат вычислений). Это правило называют функцией активности (или функцией активации), а соответствующее выходное значение называют активностью соответствующего элемента. Активность может представляться либо некоторым действительным значением произвольного вида, либо действительным значением из некоторого ограниченного интервала значений (например, из интервала [0, 1]), или же некоторым значением из определенного дискретного набора значений (например, {0, 1} или {+1,-1}). На вход функции активности поступает значение комбинированного ввода данного элемента. Активационная функция может иметь различный вид (рис. 2.9). В случае, когда функция активности одна и та же для всех нейронов сети, сеть называют однородной (гомогенной). Если же она зависит еще от одного или не-скольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).
Рис. 2.9. Типы активационных функций: а – функция единичного скачка; б – линейный порог (гистерезис); в – сигмоид – гиперболический тангенс; г – сигмоид – формула
Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида). Она обладает свойством усиливать слабые сигналы лучше, чем сильные, и предотвращает насыщение от сильных сигналов. Другой широко используемой активационной функцией является гиперболический тангенс. В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что для ряда сетей оказывается выгодным.
|
