Инициализация

Еще до того как получить любые входные данные, регион должен быть проинициализирован, а для этого надо создать начальный список потенциальных синапсов для каждой колонки. Он будет состоять из случайного множества входных битов, выбранных из пространства входных данных. Каждый входной бит будет представлен синапсом с некоторым случайным значением перманентности. Эти значения выбираются по двум критериям. Во-первых, эти случайные значения должны быть из малого диапазона около connectedPerm (пороговое значение – минимальное значение перманентности при котором синапс считается «действующим» («подключенным»)). Это позволит потенциальным синапсам стать подключенными (или отключенными) после небольшого числа обучающих итераций. Во-вторых, у каждой колонки есть геометрический центр ее входного региона и значения перманентности должны увеличиваться по направлению к этому центру (т.е. у центра колонки значения перманентности ее синапсов должны быть выше).

Фаза 1: Перекрытие (Overlap)

Первая фаза вычисляет значение перекрытия каждой колонки с заданным входным вектором (данными). Перекрытие для каждой колонки это просто число действующих синапсов подключенных к активным входным битам, умноженное на фактор ускорения («агрессивности») колонки. Если полученное число будет меньше minOverlap, то мы устанавливаем значение перекрытия в ноль.

 

1. for c in columns

2.

3. overlap(c) = 0

4. for s in connectedSynapses(c)

5. overlap(c) = overlap(c) + input(t, s.sourceInput)

6.

7. if overlap(c) < minOverlap then

8. overlap(c) = 0

Else

10. overlap(c) = overlap(c) * boost(c)

 

Фаза 2: Ингибирование (подавление)

На второй фазе вычисляется какие из колонок остаются победителями после применения взаимного подавления. Параметр desiredLocalActivity контролирует число колонок, которые останутся победителями. Например, если desiredLocalActivity равен 10, то колонка останется победителем если ее значение перекрытия выше чем значения перекрытия 10 самых лучших колонок в ее радиусе подавления (ингибирования).

 

11. for c in columns

12.

13. minLocalActivity = kthScore(neighbors(c), desiredLocalActivity)

14.

15. if overlap(c) > 0 and overlap(c) ≥ minLocalActivity then

16. activeColumns(t).append(c)

17.

 

Фаза 3: Обучение

На третьей фазе происходит обучение. Здесь обновляются значения перманентности всех синапсов, если это необходимо, равно как и фактор ускорения («агрессивности») колонки вместе с ее радиусом подавления.

Основное правило обучения имплементировано в строках 20-26. Для победивших колонок, если их синапс был активен, его значение перманентности увеличивается, а иначе – уменьшается. Значения перманентности ограничены промежутком от 0.0 до 1.0.

В строках 28- 36 имплементирован механизм ускорения. Имеется два различных механизма ускорения помогающих колонке обучать свои соединения (связи). Если колонка не побеждает достаточно долго (что измеряется в activeDutyCycle), то увеличивается ее общий фактор ускорения (строки 30-32). Альтернативно, если подключенные синапсы колонки плохо перекрываются с любыми входными данными достаточно долго (что измеряется в overlapDutyCycle), увеличиваются их значения перманентности (строки 34-36). Обратите внимание: если обучение выключено, то boost(c) замораживается.

И наконец, в конце фазы 3 обновляется радиус подавления колонки (строка 38).

 

18. for c in activeColumns(t)

19.

20. for s in potentialSynapses(c)

21. if active(s) then

22. s.permanence += permanenceInc

23. s.permanence = min(1.0, s.permanence)

Else

25. s.permanence -= permanenceDec

26. s.permanence = max(0.0, s.permanence)

27.

28. for c in columns:

29.

30. minDutyCycle(c) = 0.01 * maxDutyCycle(neighbors(c))

31. activeDutyCycle(c) = updateActiveDutyCycle(c)

32. boost(c) = boostFunction(activeDutyCycle(c), minDutyCycle(c))

33.

34. overlapDutyCycle(c) = updateOverlapDutyCycle(c)

35. if overlapDutyCycle(c) < minDutyCycle(c) then

36. increasePermanences(c, 0.1*connectedPerm)

37.

38. inhibitionRadius = averageReceptiveFieldSize()

39.