Гипотеза о том, что делают различные слои неокортекса

Мы выдвигаем предположение, что уровни 3,4 и 5 являются слоями восприятия входных сигналов, которые выявляют и запоминают в этих сигналах последовательности событий. Слой 4 выбирает последовательности первого порядка. Слой 3 занимается последовательностями переменного порядка. А слой 5 работает с последовательностями событий переменного порядка учитывая временные отметки (интервалы) событий. Давайте рассмотрим все их более подробно.

 

Слой 4

Изучать последовательности событий первого порядка с помощью кортикального алгоритма обучения НТМ очень просто. Если мы не будем заставлять клетки в колонке подавлять друг друга, то так и получится, что клетки не будут различать контекст предыдущих входных сигналов и это будет изучением последовательностей первого порядка. В неокортексе это возможно сделать, если убрать любой эффект подавления между клетками в одной колонке. А в нашей компьютерной модели кортикального алгоритма обучения мы можем просто назначить каждой колонке только одну клетку, что даст нам тот же самый результат.

Последовательности первого порядка нужны, например, для формирования инвариантного представления пространственных трансформаций наблюдаемых сигналов. Для зрения, например, перемещение по осям Х и У, масштабирование и поворот, все являются пространственными трансформациям. Когда НТМ регион с памятью первого порядка обучается на движущихся объектах, он тем самым изучает, что различные пространственные входные паттерны являются эквивалентными. Полученные таким образом НТМ клетки будут вести себя как то, что мы называем «сложными клетками» (complex cells) в неокортексе. Такие НТМ клетки будут оставаться активными (в состоянии предчувствия) не смотря на множество пространственных трансформаций входных сигналов.

В компании Numenta мы провели ряд экспериментов с визуальными образами, для проверки работы этого механизма. Как и ожидалось, некоторая пространственная инвариантность действительно достигается на каждом уровне. Однако, подробное рассмотрение результатов этих экспериментов находится вне рамок данного приложения.

Предположение о том, что слой 4 изучает последовательности первого порядка согласуется с тем фактом, что сложные клетки находили именно в этом 4-ом слое и что данный слой практически исчезает в областях мозга более высоких по иерархии обработки сенсорной информации. По мере подъема по такой иерархии, в какой то момент становится уже просто невозможно выявлять еще большую пространственную инвариантность образов, поскольку их представления становятся уже полностью инвариантными.

 

Слой 3

Слой 3 ближе всего к кортикальному алгоритму обучения НТМ, который мы описали в главе 2. Он изучает последовательности событий переменного порядка и формирует предсказания, которые более стабильны, чем входные образы. Слой 3 всегда посылает свои выходы в следующую по иерархии область обработки сенсорных сигналов и, следовательно, вносит свой вклад в увеличение временной стабильности образов внутри этой иерархии. Память последовательностей переменного порядка ведет к появлению т.н. «ориентированных сложных клеток» («directionally-tuned complex cells»), которые впервые были найдены в слое 3. Такие клетки различают временной контекст событий, например, что «их» линия движется вправо, а не влево.

 

Слой 5

Последним слоем, изучающим входные сигналы, является слой 5. Мы предполагаем, что слой 5 подобен слою 3, но с тремя существенными отличиями. Первое из них состоит в том, что 5-й слой добавляет концепцию времени. Слой 3 предсказывает только «что» должно случиться далее, но не говорит «когда» это произойдет. Тем не менее многие практические задачи просто требуют учета времени, например, распознавание произносимых слов, где относительные интервалы между звуками очень важны. Моторные движения являются другим таким примером, в котором координация по времени очень важна для управления усилиями отдельных мускулов. Мы предполагаем, что слой 5 предсказывает следующее состояние только после прошествия ожидаемого для него времени. И имеется несколько биологических фактов, которые подкрепляют эту гипотезу. Один из них в том, что слой 5 является источником моторных выходных сигналов для неокортекса. Другой факт в том, что слой 5 получает входные сигналы от слоя 1, которые приходят из таламуса (они не показаны на нашем рисунке). Мы предполагаем, что в этой информации закодировано время, распространяемое множеству клеток через таламус в слой 1 (также не показано на нашем рисунке).

Второе отличие между слоем 3 и слоем 5 в том, что мы хотим получать предсказания от слоя 3 настолько далеко в будущее, насколько это вообще возможно, что дает нам временную стабильность представлений. Кортикальный алгоритм обучения описанный в главе 2 делает именно это. Напротив, от слоя 5 нам нужно предсказание только следующего элемента (в заданное время). Мы не моделировали это отличие, но это легко сделать если запоминать нужный переход с соответствующим временем на его совершение.

Третье отличие между слоями 3 и 5 можно увидеть на нашей схеме связей областей коры. Выход из слоя 5 всегда уходит в подкорковые моторные центры, а вход их в другие области коры контролируется таламусом. То есть сигнал со слоя 5 в другую область коры иногда проходит, а иногда блокируется. Мы (как и некоторые другие исследователи) предполагаем, что этот контроль связан со скрытым вниманием (скрытое внимание, это когда вы обращаете внимание на входной сигнал без какого либо моторного движения).

Подводя итог, слой 5 комбинирует в себе временные интервалы, внимание и моторное поведение. Сейчас очень многое непонятно в том, как все они объединяются вместе. Но нам хотелось бы отметить, что небольшое дополнение к кортикальному алгоритму обучения НТМ, может легко включить в него временные интервалы и смоделировать работу отдельного слоя в коре головного мозга.

 

Слои 2 и 6

Из слоя 6 начинаются аксоны несущие обратную связь нижним по иерархии областям коры. Гораздо меньше на сегодня известно о 2-ом слое неокортекса. Как уже упоминалось ранее, семо существование 2-го уровня, отличающегося от уровня 3, иногда оспаривается некоторыми исследователями. Мы же ничего более не хотим сказать о слоях 2 и 6, за исключением того, что в них, как и в других слоях, отмечаются массовые горизонтальные связи между нейронами и свойство колончатого реагирования на стимулы, что дает нам право предположить, что в них также работает некоторый вариант кортикального алгоритма обучения НТМ.

 

Чему соответствует регион НТМ в неокортексе?

Мы описали имплементацию кортикального алгоритма обучения НТМ в двух вариантах, один со многими клетками в колонках, для реализации памяти переменного порядка, и второй с одной клеткой в колонке для памяти первого порядка. Мы предполагаем, что эти два варианта соответствуют слоям 3 и 4 в неокортексе мозга. Мы не пытались как-то скомбинировать эти два варианта в одном регионе НТМ.

Хотя кортикальный алгоритм обучения НТМ (со многими клетками в колонке) и очень близок к слою 3 в коре мозга, мы сохранили в нашей модели гибкость, которой нет в мозге. Следовательно у нас есть возможность создавать гибридные слои нейронов, которые не будут соответствовать биологическим слоям в неокортексе. Например, в нашей модели мы знаем порядок, в котором синапсы формируются на дендритных сегментах. Мы можем использовать эту информацию для извлечения того, что предсказано произойти следующим, от всего того, что вообще предсказано в будущем. Наверное, подобным образом можно добавить в нашу модель и заданные интервалы времени. Следовательно, возможно создать один уровень региона НТМ, который будет комбинировать в себе функциональность и слоя 3 и слоя 5.

 

Заключение

Наш кортикальный алгоритм обучения НТМ воплощает в себе то, что мы считаем базовым строительным блоком всей нейронной организации в неокортексе. Он наглядно показывает, как слои горизонтально связанных между собой нейронов могут выделять и запоминать последовательности пространственно распределенных представлений входных паттернов. Различные варианты кортикального алгоритма обучения НТМ предположительно используются в различных слоях неокортекса для разных, хотя и сходных между собой целей.

Мы предполагаем, что прямой вход сигналов в кортикальную область, в ее слой 3 или 4, псевдослучайно проектируется на проксимальные дендриты, которые, при помощи ингибиторных нейронов, создают пространственно распределенное представление входных сигналов. Мы также предполагаем, что клетки в слоях 2, 3, 4, 5 и 6 разделяют между собой эти пространственно распределенные представления. Это достигается тем, что все клетки в колонке на всех уровнях воспринимают один и тот же прямой входной сигнал.

Кроме того, мы предполагаем, что клетки 4-го слоя, когда он присутствует в области коры, используют подобие кортикального алгоритма обучения НТМ для выявления и запоминания временных переходов между состояниями первого порядка, что дает нам представления, которые инвариантны для пространственных трансформаций. Клетки 3-го слоя используют кортикальный алгоритм обучения НТМ для выявления и сохранения временных переходов переменного порядка и тем самым формируют стабильные представления, которые передаются выше по кортикальной иерархии. Клетки слоя 5 занимаются переходами переменного порядка с учетом временных интервалов. У нас нет конкретных предположений насчет слоев 2 и 6. Однако, учитывая их типичную горизонтальную связанность, весьма вероятно, что они также работают с одной из форм памяти последовательностей.