Последовательности и предсказания первого порядка и изменяемого порядка

Нам нужно обсудить еще одну тему касающуюся пространственного и темпорального группировщиков. Хотя она может быть не интересна для всех читателей и не нужна для понимания следующих глав 3 и 4.

Что случится, если в колонках будет немного больше или меньше клеток? например, что будет, если в наших колонках будет только одна клетка? В примере, который мы использовали ранее, мы показали, что представление состоящее из 100 активных колонок с 4-я клетками на колонку может быть закодировано 4 в степени 100 различными способами, что дает нам очень большое число. Таким образом, один и тот же вход может быть использован во множестве различных контекстов. Если, например, каждый входной паттерн будет у нас представлять слово, тогда наш регион сможет запомнить множество предложений, которые используют снова и снова одни и те же слова, без каких либо проблем. Или же мы можем использовать то же самое количество слов и выучить меньше, но более длинные, предложения. Такой тип памяти называется памятью с «переменным порядком», что означает, что ей нужно переменное количество предыдущего контекста, чтобы предсказать следующий вход. НТМ регион является памятью переменного порядка.

Если мы увеличим количество клеток до пяти на одну колонку, доступное нам число представлений для каждого входа в нашем примере возрастет до 5^100, что гораздо больше чем 4^100. Однако оба эти числа настолько велики, что для большинства практических приложений такое увеличение емкости памяти просто не будет использовано.

Тем не менее, существенное уменьшение числа клеток в колонках дает большую разницу.

Если мы оставим только одну клетку в колонках, мы потеряем возможность включать контекст в наши представления. Любые входные данные для такого региона будут приводить к одному и тому же предсказанию, независимо от предыдущих событий. С одной клеткой на колонку, память НТМ региона становится памятью «первого порядка»; ее предсказания зависят только от текущего входа.

Тем не менее, предсказания первого порядка идеально подходят для решения одного из типов проблем, которые постоянно решает наш мозг: статическое пространственное распознавание (inference). Как нами уже упоминалось ранее, быстрый показ человеку визуального образа позволяет ему успешно распознать его, даже если время показа настолько мало, что человек не успевает сделать движение глазами (саккаду). Когда вы слушаете, то вам всегда нужно слышать некоторую последовательность паттернов звуков, чтобы распознать сто это такое. Со зрением обычно это тоже так, вы воспринимаете поток визуальных образов. Но в особых случаях вы можете распознать и единичный образ.

Вам может показаться, что темпоральное и статическое распознавание требуют различных механизмов для своего осуществления. Одно требует распознавания последовательностей паттернов и делает предсказания основываясь на переменной глубине временного контекста. Другое требует распознавания статических пространственных паттернов, без использования временного контекста. Регион НТМ со многими клетками в каждой колонке идеально приспособлен для распознавания временных последовательностей, а регион НТМ только с одной клеткой в каждой из колонок идеально подходит для распознавания пространственных паттернов. В компании Numenta мы провели множество экспериментов, используя регионы с одноклеточными колонками, применительно к решению визуальных задач. И хотя полное описание этих экспериментов выходит за рамки данной главы, мы остановимся здесь на их самых важных концепциях.

Если мы продемонстрируем НТМ региону ряд картинок, то колонки в регионе обучатся представлять общие пространственные взаиморасположения пикселей. Типы этих выученных паттернов будут напоминать те, что мы наблюдаем в первичной визуальной зоне V1 коры головного мозга (которая достаточно подробно изучена в нейрофизиологии). Типичными примерами тут будут линии и углы в различных ориентациях. При обучении на движущихся образах, НТМ регион запоминает перемещения этих базовых фигур. Например, за вертикальной линией в одной позиции часто следует также вертикальная линия, только сдвинутая влево или вправо. все такие часто наблюдаемые перемещения паттернов запоминаются регионом НТМ.

Что же произойдет, если мы покажем такому региону вертикальную линию движущуюся вправо? Если в нашем регионе есть только колонки с одной клеткой, он будет предсказывать, что линия далее может сдвинуться влево или вправо. Он не сможет использовать контекст знания, где была линия в прошлом и, следовательно, понимать движется ли она влево или вправо. Получается, что такие одноклеточные колонки ведут себя подобно «простым клеткам» коры мозга. Прогноз от таких клеток будет активен для линии в различных позициях, не зависимо от того, движется ли она вправо, или влево, или вообще не движется. Кроме того мы обнаружили, что подобные регионы демонстрируют свойства стабильности к перемещениям, изменениям масштаба и т.д., сохраняя при этом возможность различать разные образы. Такое поведение бывает просто необходимо для пространственной инвариантности (распознавание одного паттерна в различных местах одного образа).

Если мы теперь проделаем те же самые эксперименты с регионом НТМ, в колонках которого имеется множество клеток, мы можем обнаружить, что последние ведут себя подобно «комплексным клеткам» коры мозга. Их предсказания будут активны только для случаев линии движущейся либо влево, либо вправо, но не оба сразу.

Собрав вместе все эти наблюдения, мы выдвинули следующую гипотезу. В коре головного мозга должны выполняться предсказание с распознаванием как первого так и переменного порядка. В каждом регионе коры мозга имеется четыре – пять клеточных слоев. Они различаются по некоторым параметрам, но все они сохраняют свойство общеколоночной реакции и имеют множество горизонтальных связей внутри своего слоя. Мы предполагаем, что каждый уровень клеток в регионе коры мозга выполняет аналог правил вывода и обучения НТМ, описанных в этой главе. Различные уровни клеток играют в этом различные роли. Например, известно из анатомических исследований, что слой 6 создает обратную связь в иерархии зон мозга, а уровень 5 вовлечен в моторное поведение. Два основных клеточных слоя восприятия входных данных это слои 4 и 3. Мы предполагаем, что одно из отличий между слоями 4 и 3 состоит в том, что клетки в слое 4 работают независимо, как одна клетка в колонке, а клетки в слое 3 работают подобно многим клеткам в колонке. Так зоны коры мозга вблизи областей ввода сенсорных данных имеют оба вида памяти и первого порядка и переменного порядка. Память последовательностей первого порядка (ориентировочно соответствующая 4 слою нейронов) весьма полезна для формирования репрезентаций которые инвариантны к пространственным изменениям. А память последовательностей переменного порядка (ориентировочно соответствующая нейронам 3-го уровня) полезна для выводов и предсказаний о движущихся образах.

Суммируя вышесказанное, мы выдвигаем гипотезу, что на всех нейронных уровнях коры головного мозга работают алгоритмы похожие на те, что описаны в данной главе. Эти уровни различаются между собой во многих аспектах, что заставляет предположить их различную роль в обеспечении восприятия входных данных, создания обратной связи, внимания и моторного поведения. А в зонах коры близких к областям ввода сенсорных данных полезно иметь уровень нейронов выполняющих функции памяти первого порядка, поскольку это ведет к пространственной инвариантности.

В компании Numenta мы проделали много экспериментов с НТМ регионами первого порядка (одна клетка на колонку) в задачах на распознавание образов. Мы также экспериментировали с НТМ регионами переменного порядка (множество клеток на колонку) в задачах распознавания и предсказания последовательностей различного порядка. В будущем будет логично попытаться их скомбинировать в одном регионе и расширить его алгоритмы на достижение и других целей. Тем не менее, уже сейчас мы убеждены, что множество интересных проблем могут быть разрешены с помощью эквивалентов одноуровневых или многоуровневых регионов, либо отдельных, либо собранных в иерархию.