Формирование предсказания на основе входа и контекста предыдущих входов

Финальным шагом для нашего региона является выработка предсказания, что же должно произойти далее. Это предсказание основывается на представлении сформированном на шаге 2), которое включает в себя контекст предыдущих входов.

Когда регион создает такое предсказание, он активирует (в состояние предсказания) все клетки которые вероятно станут активными благодаря будущему прямому воздействию. Поскольку представления в регионе являются разреженными, в одно и то же время может быть сделано несколько предсказаний. Например, если входные данные активируют только около 2% клеток, то можно ожидать, что 10 различных предсказаний активируют около 20% клеток в состоянии предсказания. Или 20 различных предсказаний могут дать около 40% колонок с клетками в состоянии предсказания. Если каждая из наших колонок имеет четыре клетки, из которых только одна активна в каждый момент времени, тогда около 10% всех клеток будут в состоянии предсказания.

В будущей (пока не написанной) главе о разреженных представлениях мы покажем, что даже когда различные предсказания соединяются вместе, регион достаточно определенно может узнать, был ли его вход предсказанным или нет.

Так как же регион вырабатывает предсказание? Когда входной паттерн изменяется с течением времени, различные наборы колонок и клеток становятся последовательно активными. А когда клетка становится активной, она формирует соединения с подмножеством близких к ней клеток, которые были активны непосредственно до этого. Такие связи могут формироваться быстро или медленно в зависимости от установленной скорости обучения, требующейся конкретному приложению на основе НТМ технологии. Позднее, все что нужно сделать клетке, это отследить по этим связям совпадающую во времени активность. Если соединения стали активны, клетка может предположить, что она тоже вскоре может стать активной, и она переходит в состояние предчувствия активации. То есть прямое воздействие, ведущее к активации некоторого множества клеток, ведет также к предсказательной активации других клеток, которые вероятно будут следующими. Представьте себе это как момент, когда вы распознали слышимую мелодию и стали предсказывать, какие ноты будут следующими.

 

		Следующий уровень
		Предыдущий уровень

 

 

Рисунок 2.3: В каждый момент времени некоторые клетки НТМ региона будут активны благодаря прямому воздействию входа (они показаны светло-серым цветом). А другие клетки, получающие латеральные воздействия от активных клеток будут в состоянии предсказания (они показаны темно-серым цветом).

 

Подытоживая вышесказанное, когда регион НТМ получает новые входные данные, он формирует разреженное множество активных колонок. Одна или несколько клеток в этих колонках становятся активными, что в свою очередь приводит другие клетки в состояние предчувствия активации благодаря выученным связям между клетками в данном регионе. Эти клетки, активированные благодаря своим латеральным связям, представляют из себя предсказание того, что вероятно должно случится далее. Когда появляется следующий прямой вход для данного региона, он формирует другое разреженное множество активных колонок. Если такая новая активная колонка не была предсказанной ни одной из ее клеток, она активирует все свои клетки. А если в новой активной колонке было несколько клеток в состоянии предсказания, только эти клетки и становятся активными. Выходом региона является активность всех его клеток, включая клетки активные благодаря прямому воздействию входа и клетки активные в состоянии предсказания.

Как уже упоминалось ранее, предсказания создаются не только для следующего временного шага. Предсказания в НТМ регионе могут быть на несколько шагов в будущем. Используя аналогию с мелодиями, НТМ регион может предсказывать не только следующую ноту, но и четыре следующие ноты в мелодии. Это как раз то, что нам нужно. Выход региона (совокупность всех активных и предсказывающих клеток в регионе) будет изменяться более медленно чем его вход. Представьте себе регион, который предсказывает четыре следующие ноты в мелодии. Для примера мы представим эту мелодию в виде последовательности А, Б, В, Г, Д, Е, Ж. После прослушивания первых двух нот регион узнает эту мелодию и начинает предсказывать ее продолжение в виде В, Г, Д, Е. Клетки для Б уже активны, поэтому клетки для Б, В, Г, Д, Е находятся в одном из двух активных состояний. Теперь регион слышит следующую ноту В. Теперь множество активных и предсказывающих клеток представляет собой множество В, Г, Д, Е, Ж. Обратите внимание, что входной паттерн полностью изменился с Б на В, а на выходе изменилось только около 20% клеток.

Поскольку выходом НТМ региона является вектор представляющий собой активность всех клеток региона, он будет в пять раз более стабилен в этом примере чем вход. При организации регионов в некоторую иерархию, мы будем наблюдать в ней все возрастающую стабильность при продвижении к ее вершине.

Мы будем использовать термин «темпоральный группировщик» для описания этих двух шагов по добавлению контекста в наше представление и предсказание. [Второй алгоритм самообучения НТМ] Поскольку при этом создается медленно изменяющийся выход, мы действительно группируем вместе различные входные паттерны, которые следуют друг за другом с течением времени.

Теперь настала пора нам опуститься в нашем рассмотрении на следующий уровень детализации. Мы начнем с общих концепций для пространственного и темпорального группировщиков. Потом мы обсудим концепции, которые уникальны для пространственного группировщика, а затем концепции уникальные для темпорального группировщика.