Обучение. Регион НТМ изучает свой мир путем нахождения паттернов и их последовательностей во входящем потоке данных

Регион НТМ изучает свой мир путем нахождения паттернов и их последовательностей во входящем потоке данных. Регион, сам по себе, «не знает», что собой представляют эти данные, он работает чисто на статистических принципах, высматривая комбинации входных битов, которые часто появляются вместе, и которые мы называем пространственными паттернами. Потом регион ищет как эти паттерны образуют последовательности во времени, что мы назовем временными паттернами или просто последовательностями.

Например, если регион НТМ получает данные с метеорологических датчиков на здании, он может обнаружить, что определенная комбинация температуры и влажности часто появляется на южной стороне здания, а другая комбинация – на северной его стороне. И потом он может обнаружить, что эти комбинации следуют одна за другой по мере прохождения очередных суток.

А если регион НТМ получает данные о текущих покупках в магазине, он может обнаружить, что определенные товары чаще покупаются в выходные, или что по вечерам более предпочтителен определенный ценовой диапазон, при условии, что на улице холодная погода. Кроме этого, он может открыть, что различные люди следуют похожим последовательным паттернам в своих покупках.

При этом, один регион НТМ ограничен в своих возможностях по самообучению. Он автоматически размещает то, чему он обучился, в зависимости от имеющегося у него количества памяти и от сложности своих входных данных. Если доступной региону памяти становится меньше, то и пространственные паттерны, которые он запоминает, соответственно становятся проще. Либо наоборот, они могут стать более сложными при увеличении доступной памяти. Если выученные регионами паттерны относительно просты, то для распознавания достаточно сложных образов может потребоваться большая иерархия. Подобные же характеристики мы можем наблюдать и в системе человеческого зрения, где зоны коры, получающие данные от сетчатки, запоминают пространственные паттерны маленьких участочков визуального пространства. И только после нескольких уровней иерархии визуальных зон эти пространственные паттерны комбинируются и представляют уже практически все визуальное пространство.

Подобно биологическим системам, алгоритмы обучения НТМ региона способы к обучению «на лету», то есть к непрерывному обучению во время работы, от каждого входного паттерна. Поэтому нет необходимости в отделении фазы распознавания от фазы обучения, хотя распознавание заметно улучшается при дополнительном обучении. Таким образом, при изменении паттернов на входе, НТМ регион постепенно также изменится вместе с ними.

После начального обучения НТМ может продолжить самообучаться, либо ее самообучение может быть отключено после фазы начального тренинга. Еще одним вариантом будет отключить самообучение только у низших слоев иерархии регионов, но продолжить самообучение у высших слоев. Если НТМ уже выучила самые базовые статистические структуры из окружающего ее мира, основное обучение будет происходить только на верхних уровнях иерархии. А если НТМ получит новые паттерны, в которых будут не наблюдавшиеся ранее структуры низшего уровня, то потребуется больше времени на изучение таких паттернов. То же самое мы можем наблюдать и у людей. Изучение еще одного слова в языке, который для вас знаком, проходит относительно просто. Однако, если вы пытаетесь выучить незнакомое слово иностранного языка с незнакомыми вам звуками, это будет для вас гораздо сложнее, поскольку вы не освоили его низкоуровневые фонемы.

Даже такое простое обнаружение паттернов, это потенциально очень полезное практическое свойство. Понимание высокоуровневых паттернов во флюктуациях финансового рынка, течении болезни, погоде, доходе от производства или в отказах сложных систем (таких как региональные электросети), весьма ценно само по себе. И при этом, изучение пространственных и временных паттернов является предшественником для распознавания и предсказания в НТМ.