Версия 0.2.1 от 12 сентября 2011г.

Иерархическая темпоральная память (HTM)

И ее кортикальные алгоритмы обучения

 

 

Версия 0.2.1 от 12 сентября 2011г.

(С) Numenta, Inc. 2011

 

 

Использование программного обеспечения и интеллектуальной собственности компании Numenta, включая все идеи, содержащиеся в данном документе, может осуществляться свободно (бесплатно) только для некоммерческих целей. Подробнее смотри (на английском языке):

http://www.numenta.com/software-overview/licensing.php

 

 

 

Сначала прочтите это!

Это предварительная версия данного документа. Некоторые вещи в ней пока просто отсутствуют, и мы должны четко уведомить вас об этом.

Что ЕСТЬ в этом документе:

Этот документ детально описывает новые алгоритмы обучения и предсказания состояний, разработанные в компании Numenta в 2010 году. Эти новые алгоритмы описаны здесь достаточно детально, чтобы программисты смогли их полностью понять и, по желанию, самостоятельно имплементировать. Документ начинается с водной (теоретической) главы [после предисловия]. Если вы и до этого следили за работами компании Numenta и читали некоторые из наших предыдущих документов, то эта вводная глава будет для вас знакомой. Остальной материал является новым.

Чего НЕТ в этом документе:

Есть несколько тем, относящихся к имплементации описанных новых алгоритмов, которые не вошли в эту предварительную версию документа:

- Хотя большинство аспектов описанных алгоритмов было нами уже имплементировано и протестировано в виде программных приложений, результаты этих тестов пока не были включены в данный документ.

- Отсутствуют описания, как эти алгоритмы могут быть применены к решению практических задач. Отсутствует описание, как вы могли бы конвертировать исходные данные с сенсоров или из базы данных в разреженные представления, подходящие для этих алгоритмов.

- Эти алгоритмы самообучения могут работать в режиме on-line поступления данных. Однако, ряд деталей, необходимых для полной имплементации этого режима (для некоторых редких случаев), здесь не описаны.

- Нами запланировано несколько дополнительных разделов, которые пока не включены в данный документ. Туда должны войти приложения с обсуждением свойств разреженных пространственных представлений, разделы о практических приложениях и примерах, а также ссылки на первоисточники.

Мы решили опубликовать данный документ в его текущем виде, поскольку мы считаем, что описанные в нем алгоритмы могут быть интересны и для других людей. Отсутствующие части данной версии документа не должны затруднить понимание и эксперименты с описанными алгоритмами для заинтересованных исследователей. Мы будем регулярно обновлять данный документ, отражая в нем наши достижения.

Дополнительно: ссылки на оригинал документа

Данный документ был взят с официального сайта компания Numenta (www.numenta.com). Его оригинальное название – «Hierarchical Temporal Memory including HTM Cortical Learning Algorithms»; текущая ссылка на него (формат PDF):

http://numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf

 

Дополнительно: обращение переводчика

Автор перевода будет благодарен за все присланные замечания и предложения направленные на улучшение качества и удобочитаемости перевода данного документа. Прошу присылать их на мой почтовый адрес mih.net(эт)yandex.ru.

Все примечания переводчика в данном тексте выделялись [квадратными скобками].

Содержание

 

Предисловие --------------------------------------------------------------------- 4

 

Глава 1: Введение в НТМ ----------------------------------------------------- 6

 

Глава 2: Кортикальные алгоритмы обучения НТМ ---------------------- 15

 

Глава 3: Имплементация пространственного группировщика и

ее псевдокод ---------------------------------------------------------------------- 26

 

Глава 4: Имплементация темпорального группировщика и ее

псевдокод ------------------------------------------------------------------------- 30

 

Приложение А: Сравнение между биологическими нейронами и

клетками НТМ ------------------------------------------------------------------- 35

 

Приложение Б: Сравнение областей коры головного мозга и

регионов НТМ ------------------------------------------------------------------- 40

 

Глоссарий ------------------------------------------------------------------------- 48

 

 

Предисловие

Существует множество вещей, которые люди делают очень легко, а компьютеры на это сейчас просто не способны. Такие задачи, как распознавание визуальных образов, понимание разговорной речи, распознавание и манипулирование объектами с помощью осязания, равно как и навигация в сложном окружающем мире, довольно просто решаются людьми на практике. Тем не менее, не смотря на десятилетия упорных исследований, существует мало заметных алгоритмов для реализации подобных человеческих навыков с помощью компьютеров.

В человеке все эти способности обеспечиваются, в основном, с помощью коры головного мозга. Иерархическая темпоральная память (Hierarchical Temporal Memory – HTM) это технология моделирующая то, как в коре головного мозга выполняются указанные функции. НТМ нацелена на построение машин, которые достигнут или даже превзойдут уровень человека во множестве когнитивных задач.

Данный документ описывает указанную НТМ технологию. Глава 1 дает вводный обзор НТМ, подчеркивая важность иерархической организации, разреженность пространственных представлений, и запоминание временных событий. Глава 2 детально описывает алгоритмы обучения регионов НТМ. Главы 3 и 4 содержат в себе псевдокод для алгоритмов обучения НТМ поделенных на две части: для пространственного группировщика и для темпорального группировщика. После чтения глав со 2-ой по 4-ую, опытный инженер-программист может самостоятельно воспроизвести указанные алгоритмы и поэкспериментировать с ними. Мы надеемся, что некоторые из читателей пойдут еще дальше и разовьют для себя нашу работу.