Глава 1. Введение в НТМ

Иерархическая темпоральная память (Hierarchical Temporal Memory - HTM) является технологией машинного самообучения, которая нацелена на повторение структурных и алгоритмических свойств коры головного мозга.

Именно кора головного мозга млекопитающих является местом где находятся мысли и сознание. Высокоуровневое зрение, слух, осязание, движения, язык и планирование, все это создается корой головного мозга. Наблюдая такое разнообразие когнитивных функций, вы можете подумать, что в коре мозга имплементирован и эквивалентный ему набор специализированных нейрональных алгоритмов. Но это не так. Кора мозга демонстрирует нам на удивление постоянный паттерн нейрональных связей. Биологические данные позволяют нам предположить, что в ней имплементирован общий набор алгоритмов, который позволяет выполнить множество различных функций сознания.

Технология НТМ включает в себя набор теоретических разработок (theoretical framework) для понимания принципов работы коры и ее многочисленных возможностей. И хотя, на сегодняшний день, мы имплементировали лишь малую часть указанной теоретической базы, мы надеемся, что со временем все больше и больше ее теоретических построений будет реализовано на практике. Тем не менее, уже сейчас, как мы полагаем, нами имплементирована значительная часть основных механизмов деятельности коры, которые являются сами по себе ценными для множества коммерческих и научных применений.

Программирование НТМ совершенно не похоже на традиционное программирование компьютеров, когда программисты создают жесткие программы для решения конкретных, четко очерченных, проблем. В отличии от них НТМ обучается путем работы с входным потоком сенсорных данных. И ее конечные способности во многом определяются тем, что было ей продемонстрировано.

НТМ можно рассматривать и как новый тип нейронных сетей. Ведь согласно определению, любая система, которая пытается моделировать архитектурные особенности коры мозга, является нейронной сетью. Однако, сам по себе термин «нейронная сеть» не очень хорош, поскольку его применяют к слишком широкому классу различных систем. В модели НТМ нейроны (которые в НТМ называют просто клетками) организованы в колонки, слои, регионы и иерархии регионов. Все эти детали очень важны, как вы увидите сами, и про НТМ можно смело сказать, что это совершенно новый вид нейронных сетей.

Как и следует из ее названия (Иерархическая темпоральная память), технология НТМ в основе своей является некоторой системой памяти. Сети НТМ обучаются много-много раз на изменяющихся входных данных и механизм их работы основан на запоминании большого множества паттернов и их последовательностей. Однако, способ, с помощью которого эти данные сохраняются и «вспоминаются» совершенно отличается от модели используемой в современном программировании. Классическая компьютерная память имеет линейную организацию и никак не связана («не имеет понятия о») с категорией времени. Программисты, при этом, сами могут организовать любой вид организации данных и их структуру поверх этой линейной компьютерной памяти и контролировать как и где в них будет храниться информация. По сравнению с этим, память НТМ накладывает гораздо большие ограничения в своем использовании и неотъемлемо связана с параметром времени. В ней информация всегда хранится в распределенном виде. Пользователь НТМ указывает только параметры иерархии и чему она будет обучаться, а НТМ уже сама контролирует где и как будет храниться информация.

И хотя сети НТМ настолько отличаются от классических компьютеров, мы вполне можем использовать последние для моделирования работы НТМ, если только мы имплементируем основные функции иерархии, времени и разреженных пространственных представлений (описанных подробнее далее). Мы предполагаем, что со временем будет создано и специализированное аппаратное обеспечение для более эффективной реализации работы прикладных сетей НТМ.

В данном документе мы будем часто иллюстрировать свойства НТМ с помощью примеров позаимствованных из областей человеческого зрения, осязания, слуха, языка и поведения. Такие примеры очень полезны, поскольку они позволяют читателям легко схватывать их суть. Однако, важно помнить, что возможности НТМ не привязаны к конкретным видам данных. Ее можно использовать в работе не только с человеческими сенсорными потоками, но и, например, с данными от радаров, инфракрасного («ночного») зрения, или даже потока данных с финансовых рынков, метеорологических данных, данных о веб трафике или чистый текст. Механизмы обучения и предсказания, заложенные в НТМ, могут быть применены к самым различным типам задач.