Иерархия

Сеть НТМ состоит из регионов организованных в иерархию. Регион НТМ – это основной ее строительный блок, функциональная единица ее памяти и способности к предсказанию, который мы рассмотрим более подробно в следующей главе. Типичным случаем является, когда один регион представляет из себя один уровень в иерархии НТМ. И по мере восхождения вверх по этой иерархии всегда присутствует конвергенция данных, когда многие элементы дочернего (нижнего) региона соединяются (конвергируют) на одном элементе родительского (верхнего) региона. Тем не менее, благодаря наличию обратных связей, информация также и дивергирует обратно (разделяется) при движении вниз по уровням иерархии. (В данном случае термины «регион» и «уровень» являются практически синонимами. Мы используем термин «регион» когда описываем его функциональный аспект, тогда как термин «уровень» используется специально для описания места региона в иерархии НТМ.)

Рисунок 1.1. Упрощенная диаграмма четырех регионов НТМ, организованных в четырехуровневую иерархию. Показаны потоки информации внутри уровня, между уровнями и извне/наружу для всей этой иерархии.

Кроме того, возможно скомбинировать вместе несколько НТМ сетей. Такого типа структура имеет смысл, когда у вас есть потоки данных от более чем одного вида сенсоров. Например, одна из сетей может обрабатывать аудио информацию, а другая – визуальную информацию. А конвергенция от каждой из сетей будет происходить только в верхней части иерархии.

Рисунок 1.2. Конвергенция сетей от различных сенсоров.

Преимуществом иерархической организации является ее высокая эффективность. Она существенно сокращает время обучения и необходимые объемы памяти, поскольку паттерны выученные на каждом уровне иерархии используются многократно в комбинациях на более высоких уровнях. Для иллюстрации, давайте рассмотрим обработку визуальной информации. На самом нижнем уровне иерархии ваш мозг хранит информацию о маленьких кусочках визуального поля, таких как линии (границы) и углы. Линия (граница) это один из основных элементов любого визуального образа. Такие паттерны низкого уровня рекомбинируются на средних уровнях в более сложные компоненты, такие как кривые и текстуры. Дуга может быть гранью уха, верхом рулевого колеса автомобиля или же ободком кружки кофе. Такие паттерны среднего уровня далее комбинируются в представления высокоуровневых объектов, таких как лица, машины или дома. Чтобы запомнить такой высокоуровневый объект, вам не нужно заново изучать все его мелкие компоненты.

В качестве другого примера, можно напомнить, что когда вы запоминаете новое слово, вам не нужно заново изучать его буквы, слоги или фонемы.

Совместное использование репрезентаций в иерархии также ведет ко все большему обобщению в ожидаемом поведении. Когда вы видите новое животное и видите у него рот и зубы, то вы можете предсказать, что это животное ест с помощью своего рта и что оно может вас укусить. То есть иерархия позволяет совершенно новому объекту унаследовать некоторые известные свойства своих субкомпонент.

Сколько всего может запомнить один уровень в НТМ иерархии? Или, поставив вопрос по другому, сколько уровней в иерархии нам необходимо? Здесь существует некоторый компромисс между тем сколько памяти отведено на каждый уровень и сколько всего уровней потребуется. К счастью, НТМ автоматически запоминает самые лучшие репрезентации на каждом своем уровне, при заданной исходной статистике входных данных, и при выделенных ей на это ресурсах. Если вы дадите ей больше памяти на некоторый уровень, то они сформируют у себя более сложные и большие репрезентации, а следовательно, вам возможно потребуется меньше уровней НТМ. А если вы дадите меньше памяти каждому уровню НТМ, то они будут формировать репрезентации которые проще и меньше, что может потребовать большего количества необходимых уровней в иерархии.

До сего момента мы рассматривали такие сложные задачи, как распознавание визуальных образов. Однако многие практические задачи гораздо проще зрения и даже один регион НТМ может оказаться для них вполне достаточен. Например, мы применили НТМ для предсказания, куда посетитель веб сайта вероятнее всего кликнет дальше на странице. Решение этой проблемы потребовало направить на НТМ поток данных о веб кликах посетителей. В ней практически не было никакого пространственного аспекта, а решение требовалось в области временной статистики, то есть предсказания на основе распознания типичного профиля посетителя. Темпоральные алгоритмы самообучения НТМ просто идеальное средство для решения подобных задач.

Подводя итог, можно сказать, что иерархии сокращают время обучения, использование памяти и приводят к некоторой большей обобщенности данных. Тем не менее, многие задачи на простое предсказание могут быть решены и с помощью одного региона НТМ.