Пространственные разреженные представления

Хотя нейроны в коре мозга очень плотно связаны между собой, многочисленные подавляющие (ингибиторные) нейроны гарантируют, что одновременно будут активен только небольшой процент всех нейронов. То есть, получается, что информация представлена в мозге всегда только небольшим количеством активных нейронов из всех имеющихся там. Такой тип кодирования информации называется «разреженная распределенная репрезентация». «Разреженная» означает, что только небольшой процент нейронов может быть активным одновременно. «Распределенная» означает, что для представления чего либо необходима активация многих нейронов. Активность одиночного нейрона, конечно, тоже что-то означает, но она должна интерпретироваться только в контексте множества других нейронов, чтобы можно было понять ее общее значение.

НТМ регионы также как и области коры мозга используют в своей работе разреженные распределенные репрезентации. На самом деле, механизмы памяти НТМ настолько от них зависят, что по другому просто не будут работать. Входной сигнал для НТМ это тоже всегда распределенное его представление, но оно может не быть разреженным. Поэтому, первое, что делает НТМ регион, это конвертация такого входа в разреженное распределенное представление. Например, пусть на входе в регион имеется 20 000 бит. И процент нулей и единиц среди них может существенно меняться во времени. В один момент тут может быть 5 000 единичек, а в другой момент – 9 000 единичных битов. НТМ регион может конвертировать такой вход во внутреннее представление из 10 000 бит, из которых только около 2% (200 бит) будут активными, не зависимо от количества единичек на входе. Поскольку входные данные НТМ региона будут меняться со временем, это внутренние их представление (репрезентация) будет также меняться, но в ней всегда будет оставаться примерно 200 активных битов из 10 тысяч.

Может показаться, что при таком подходе происходит большая потеря информации, поскольку общее возможное число входных паттернов получается гораздо большим, чем число возможных репрезентаций в НТМ регионе. Но, на самом деле, оба этих числа просто непомерно огромные. И реальное число всех видов входов, увиденных когда либо регионом НТМ, будет просто букашкой по сравнению с общим возможным их числом. Позднее мы подробно опишем, как регион создает разреженные представления входных данных. Упомянутая нами теоретическая возможность потери информации, на практике не имеет существенного эффекта.

			Следующий уровень
		Предыдущий уровень

Рисунок 1.4. Часть НТМ региона с показанным примером разреженного представления с помощью активных клеток.

Разреженные распределенные репрезентации имеют несколько очень полезных свойств и являются неотъемлемой частью работы НТМ. Позднее мы еще к ним вернемся снова.