В НТМ синапсы имеют только бинарный вес. Биологические синапсы имеют различный вес, хотя они также при этом стохастичны и биологический нейрон никак не может полагаться на точный вес своих синапсов. Использование распределенных представлений в НТМ, плюс наша модель дендритных операций позволяет нам обойтись только бинарными весами для синапсов НТМ без побочных эффектов. Чтобы смоделировать формирование и исчезновение синапсов мы использовали две дополнительные концепции из нейрофизиологии, которые могут быть вам не знакомы. Одна из них, это концепция потенциальных синапсов. По ее представлениям все аксоны, которые проходят достаточно близко к дендритному сегменту, потенциально могут сформировать с ним синапсы. Вторая концепция называется «перманентность» (~ стабильность, устойчивость). Это скалярное (вещественное) значение присвоенное каждому потенциальному синапсу. Перманентность синапса представляет собой степень связанности между аксоном и дендритом. В биологии она варьируется от полной несвязанности до формирующегося синапса, минимального синапса и до большого, полностью связанного синапса. У нас перманентность синапса изменяется от 0 до 1. Обучение подразумевает под собой увеличение и уменьшение перманентности синапсов. Когда перманентность синапса превышает некоторый порог, то его вес у нас считается равным 1. Когда она меньше этого порога, то вес синапса считается равным 0.
