Инструментальные условные рефлексы (условные рефлексы второго рода, обучение методом проб и ошибок, инструментальное обучение, оперантное обучение)

Практически одновременно с исследованиями И.П.Павлова в России, в США в исследованиях УР формировалось иное направление – концепция инструментального обусловливания. Впервые она была сформулирована Эдвардом Ли Торндайком в 1913 г и в основном развивалась трудами американских бихевиористов.

В отличие от классических (Павловских) условных рефлексов, где предъявление условного стимула и подкрепления (безусловного стимула) неразрывно связано и не требует от животного каких либо действий, при инструментальном научении, подкрепление следует только при выполнении животным какого-либо поведения.

В инструментальных условных рефлексах также пусковым элементом может служить условный раздражитель или стимульная ситуация. Она запускают поведение, совершение которого завершается подкреплением. Однако, условная связь образуется между поведением и подкреплением. Если в ответ на стимул не совершается определенного поведения – нет и подкрепления.

Формально в инструментальном поведении условного стимула может не быть. Его роль выпоняет обстановочная афферентация, представляющая собой совокупность стимулов, характеризующих условия при которых выполенение определенного поведения всегда обеспечивает подкрепление и таким образом животное или человек могут активно влиять на факт получения этого подкрепления.

Таким образом, при классических условных рефлексах связь устанавливается между стимулом и результатом, а в инструментальных рефлексах эта связь опосредована поведенческой реакцией животного. То есть, подкрепление (результат) непосредственно связано с реакцией.

В классических опытах Торндайка на кошках, голодные животные помещались в ящики сделанные с вертикальными щелями, так что через них была видна пища, расположенная снаружи. Пытаясь добраться до пищи, кошка производит множество движений: тянется к пище через щели, скребет предметы, находящиеся внутри клетки и т.д. Наконец она случайно ударяет по запирающему механизму и выходит наружу. При последующих пробах действия кошки постепенно концентрируются на этом механизме, и прочая активность при этом прекращается. Такое поведение Торндайк назвал «обучение методом проб и ошибок», теперь такое обучение называется инструментальным, поскольку правильная реакция, ведущая к вознаграждению, опосредовано неким «ИНСТРУМЕНТОМ» роль которого выполняет поведение, хотя термин, использованный Торндайком применяется довольно часто и сейчас.

Инструментальным рефлексом является также и реакция избегания – навык выполнять действия позволяющие избегать наказания или опасности. Классическим вариантом экспериментальной модели рефлекса избегания является челночная камера. Установка «челночная камера» представляет собой бокс, разделенный на две половины перегородкой с отверстием посередине. Пол камеры выполнен в виде решетки из чередующихся электродов, смонтированных на раме, укрепленной на центральной оси под перегородкой подобно качелям. Крыса своей массой опускает соответствующий край рамы и замыкает контакты электродного пола. Электрическая схема пола устроена так, что в исходном состоянии ток на пол не подаётся. После нажатия кнопки «старт» подаётся звуковой сигнал и через 10 секунд на пол того отсека, где крыса находилась в момент «старта» подаётся ток и животное получает серию ударов током, которые заставляют её переходить на другую «безопасную» половину. Как только крыса уходит на другую половину, рама замыкает контакт на противоположной стороне, и система возвращается в исходное состояние. Если за 10 секунд крыса уходит на другую половину, то она не получает «наказания». Ток всегда подаётся только на ту половину камеры, где крыса находилась до момента нажатия кнопки старт. Таким образом, при многократном повторении описанной процедуры вырабатывается условный рефлекс избегания, который заключается в том, что крыса обучается уходить на противоположную половину камеры до истечения 10 секунд после подачи звукового сигнала.

Избегание существует в двух основных формах – активной и пассивной. Активное избегание представляет собой действия, направленные на удаление от источника опасности или уничтожение его. Пассивное избегание представляет собой торможение поведения, сопряженного с опасностью или иной перспективой получения неприятных последствий. Описанный выше рефлекс в экспериментальной биологии получил названия условного рефлекса активного избегания (УРАИ), поскольку животное должно совершить определенные действия, чтобы избежать наказания. В противоположность ему в моделях рефлексов пассивного избегания животное, наоборот, не выполняет рефлекса, который в определенных условиях должно выполнять в силу безусловного предпочтения.

В классическом экспериментальном варианте методика выработки условного рефлекса пассивного избегания (УРПИ) у крыс и мышей основана на подавлении врожденного рефлекса предпочтения темного пространства, имеющегося у грызунов. Экспериментальная установка (рис. 7.5) представляет собой камеру, состоящую из двух отсеков: большого – освещенного и малого – темного. Животное помещается в светлый отсек и вскоре (через 10-20 секунд), в силу указанного врожденного рефлекса, переходит в малый отсек, после чего дверка, соединяющая оба отсека, перекрывается и на пол темного отсека, состоящего из параллельных чередующихся электродов, подается электрический ток. Через 10 секунд дверку открывают, и животное может выскочить в светлый отсек с обычным полом. В результате описанной процедуры у животных вырабатывался условный рефлекс избегания темного пространства. При проверке воспроизводимости рефлекса животных помещают в светлый отсек в угол противоположный от входа в темный отсек и наблюдали в течение 3-х минут. Выработанным рефлекс считается, если в течение всего времени наблюдения животное не перешло в темную часть установки.

Рис. 7.5. Установка для выработки условного рефлекса пассивного избегания (УРПИ).

 

Торндайк предложил меру количественной оценки обучения животного инструментального навыка. Такой мерой по его предложению является степень поступательного сокращения времени, необходимого для решения поведенческой задачи или сокращения числа движений, которые делает животное при выполнении рефлекса, или при альтернативном варианте рефлекса, количество неправильных реакций в серии из определенного количества попыток. Он же предложил для наглядного описания процесса выработки рефлекса построение кривых научения, отражающих этот процесс. Критерием окончательной выработки рефлекса служит точка на этой кривой, после которой не происходит сокращения времени, количества движений, необходимых для достижения цели или количества ошибок. После этой точки кривая научения приближается к горизонтальной линии. Форма этой линии на графике, как правило, отличается от варианта идеального выполнения рефлекса. Это связано с тем, что любое поведение животного подвержено некоторым флюктуациям. Которые и вносят некоторые «неправильные отклонения в «идеальную» схему выполнения того или иного поведенческого навыка. Такие отклонения этологи называют «шумом». Шум является неотъемлемой частью любого поведения.

Критерием выработки рефлекса является достижение плато в нижней части кривой, т.е. такого состояния, когда время выполнения рефлекса уже не снижается, или количество неправильных реакций (ошибок) не уменьшается. Скорость выработки рефлекса характеризуется крутизной наклона кривой выработки рефлекса.

Торндайком же был сформулирован закон эффекта, который гласит:

«Для реакции, за которой следует вознаграждение или состояние удовлетворения, вероятность повторения возрастает. Таким образом, успех инструментального обучения связан с тем, что поведение может быть усилено его последствиями.

Он считал, что подкрепление повышает вероятность реакции потому, что усиливает установленную связь между ней и присутствующей стимульной ситуацией. Этот взгляд получил название «теория стимул-реакция».

Междутеорией замены стимула и теорией стимул реакция есть некоторые не столь очевидные различия. 1. По теории замены стимула мы должны ждать, что УР очень сходен с БР. 2. По теории стимул-реакция научение определяется подкрепляющими последствиями. Хотя по вопросу справедливости каждой из теорий существуют разногласия, современные психологи склонны отдавать предпочтение теории замены стимула по следующим причинам.

1. Уже сам Торндайк пришел к выводу, что закон эффекта неприменим к наказанию. Наказание является классической ситуацией обучения с отрицательным подкреплением. При рефлексах с отрицательным подкреплением роль положительного подкрепления играет факт ненаказания (избегания наказания в результате поведения). Наказание не ослабляет связи стимул реакция, хотя оно иногда временно подавляет наказуемое поведение. В системе, оперирующей механизмами условных рефлексов, поведение может быть заторможено только неподкреплением. При наказании в значительной мере происходит не формирование правильного поведения, целью чего и является наказание, а вырабатывается поведение избегания самого наказания, инструментом которого может быть в том числе и другое нежелательное поведение. То есть, наказание стимулирует выработку совершенно другого поведения. Например, преступники, попадая в тюрьму, вместо того, чтобы исправляться, начинают формировать поведение противодействия пенитенциарной системе – избегания наказания.

2. Теории стимул-реакция противоречит феномен сенсорного предобусловливания, присущий инструментальным условным рефлексам точно также как и классическим. Противоречие заключается в том, что подкрепляемая реакция следует не на тот стимул, на который она вырабатывалась изначально.

3. Сама условно-рефлекторная деятельность может выступать как подкрепление, если животное или человек обучаются. Получение результата при достижении цели и удовлетворительный баланс на акцепторе результата действия служит источником положительных эмоций в связи с тем, что это является проявлением безусловного рефлекса саморазвития.

4. Нельзя подкреплением изменить любое поведение. В некоторых случаях или стимулы вступают в конфликт с инстинктами, или поведение растормаживает комплексы фиксированных действия, присущих тем или иным инстинктам и поведения по схеме «стимул-реакция» не получается. Выученное поведение всегда смещается в сторону инстинктивного, когда сильные врожденные инстинкты сходны с условной реакцией.

Все законы, характеризующие условнорефлекторный процесс, описанные для классических рефлексов, характерны и для инструментальных рефлексов. Это свидетельствует в пользу того, что две эти формы условных рефлексов являются проявлением одного и того же механизма, реализуемого в разных паттернах поведения.