КРАТКОЕ ИЗЛОЖЕНИЕ. Мало иметь заранее подготовленный план эксперимента и хорошо регистрировать его ход

Мало иметь заранее подготовленный план эксперимента и хорошо регистрировать его ход. Не всякий план является удачным. Реальный эксперимент можно оценить по его близости к эксперименту безупречному. Конечно, на практике безупречность недостижима. Значение идеи безупречного эксперимента состоит в том, что она дает образец для оценки реальных экспериментов и точного определения их недостатков. В данной главе мы пользовались этим образцом при сравнении экспериментов, описанных в главе 1, с менее удачными планами проведения тех же экспериментов.

Одним из видов безупречного эксперимента является идеальный эксперимент, в котором одному и тому же испытуемому в одно и то же время предъявляются разные условия независимой переменной. Главное в нем — это обеспечение неизменности всех побочных факторов. Другим видом безупречного эксперимента является бесконечный, т. е. постоянно продолжающийся, эксперимент. Центральное значение имеет здесь достаточно большое количество данных. Третий вид безупречного эксперимента — эксперимент полного соответствия, все обстоятельства проведения которого суть те же самые обстоятельства, на которые будут распространяться его выводы. В нем важно то, что дополнительные факторы нужно сохранять не просто на неизменном, но и на адекватном уровне. При сравнении первоначально описанных экспериментов с их менее удачными вариантами было обнаружено, что во всех случаях оригинальные планы были ближе к одному из видов безупречного эксперимента.

В любом реальном эксперименте не все полученные данные можно считать достоверными. Однако нужно стремиться получить результаты (основу для будущих выводов), как можно более близкие к результатам безупречного эксперимента. Чем ближе реальный эксперимент к безупречному, безошибочному и по плану, и по процедурам, тем лучше он репрезентирует, или представляет его. Во всех случаях сравнения оригинальных экспериментов с их менее удачно спланированными вариантами оказалось, что именно оригинальные лучше представляют безупречный эксперимент. В зависимости от того, насколько реальные эксперименты репрезентируют безупречный, они бывают более или менее валидными. Различают два вида валидности. Первый называется внутренней валидностью. Речь идет о таком планировании эксперимента, при котором можно получить то же отношение между независимой и зависимой переменными, что и в идеальном или бесконечном экспериментах, т. е. об устранении побочных влияний. Если же эксперимент по своему проекту позволяет получить те же результаты, что и эксперимент полного соответствия, то он обладает внешней валидностью. Эксперимент, страдающий недостатком внутренней валидности, можно назвать неудачным, несостоятельным, а эксперимент, которому недостает внешней валидности, — неадекватным. Примером последнего служит эксперимент, при проведении которого уровень значимой дополнительной переменной не соответствует ее реальному уровню. Было установлено, наконец, что даже когда эксперимент удачно спланирован и успешно проведен, нет полной гарантии того, что полученные в нем результаты подобны результатам безупречного эксперимента. И наоборот, неудачно спланированный эксперимент может дать корректные результаты. Хотя, конечно, у хорошо спланированного эксперимента таких шансов больше.

Особое внимание в этой главе мы уделили внутренней валидности — главному требованию к любому эксперименту. Существует целый ряд факторов, затрудняющих достижение внутренней валидности. В эксперименте с одним испытуемым это прежде всего всевозможные изменения, происходящие с течением времени. Идеальный эксперимент неосуществим, нельзя одновременно предъявить одному и тому же испытуемому различные условия независимой переменной. На практике двух идентичных проб не существует, независимо от того, предъявляются они одному испытуемому или разным. Это связано, в частности, с теми побочными факторами, 4уровни которых могут изменяться. Некоторые из этих факторов можно зафиксировать и проконтролировать. Однако в большинстве случаев связанная с ними нестабильность результатов от пробы к пробе неизбежна. Как продолжительные, так и кратковременные колебания такого рода являются скорее правилом, чем исключением. Некоторые из них связаны с непостоянством побочных влияний, которые можно определить, но нельзя проконтролировать. Даже сама независимая переменная не всегда остается неизменной в различных пробах. Непостоянство же зависимой переменной может быть связано также с особенностями изучаемого поведения и с его измерениями в эксперименте. Все эти факторы мы объединили под названием «факторы времени».

Помимо них мы описали еще три источника нарушения внутренней валидности. Некоторые эксперименты, особенно связанные с научением, требуют применения различных задач для разных условий, и тогда «факторы задачи» становятся одним из таких источников. Далее, в любом эксперименте, где разные условия предъявляются одному и тому же испытуемому, существуют эффекты последовательности, т. е. влияния ранее предъявленного условия на предъявленное позже. И еще один источник нарушения внутренней валидности — это предубеждение экспериментатора о преимуществе одного из условий независимой переменной.

Все эти угрозы внутренней валидности в случае их неустранения приведут к одному из двух следствий. Первое — ненадежность эксперимента. Она возникает в том случае, если при большом разбросе данных проведено слишком мало проб. Здесь у нас нет полной уверенности в том, что при повторении эксперимента будут получены те же самые результаты. Второе—систематическое смешение, когда каждое из условий независимой переменной неразрывно связано со своим уровнем одной из других переменных, и это нарушает внутреннюю валидность.

В главе были обсуждены различные схемы эксперимента с одним испытуемым и то, насколько успешно позволяют они устранить указанные недостатки. Какая бы схема ни применялась, неотъемлемой частью эксперимента является первичный контроль за побочными факторами. Это — организация и протоколирование эксперимента, стабилизация известных побочных переменных, точность экспериментальных процедур и необходимое количество проб.

Схема случайной последовательности особенно удобна в тех экспериментах, где для каждого из условий можно применить большое количество проб. Валидность зависит от числа проб, необходимого для достижения высокой надежности эксперимента. Использование этой схемы исключает возможность всех эффектов последовательности, за исключением асимметричных влияний. Впрочем, последние сохраняются и при использовании других схем.

Если в эксперименте можно использовать не так много проб, то лучше предъявлять их не в случайном порядке, а применить схему регулярного чередования. Надежность эксперимента вновь будет зависеть от соответствия количества проб разбросу показателей. Экспериментатору следует обратить особое внимание на возможные влияния событий, происходящих через равные промежутки времени. Эти влияния могут давать определенное преимущество одному из исследуемых условий и, таким образом, приводить к систематическому смешению.

Схема позиционно уравненной последовательности применяется при относительно небольшом количестве проб (или блоков проб). Надежность зависит от адекватности выбора проб или их блоков изучаемому поведению. Здесь контроль за систематическими влияниями факторов, изменяющимися от пробы к пробе, связан с предположением о линейном характере этих изменений.

Схемы различаются также и по тому, насколько успешно они позволяют преодолеть различия задач. При использовании позиционно уравненной последовательности все задачи разделяют на пары, стараясь подобрать в каждую пару задачи примерно одинаковой трудности. Если это не удается полностью, то внутренняя валидность эксперимента пострадает из-за неизбежного для данной схемы систематического смешения независимой переменной с факторами задачи. Если используются случайная последовательность или регулярное чередование условий, т. е. число проб достаточно велико, то задачи (или пары задач) можно предъявлять в случайном порядке. Тогда систематического смешения с факторами задачи не происходит. Однако высокая степень изменчивости этих факторов снижает надежность эксперимента.

К систематическому смешению приводят также эффекты последовательности проб. При использовании схемы позиционного уравнивания внутренней валидности угрожает неоднородность влияний ранних и поздних экспериментальных проб. Труднее всего устранить такие случаи систематического смешения, когда влияния последовательности взаимно асимметричны, т. е. влияние условия А на условие Б отличается от влияния условия Б на условие А. И это может произойти в любом эксперименте, где различные условия независимой переменной предъявляются одному и тому же испытуемому.

ВОПРОСЫ

1. Как еще можно оценить эксперимент, кроме оценки качества организации его хода и протоколирования?

2. Покажите, как с помощью понятия идеального эксперимента можно определить, что один способ проведения эксперимента лучше другого.

3. Почему для опытов Иоко с томатным соком образцом безупречного эксперимента служит бесконечный, а не идеальный эксперимент?

4. Как внутренняя валидность связана с безупречным экспериментом?

5. Можно ли считать хорошим эксперимент, который не вполне репрезентирует эксперимент полного соответствия?

6. Опишите основные факторы, затрудняющие достижение внутренней валидности эксперимента.

7. Почему вопрос о различии задач касался прежде всего эксперимента Джека с заучиванием фортепьянных пьес, а не двух других экспериментов?

8. Покажите различие между ненадежностью и систематическим смешением.

9. Как вы определите, что в эксперименте лучше применить схему регулярного чередования, чем схему случайной последовательности?

10. Сравните возможность систематического смешения при использовании схемы позиционного уравнивания и двух других схем.

11. В чем различие между систематическим смешением, которое может меняться от эксперимента к эксперименту при исследовании какой-то проблемы, и систематическим смешением, которое может произойти во всех экспериментах, направленных на решение данной проблемы?