НЕПРИЯТНЫЕ ПРОБЛЕМЫ, КОТОРЫЕ ОСТАЮТСЯ

 

Экспериментатор может благополучно пройти в своих заключениях через минное поле рисков относительно нуль-гипотезы и все же не внести никакого вклада в научное знание. В данном разделе рассматриваются три «трудные проблемы», которые угрожают внутренней валидности заключений, сделанных на основе правил решения, несмотря на то что данные надежны и проверка значимости осуществлена весьма разумно.

 

Бросающиеся и не бросающиеся в глаза результаты

 

Один исследователь предложил в шутку использовать для определения значимости результатов своего рода «интерокулярный травмирующий тест». Согласно этому «тесту» понять, что означают полученные результаты, можно, только если вывод «бьет вас прямо в переносицу» (Дж. Берксон, цит. по: Эдвардс, Линдман и Сэвеж, 1963). Конечно, он имел в виду эксперимент, в котором ожидается сильный эффект, большое различие между условиями.

 

В отношении действия независимой переменной обычно имеется одно из двух ожиданий. Первое — что исследуемое поведение сильно зависит от переменной и что присутствие или отсутствие последней повлечет за собой большие различия. Так, мы могли бы ожидать, что человек с закрытыми глазами будет хорошо локализовать звук только в том случае, если звуки, достигающие обоих ушей, будут физически различаться. Если же его оценки будут успешны и без подобного различия, значит, независимая переменная не настолько важна, как предполагалось. Экспериментальная гипотеза, таким образом, не подтвердилась бы, даже если бы нулевая гипотеза была отвергнута.

 

Второе, иногда все, что имеет смысл ожидать от разных условий, — это небольшое, но стойкое различие. Рассмотрим эксперимент на перцептивную защиту, которая, как предполагают, обнаруживается в том, что нецензурные слова, предъявленные на короткое время, плохо опознаются. Различие в количестве опознанных нецензурных и нейтральных слов (какова бы ни была причина его) не будет предполагаться большим: ожидаемое влияние 6удет почти забито другими факторами. Например, некоторые нейтральные слова могут быть неточно восприняты или воспроизведены из-за смешения с другими словами. Некоторые из «нейтральных» слов также могут относиться к неприятным ситуациям в прошлом данного человека. Наконец, колебания внимания во время эксперимента могут влиять на опознание слов возможно даже больше, чем вариации в «пристойности». При таком ожидании незначительная, но постоянная тенденция к худшему опознанию неприличных слов была бы уже достаточной для демонстрации действия независимой переменной.

 

Эксперимент Флинера и Кернса был как раз таким, в котором можно было ожидать не бросающийся в глаза результат. Хотя ребенок, естественно, привязан к матери и поэтому очевидно, что с уходом матери он будет плакать сильнее, этот эффект вполне может затушеваться другими факторами. Возможно, например, что некоторые матери из-за занятости на работе проводят со своими детьми сравнительно мало времени, и поэтому привязанность детей к ним не столь велика. Другие матери ведут себя так, что приходят и уходят на глазах у ребенка по многу раз в день, приучая его к своему отсутствию. Ассистенты по внешнему виду и манере поведения могут оказаться похожими на мать в большей или меньшей степени. Далее Флинер и Кернс (1970, с. 218) обнаружили, что некоторые дети вообще плачут почти все время в течение эксперимента: «Пожалуй, наиболее очевидной чертой плача было его постоянство: если ребенок начинал сильно плакать, он скорее всего продолжал это делать и дальше». Все эти факторы могли затруднить выявление различия между уходом матери и уходом ассистентки. Таким образом, данный эксперимент относится к тем, в которых нельзя ожидать отчетливого результата. Действие переменной — уход определенною лица — может быть выявлено лишь через статистическое различие в интенсивности плача. И здесь нельзя требовать такого различия, которое «бьет в глаза».

 

Количество не помогает

 

По мере значительного увеличения числа испытуемых с целью увеличения силы проверки на значимость происходит любопытная вещь. Оказывается, что любые два условия начинают давать статистически значимые различия (Бакан, 1967). Если значимость не будет обнаружена для 20 испытуемых, она появится для 200, или 2 000, или 2 000 000. В этом нет никакой мистики. Любые два сравниваемых условия включают много факторов, помимо тех, которые они должны представлять. Мы уже говорили, что человек не в силах контролировать все привходящие обстоятельства. Возможно, что буквы распознаются лучше, чем числа, только потому, что в каждой тысяче находится несколько испытуемых, которые реагируют отрицательно на числа в силу неудачного опыта в школьной математике. Возможно, что слова, произносимые каждые 8 секунд, воспринимаются хуже, чем произносимые в другом темпе, поскольку они немного чаще совпадают с обычными глотательными движениями, уменьшающими способность слышать.

 

Такие дополнительные факторы обнаруживают всегда свое присутствие при анализе больших массивов данных. Наш основной урок состоит в том, чтобы не позволять себе слишком зависеть от тестов на значимость в заключениях об исследуемых факторах. Ведь это только одно из средств. С особенной осторожностью следует подходить к случаям, которые требуют для выявления действия независимой переменной слишком большого количества данных. Гораздо большее впечатление производят статистически значимые различия, полученные на относительно небольшом числе испытуемых или проб.

 

Справедлив ли вывод для всех испытуемых?

 

Флинер и Кернс вполне могли бы получить статистически значимые результаты для детей старшей группы, если бы только девять из пятнадцати детей плакали сильнее при уходе матери. Но что в таком случае сказали бы об остальных шести?

 

Проводя эксперимент, мы рассчитываем, что исследуемый психологический фактор действует эффективно на каждого испытуемого. Читая статьи в журналах, вы обнаружите, что это положение принимается почти всеми. Негласное допущение состоит в том, что если независимая переменная эффективна, она влияет на всех индивидов, подпадающих под данную гипотезу. Если последняя в самом деле верна для некоторых, она верна для всех. Поэтому отсутствие в шести случаях более сильного плача при уходе матери приписывается действию дополнительных факторов, о которых упоминалось выше: прошлому опыту в общении с матерью, предшествующему плачу в эксперименте и т. д.

 

Однако это не всегда так. Рассмотрим другой эксперимент. Предположим, обнаружено, что испытуемые лучше узнают слова, если они проговаривают их вслух при первом предъявлении. По крайней мере, 13 из 20 испытуемых показали именно этот результат. Тогда причиной, по которой тот же результат не наблюдался у других семи испытуемых, могут быть случайные вариации, связанные, например, с ассоциациями, которые вызывали некоторые из использовавшихся слов. Однако могло оказаться, что одни испытуемые помогали себе немедленным проговариванием, а другие — нет. Проводя индивидуальные эксперименты, можно было бы выявить реальные причины индивидуальных различий каждого испытуемого. Еще лучше, если нам удастся найти некоторые признаки, разделяющие лиц, которым проговаривание помогает и которым — нет. Вполне возможно, например, что проговаривание не помогает лицам с очень хорошей визуализацией. Но мы забегаем вперед, поднимая вопрос, который будет рассматриваться в главе 8, где мы будем свидетелями рождения еще одного или даже двух новых способов контроля.