ВАЛИДНОСТЬ

 

Существует два типа валидности: внутренняя и внешняя. Внутренней валидностью обладает эксперимент, в котором можно получить то же отношение между НП и ЗП, что и в идеальном или бесконечном экспериментах, т. е. устранить побочные влияния. Если эксперимент по своему проекту позволяет получить те же результаты, что и эксперимент полного соответствия, то он обладает внешней валидностью.

Источники нарушения внутренней валидности: факторы времени, факторы задачи, эффекты последовательности, предубеждение экспериментатора. Существует два следствия нарушений внутренней валидности. Это ненадежность эксперимента, если при большом разбросе данных проведено мало проб, и систематическое смешение, когда каждое из условий НП связано с уровнем одной из других переменных, и это нарушает внутреннюю валидность.

ГЛАВА 3. Эксперименты, которые улучшают реальный мир.

 

Проведено три эксперимента, улучшающих реальный мир: посадка самолета на наклонную территорию, наблюдение с биноклем и без него при поисковых операциях на море и проверка качества работы с двумя высотомерами.

 

В искусственных экспериментах можно повысить внутреннюю валидность. Описаны три способа улучшения реального мира, позволяющие сделать это возможным. Первый из них — устранение систематического смешения. Второй — возможность получить необходимое количество данных за более короткий срок и тем самым повысить надежность эксперимента. И третий — сократить несистематическую изменчивость данных и их разброс.

 

Искусственные эксперименты ставятся в тех случаях, когда эксперименты с простым дублированием реального мира страдают недостатком внутренней валидности.

 

ГЛАВА 4. Эксперименты на предварительных выборках.

 

Мы обсудили три эксперимента. Первый посвящен способам информирования о ценах на продукты, второй — улучшению навыка пилотов по выполнению посадочных операций при выполнении специальной тренировки, и третий — изучению испанского языка.

 

Первое преимущество экспериментов данного типа по сравнению с индивидуальным экспериментом заключается в том, что его результаты, полученные на выборке испытуемых, распространяются на более обширную популяцию.

 

Второе преимущество связано с наличием большого числа испытуемых. Становится возможным исследование схемы эксперимента с межгрупповым сравнением. Схема группы индивидуальных экспериментов просто неосуществима. В межгрупповой схеме устраняются такие источники нарушения внутренней валидности эксперимента, как эффекты последовательности и факторы задачи.

 

Эксперимент с межгрупповым сравнением порождает еще один источник нарушения внутренней валидности — индивидуальные различия испытуемых. Описаны два вида таких различий: такие очевидные различия как пол, возраст, образование, и несистематические различия, которые включают изменчивость поведения каждого человека и различия в выполнении задания разными людьми.

 

Надежность эксперимента повышается за счет привлечения большого числа испытуемых и сокращения несистематических вариаций. Последнее обеспечивается тем, что условия работы каждого испытуемого в группе одинаковы, а также путем сокращения разброса данных каждого испытуемого.

 

Существуют три стратегии составления групп испытуемых: случайная стратегия, подбор пар и случайная с выделением слоев. Их иллюстрациями служат три схемы экспериментов с межгрупповым сравнением, в которых все имеющиеся в наличии испытуемые распределяются по группам для каждого из экспериментальных условий. Все три метода устраняют систематическое смешение НП с индивидуальными различиями испытуемых. Надежность повышается за счет повышения числа испытуемых. Выборка испытуемых должна быть репрезентативна.

 

Случайная стратегия применяется не только для распределения по группам, но и для отбора испытуемых. Такой способ называется схемой случайно отобранных групп.

 

Если способ отбора испытуемых обеспечивает высокую внешнюю валидность (в отношении индивидуальных различий), то тем самым обеспечивается достаточное подобие групп, т. е. повышается внутренняя валидность. Группы, хорошо уравненные между собой по индивидуальным характеристикам, могут не быть достаточно представительными для исследуемой популяции. Т. е. высокая внутренняя валидность эксперимента не гарантирует его высокой внешней валидности. При использовании схемы индивидуального эксперимента связь между внешней и внутренней валидностью отсутствуют, поскольку та и другая зависят от разных факторов.

 

Вместе со случайным отбором можно использовать выделение слоев. Это дает пятую эффективную схему эксперимента с межгрупповым сравнением – послойный случайный отбор. Сначала популяцию разделяют на слои, а затем внутри каждого слоя применяют случайный отбор.

 

ГЛАВА 5. Выделение НП.

 

Эталоном для оценки внутренней валидности эксперимента, в котором выделяется истинная НП, является чистый эксперимент. Это идеальный эксперимент. В котором испытуемому одновременно предъявляются два разных условия НП. НП должна быть единичной. Другие переменные должны сохраняться строго постоянными.

 

Внутренняя валидность нарушается из-за новых типов систематического смешения. Они возникают оттого, что активное условие НП сопровождается активным уровнем ПП. В итоге НП смешивается с ПП.

 

Схемой контроля такого сопутствующего смешения была схема, в которой неактивный уровень НП включал в себя активный уровень СП. Это называется контрольным условием. Активный уровень НП в этом случае называется экспериментальным условием, а соответствующая группа — экспериментальной группой.

 

Первый тип сопутствующего смешения — смешение с артефактной переменной. Он рассматривался на примерах по психофизиологии: в эксперимент вводилась прооперированная контрольная группа для сравнения с прооперированной экспериментальной группой.

 

Для иллюстрации других типов сопутствующего смешения использовался эксперимент, проверяющий гипотезу о плаче детей из-за ухода человека. К этим типам относятся: смешение с расширенной переменной (когда вообще кто-нибудь уходит), смешение с вторичной переменной (ребенок находится с кем-то или совсем один), смешение с другой вторичной переменной (с кем ребенок остается).

 

Связь уровней НП и ПП заложена в «природе вещей», а не вызывается исключительно действиями экспериментатора.

 

Способ контроля: создание контрольного условия, которое включает в себя активный уровень сопутствующей переменной.

 

Операциональная валидность означает, что конкретные экспериментальные операции репрезентируют НП и ЗП в недостижимом эксперименте полного соответствия. Для иллюстрации проводилось исследование влияния социальной атмосферы на поведение людей.

 

В межгрупповых схемах применяются две различные стратегии: предварительные решения и распределение испытуемых по группам. Если число испытуемых в группе невелико, то они распределяются по группам в последовательности регулярного чередования. При большом числе испытуемых лучше случайная последовательность распределения, так как она устраняет возможность нежелательных систематических влияний.

ГЛАВА 6. Значимые результаты.

 

Нуль-гипотеза состоит в том, что условия не различаются. Она отвергается, если вероятность получения различия, при котором нуль-гипотеза верна, меньше 0,05.

 

Величина различия между условиями, необходимая для отвержения нуль-гипотезы, определяется двумя факторами. Первое — это надежность. Чем больше надежность, тем меньше различие, допускающее отвержение. Второй фактор — вероятность того, что экспериментатор рискнет ошибочно отвергнуть нуль-гипотезу, когда она верна. Он называется альфа-уровнем правила его решения. Ошибка, которая будет увеличиваться с возрастанием этого риска, называется ошибкой I типа.

 

Однако при уменьшении альфа-уровня увеличивается риск противоположной ошибки. Это риск не отвергнуть нуль-гипотезу, когда верна некоторая другая гипотеза. Это называется ошибкой II типа.

 

Остаются три проблемы. Первая состоит в том, что только одного значимого различия недостаточно, если ожидается сильное влияние НП. Вторая проблема заключается в том, что использование слишком большого числа испытуемых обнаруживает действие определенных дополнительных факторов. Третья проблема касается универсальности результатов.

 

ГЛАВА 7. Многоуровневые эксперименты.

 

Преимущества многоуровневого эксперимента: он обеспечивает большую внутреннюю валидность. В этом эксперименте используется неограниченное число уровней. Чем больше уровней НП мы используем, тем больше становится внутренняя валидность и лучше сказывается контроль над сопутствующим смешением. Ступенчатое изменение НП, приводящее к ступенчатому изменению ЗП, делает маловероятным такое смешение. Для межгрупповой схемы существует практическая трудность: она состоит в необходимости привлекать слишком большое количество испытуемых. Это можно преодолеть путем использования кросс-индивидуального реверсивного уравнивания. Но эта схема не обеспечивает контроль эффектов неоднородного переноса от предыдущей пробы к следующей. Такой контроль обеспечивает схема полного позиционного уравнивания, но она требует слишком большого числа различных последовательностей. Типичным методом внутрииндивидуального уравнивания является латинский квадрат. В этой схеме каждый уровень НП появляется однажды в каждой позиции последовательности. Не обеспечен контроль эффектов ряда.

 

Две угрозы внутренней валидности: обобщенные данные могут не соответствовать ни одному испытуемому в отдельности, и приборы и шкалы могут искажать измерения.

 

ГЛАВА 8. Факторные эксперименты.

 

Факторный эксперимент – это эксперимент с использованием по крайней мере двух НП. В итоге факторного эксперимента определяется основной результат действия каждой из НП и взаимодействия между ними. На примере эксперимента с рассеченным сводом раскрыто конкретное содержание основных результатов и взаимодействия и показаны способы их измерения. Основной результат действия НП – разность между средними общими значениями ЗП по каждому из уровней. Взаимодействие – разность между двумя разностями по каждому из уровней второй НП. Одна из НП помещается на горизонтальной оси, и затем по соответствующим значениям ЗП строятся соответствующие графики для каждого из уровней другой НП. Если отрезки, полученные таким образом для второй НП, параллельны, взаимодействие отсутствует. Если отрезки расходятся вправо или влево, взаимодействие называют расходящимся, а если они пересекают друг друга, то это пересекающееся взаимодействие.

 

При использовании схем позиционного уравнивания эксперимент автоматически становится факторным. Главное преимущество факторных экспериментов – возможность проверять настоящие комбинированные гипотезы.