Некоторые методологические уроки для исследователей-практиков и их клиентовКвалификация дипломированных социальных психологов проявляется не только в том, как они проводят свои собственные исследования, но и в том, как они реагируют на комментарии относительно социальных проблем и способов их решения, предлагаемые средствами массовой коммуникации. Что особенно примечательно, социально-психологическое образование прививает глубочайший скептицизм в отношении заявлений, которые делаются исключительно на основании теоретического анализа или «клинического опыта» и не опираются при этом на надежные исследовательские данные. До некоторой степени этот скептицизм проистекает из знания о тех последствиях, которые влекут за собой подобные заявления. Мы уже видели ранее, насколько часто предсказания «экспертов» о социальных тенденциях и их последствиях бьют мимо цели. Мы видели также, насколько часто программы социальных воздействий, казавшиеся разумными с точки зрения как теории, так и здравого смысла, оказывались в конце концов неэффективными или же имели обратный эффект. Наш скептицизм может быть также связан с теми общими теоретическими принципами, о которых мы писали выше, касающимися тонкого и скрытого характера ситуационных влияний, превратностей субъективной интерпретации и сложной динамики когнитивных и социальных систем. О какой бы проблеме не шла речь — будь то долговременные социальные последствия эпидемии СПИДа, издержки и преимущества легализации кокаина, наилучшее решение проблемы бездомных, сравнительные преимущества различных вариантов ухода за детьми или даже преимущества высшего образования, даваемого в Стэнфорде, по сравнению с образованием, даваемым в Мичигане, присущие нашей дисциплине указанные фундаментальные принципы обязывают нас признать, что при отсутствии прямых эмпирических доказательств любые предлагаемые ответы имеют ограниченную ценность. Одновременно с этим исследования обыденных умозаключений (Dawes, 1988b; Kahnemann, Slovic & Tversky, 1981; Kunda, 1990; Nisbett & Ross, 1980) предостерегают нас против разнообразных когнитивных, мотивационных и даже перцептивных (330:) тенденциозностей, заставляющих людей ощущать огромную, но ничем не подкрепленную уверенность в своих убеждениях и предсказаниях, — тенденциозностей, создающих как у экспертов, так и у обычных людей иллюзию того, что им вполне понятен смысл происшедших событий (Fischhoff & Beyth, 1975; Fischhoff, Slovic & Lichtenstein, 1977) и они в состоянии предсказать будущее (Dunning et al., 1990; Vallone et al., 1990). Мы многое узнали о методологических ловушках и артефактах, способных сбить нас с толку во время проведения прикладных исследований, но еще больше нам стало известно о недостатках суждений и решений, принимаемых вообще без исследований — на основании одной лишь интуиции или идеологических соображений. Когда речь заходит о вопросах социальной политики, уроки нашей науки побуждают нас отстаивать ценность и экономическую оправданность вдумчиво разработанных и тщательно выполненных эмпирических исследований. Мы имели возможность убедиться в том, что лабораторные и «полевые» исследования действительно могут представлять ценность при обращении к темам, составляющим ядро нашей правовой системы (Ellsworth, 1985; Hastie, Penrod & Pennington, 1983), равно как и при проверке эффективности образовательных программ, разработанных с целью улучшения здоровья и повышения безопасности населения (Evans, 1982; Meyer, Maccoby & Farquahar, 1980; Robertson et al., 1984). В результате мы выступаем поборниками формальных экспериментальных проектов в тех случаях, когда их реально можно применить, и сторонниками необходимых методологических, статистических и интерпретационных предосторожностей в случаях (которых гораздо больше), когда применение строгих экспериментов не представляется возможным (Campbell, 1969; Campbell & Stanley, 1963, 1966; Cook & Campbell, 1979; Cronbach, 1982). О пользе «чистых экспериментов» Некоторые наиболее важные и драматические иллюстрации ценности формального (выполненного по всем правилам) экспериментирования и тех угроз, которые таят в себе «клинические» методы исследования, получены в медицине. Классическим примером служит история исследования эффективности «портокавального шунтирования». Прибегнув к нечасто применяемому методу метаанализа, Грейс, Мюнх и Шальмер (Grace, Muench & Chalmers, 1966) сопоставили выводы, к которым пришли исследователи, (331:) использовавшие различные методологические схемы для оценки эффективности популярного некогда метода хирургического лечения цирроза печени. Метод заключался в соединении воротной вены пациента непосредственно с его полой веной* (* Воротная вена — один из наиболее крупных сосудов человеческого организма, доставляющий венозную (насыщенную продуктами обмена и лишенную кислорода) кровь от органов брюшной полости непосредственно к печени Полая вена — самая крупная вена человеческого организма, доставляющая кровь к правому предсердию. Портокавальное шунтирование состоит, таким образом, в создании искусственного канала (шунта) от воротной вены к полой вене в обход печени. (Примеч. пер.)). Результаты произведенного сопоставления приводятся в таблице. Таблица Анализ исследований
Примечание. Выводы 51 исследования эффективности портокавального шунтирования зависели от схем организации исследований. Корректно проведенные сопоставления показывают, что операция имеет незначительный эффект либо она вообще неэффективна. Некорректно спланированные исследования преувеличивают эффективность хирургического вмешательства. (В таблице обобщены данные, приводимые в следующих работах: Grace, Muench & Chalmers, 1966, p. 685; Freedman, Pisoni & Purves, 1978, p. 8.) Мы видим, что в 32 случаях, составляющих большую часть общего числа опубликованных отчетов (51), исследователи полагались на стандартные для клинической практики процедуры оценки. Иными словами, в своих заключениях исследователи исходили из количества случаев улучшения или случаев отсутствия улучшения, (332:) имевших место у совокупности пациентов, которым была сделана операция (хотя, предположительно, исследователи каким-то образом учитывали информацию и о тех больных, которым операция сделана не была). Как явствует из таблицы, практически все исследователи пришли к положительному заключению об эффективности портокавального шунтирования. Во второй по численности группе исследований (15 исследований во второй строке таблицы) ученые прямо сравнивали состояние пациентов, перенесших операцию, с состоянием пациентов, которые операции не подвергались, хотя больные циррозом печени не были распределены по этим двум группам случайным образом. Подобный метод сравнения вновь привел большинство исследователей к положительным выводам. Только четыре исследования были основаны на методе случайного распределения испытуемых по разным экспериментальным условиям, использование которого необходимо, чтобы подобный эксперимент мог быть признан «чистым». Именно они позволили медикам прийти к правильному заключению. Оно сводилось к тому, что портокавальное шунтирование не приносило пациентам вообще никакой пользы и, следовательно, на получение положительных результатов при использовании менее корректных методов сравнения оказали влияние либо «эффекты плацебо» (которые мы еще будем обсуждать ниже), либо тенденциозности, возникающие из-за неслучайного отбора пациентов в группу, которая подвергалась хирургическому вмешательству. Некоторые из возможных тенденциозностей становятся вполне очевидными, стоит лишь обратить на них внимание. Если какой-либо новой лечебной процедуре должна подвергнуться лишь часть пациентов, то вероятность того, что отобранные для нее люди окажутся «хорошими кандидатами», будет весьма высока. То есть эти пациенты не будут страдать другими заболеваниями, способными осложнить лечение или повлиять на оценку его результатов; им будут свойственны позитивные аттитюды и они с большей вероятностью будут следовать предписаниям врачей. Возможно даже, что этими пациентами окажутся люди, чьи семьи будут оказывать им всестороннюю поддержку, желая, чтобы их родственники получили новейшее и наилучшее на данный момент лечение. И когда окажется, что все эти «хорошие кандидаты» продемонстрировали лучшее послеоперационное состояние по сравнению с больными, получающими стандартное лечение (либо не получающими вовсе никакого), различия между ними могут иметь лишь очень (333:) небольшое отношение (а может быть, и вообще никакого) к терапевтическим преимуществам нового метода лечения. Вместо этого упомянутые различия станут попросту отражать преимущества «хороших кандидатов» в плане изначального состояния их здоровья, степени их готовности следовать врачебным предписаниям или наличия поддержки со стороны родственников. Влияние тенденциозностей, похожих на вышеупомянутые, ощущается в социальных экспериментах, когда, например, уровень рецидивизма среди «подходящих» или «заслуживающих этого» заключенных, которые были включены в специальную программу социальной реабилитации, сравнивается с уровнем рецидивизма среди тех, с кем обращались стандартным образом. Хотя у исследований конкретных случаев (case studies) и плохо организованных сравнений есть свои недостатки, они по крайней мере оберегают нас от опасности иллюзорного представления о том, что можно обойтись вообще без исследовательских данных. Трагическая история социальной программы, не имеющей под собой ничего, кроме здравого смысла и добрых намерений, хорошо прослеживается на примере строительства многочисленных «башен посреди парка», которые были очень популярны в 50-е и 60-е годы как способ «расчистки трущоб». Положенная в их основу логика казалась очевидной. Берем городской квартал, застроенный осыпающимися трех- и четырехэтажными многоквартирными домами, и переселяем живущих в них людей в одну двадцатиэтажную башню, которую строим в центре квартала, превратив освободившееся место в детские площадки и парки. После этого садимся отдыхать, пожиная социальные плоды, которые обязательно должно принести подобное «усовершенствование» среды обитания. Однако планировщики в своем благонамеренном, но неискушенном ситуационизме не смогли учесть тонко сбалансированной экологии старомодных кварталов многоквартирных домов. Объективные физические условия существования в таких домах могли быть ужасающими, но при этом каждый из живущих в них людей был знаком со всеми остальными, поддерживая отношения с ними в ходе ежедневного общения. Для жителей этих домов имело значение доброе мнение соседей, социальные же нормы распространялись и насаждались в них так, как это происходит в любом нормально функционирующем сообществе людей. Более того, каждый очень хорошо знал, что происходит и перед домом, и в его закоулках, а матери могли, выглянув в окно, видеть, что их дети спокойно играют на тротуаре либо сидят на крыльце. (334:) Будучи помещенной в стерильную башню, вся эта напряженная система оказалась разрушенной. Уровень неформальных социальных влияний и групповой сплоченности резко снизился, поскольку люди имели теперь минимум возможностей развивать личные отношения и наблюдать за повседневным поведением друг друга. Неугодных пришельцев и преступников уже нельзя было вынудить убраться из дома, потому что их было уже трудно отличить от других членов сообщества, а также потому, что социально изолированные жители не склонны были чувствовать себя ответственными за решение коллективных проблем. Молодежь была вынуждена сидеть заточенной в своих квартирах либо безнадзорно слоняться по зданию или укромным уголкам парка. Вскоре аномия, страх и отчаяние, не говоря уже о вандализме, довершали социальную и физическую деградацию и так уже нищего сообщества, представлявшего собой до этого, несмотря ни на что, жизнеспособную социальную систему. По прошествии 20 лет после этого смелого, но злополучного вмешательства в жизнь бедняков правительство приступило к сносу разрушенных башен. Финансовые издержки этого безумия исчисляются сотнями миллиардов долларов. С точки же зрения человеческого страдания, издержки подсчету не поддаются. Думается, что уплаты этой страшной дани можно было бы избежать, выстроив полдюжины подобных башен в разных городах и оценив затем, насколько успешным оказался эксперимент, т.е. пронаблюдав за благополучием их жителей и обитателей ближайшей округи на протяжении по крайней мере двух лет, прежде чем принимать решение об осуществлении какого-либо крупномасштабного проекта по искоренению трущоб. Мы никоим образом не утверждаем, что использование мелкомасштабных оценочных исследований всегда будет приносить ясные ответы, помогающие выстраивать последующую социальную политику. Напротив, многие из наиболее известных социальных экспериментов и оценочных исследований, проведенных в последние десятилетия, стали причиной горячих дебатов о том, как правильно интерпретировать полученные в них результаты. Однако мы полагаем, что в каждом из подобных случаев соответствующие научные результаты служили важной цели умерения риторического пыла и заострения внимания на вопросах, подлежащих дальнейшему обсуждению и изучению. Извлеченные же из этих исследований уроки стоят гораздо больше, чем было на них затрачено (Kiesler, 1980). (335:) Обратимся для примера к многообещающим экспериментам с негативным подоходным налогом, или «гарантированным уровнем дохода», проводившимся в период с 1968 по 1978 г. (Moffitt, 1981). Мы обнаружили, что, как этого и можно было ожидать, участники экспериментальных групп, которым доплачивали, если их доход падал ниже оговоренного «порогового» уровня, работали в среднем меньше часов в неделю по сравнению с членами контрольных групп (отчасти потому, что чаще и более длительное время были безработными). Эта разница обусловливается главным образом резким сокращением количества часов, проработанных не главами семей. Например, в наиболее обширных и лучше всего исследованных выборках Сиэтла и Денвера среди замужних женщин наблюдалось уменьшение данного показателя на 20% (среди молодых неженатых мужчин оно было еще более значительным) в сравнении с тем, что среди женатых мужчин уменьшение составило лишь 9% (Robins & West, 1980). Мы видим также, что вопреки надеждам и прогнозам многих сторонников упомянутой программы, уровень разводов среди семей, получавших гарантированный доход, оказался не менее, а более высоким (по данным о Денвере и Сиэттле, на 35-40%) (Hannan, Tuma & Groeneveld, 1977). Подобные результаты ставят перед нами ряд трудных вопросов. Желательно или нежелательно, чтобы замужние женщины, особенно имеющие на своем иждивении детей, работали в неделю меньшее количество часов (точнее, желательно ли, чтобы большее число этих женщин не работало вообще)? Действительно ли гарантированный доход обострял семейные проблемы скорее, чем сглаживал их, или же его наличие попросту делало развод не ладящих друг с другом супругов экономически приемлемым шагом? Однако несмотря на свою трудноразрешимость, подобные вопросы свидетельствуют о весьма ценной тенденции к сужению круга обсуждаемых параметров. Критики программы уже не могут продолжать утверждать, что «никто» или «вряд ли кто-то» будет работать при наличии гарантированного дохода. Сторонники программы также не могут продолжать утверждать, что сократившееся число разводов послужит оправданием произведенных на нее затрат. Исследователи же и организаторы программы приобретают более отчетливое понимание того, что они хотели бы измерить или изменить в ходе последующих социальных экспериментов. По той же самой причине проводившиеся в начале 60-х годов исследования практики «освобождения под залог» (Ares, Rankin & (336:) Sturz, 1963; Riecken & Boruch, 1974; Wholey, 1979) оставили вопрос о том, стоит ли освобождать ответчиков по уголовным делам до суда, не требуя внесения залога, открытым для обсуждения. Тем не менее исследователям удалось установить, что подобная политика не ведет к появлению недопустимо большого числа ответчиков, не являющихся на судебное разбирательство. Среди ответчиков, воспользовавшихся возможностью не вносить залог, уровень неявки составил менее 2%, что ниже среднего уровня для ответчиков вообще. Аналогичным образом, о чем мы еще будем говорить ниже, несколько тщательно подготовленных исследований по изучению программ раннего обучения детей (программ «Хедстарт», разработанных в 60-е годы) не смогли положить конец спорам об их «рентабельности». Тем не менее двадцать лет спустя эти исследования послужили сдерживанию потока нереалистических обещаний либеральных сторонников этих программ и необоснованных опровержений, исходивших от их консервативных критиков.
|
