Некоторые методологические уроки для исследователей-практиков и их клиентов

Квалификация дипломированных социальных психологов проявляется не только в том, как они проводят свои собственные исследования, но и в том, как они реагируют на комментарии относительно социальных проблем и способов их решения, предлагаемые средствами массовой коммуникации. Что особенно примечательно, социально-психологическое образование прививает глубочайший скептицизм в отношении заявлений, которые делаются исключительно на основании теоретического анализа или «клинического опыта» и не опираются при этом на надежные исследовательские данные. До некоторой степени этот скептицизм проистекает из знания о тех последствиях, которые влекут за собой подобные заявления.

Мы уже видели ранее, насколько часто предсказания «экспертов» о социальных тенденциях и их последствиях бьют мимо цели. Мы видели также, насколько часто программы социальных воздействий, казавшиеся разумными с точки зрения как теории, так и здравого смысла, оказывались в конце концов неэффективными или же имели обратный эффект. Наш скептицизм может быть также связан с теми общими теоретическими принципами, о которых мы писали выше, касающимися тонкого и скрытого характера ситуационных влияний, превратностей субъективной интерпретации и сложной динамики когнитивных и социальных систем. О какой бы проблеме не шла речь — будь то долговременные социальные последствия эпидемии СПИДа, издержки и преимущества легализации кокаина, наилучшее решение проблемы бездомных, сравнительные преимущества различных вариантов ухода за детьми или даже преимущества высшего образования, даваемого в Стэнфорде, по сравнению с образованием, даваемым в Мичигане, присущие нашей дисциплине указанные фундаментальные принципы обязывают нас признать, что при отсутствии прямых эмпирических доказательств любые предлагаемые ответы имеют ограниченную ценность.

Одновременно с этим исследования обыденных умозаключений (Dawes, 1988b; Kahnemann, Slovic & Tversky, 1981; Kunda, 1990; Nisbett & Ross, 1980) предостерегают нас против разнообразных когнитивных, мотивационных и даже перцептивных тенденциозностей, заставляющих людей ощущать огромную, но ничем не подкрепленную уверенность в своих убеждениях и предсказаниях, — тенденциозностей, создающих как у экспертов, так и у обычных людей иллюзию того, что им вполне понятен смысл происшедших событий (Fischhoff & Beyth, 1975; Fischhoff, Slovic & Lichtenstein, 1977) и они в состоянии предсказать будущее (Dunning et al., 1990; Vallone et al., 1990). Мы многое узнали о методологических ловушках и артефактах, способных сбить нас с толку во время проведения прикладных исследований, но еще больше нам стало известно о недостатках суждений и решений, принимаемых вообще без исследований — на основании одной лишь интуиции или идеологических соображений.

Когда речь заходит о вопросах социальной политики, уроки нашей науки побуждают нас отстаивать ценность и экономическую оправданность вдумчиво разработанных и тщательно выполненных эмпирических исследований. Мы имели возможность убедиться в том, что лабораторные и «полевые» исследования действительно могут представлять ценность при обращении к темам, составляющим ядро нашей правовой системы (Ellsworth, 1985; Hastie, Penrod & Pennington, 1983), равно как и при проверке эффективности образовательных программ, разработанных с целью улучшения здоровья и повышения безопасности населения (Evans, 1982; Meyer, Maccoby & Farquahar, 1980; Robertson et al., 1984). В результате мы выступаем поборниками формальных экспериментальных проектов в тех случаях, когда их реально можно применить, и сторонниками необходимых методологических, статистических и интерпретационных предосторожностей в случаях (которых гораздо больше), когда применение строгих экспериментов не представляется возможным (Campbell, 1969; Campbell & Stanley, 1963, 1966; Cook & Campbell, 1979; Cronbach, 1982).

Некоторые наиболее важные и драматические иллюстрации ценности формального (выполненного по всем правилам) экспериментирования и тех угроз, которые таят в себе «клинические» методы исследования, получены в медицине. Классическим примером служит история исследования эффективности «портокавального шунтирования». Прибегнув к нечасто применяемому методу метаанализа, Грейс, Мюнх и Шальмер (Grace, Muench & Chalmers, 1966) сопоставили выводы, к которым пришли исследователи, использовавшие различные методологические схемы для оценки эффективности популярного некогда метода хирургического лечения цирроза печени. Метод заключался в соединении воротной вены пациента непосредственно с его полой веной. Результаты произведенного сопоставления приводятся в таблице.

Таблица

Анализ исследований

Экспериментальная схема

Примечание. Выводы 51 исследования эффективности портокавального шунтирования зависели от схем организации исследований. Корректно проведенные сопоставления показывают, что операция имеет незначительный эффект либо она вообще неэффективна. Некорректно спланированные исследования преувеличивают эффективность хирургического вмешательства. (В таблице обобщены данные, приводимые в следующих работах: Grace, Muench & Chalmers, 1966, p. 685; Freedman, Pisoni & Purves, 1978, p. 8.)

Мы видим, что в 32 случаях, составляющих большую часть общего числа опубликованных отчетов (51), исследователи полагались на стандартные для клинической практики процедуры оценки.

Иными словами, в своих заключениях исследователи исходили из количества случаев улучшения или случаев отсутствия улучшения, имевших место у совокупности пациентов, которым была сделана операция (хотя, предположительно, исследователи каким-то образом учитывали информацию и о тех больных, которым операция сделана не была). Как явствует из таблицы, практически все исследователи пришли к положительному заключению об эффективности портокавального шунтирования.

Во второй по численности группе исследований (15 исследований во второй строке таблицы) ученые прямо сравнивали состояние пациентов, перенесших операцию, с состоянием пациентов, которые операции не подвергались, хотя больные циррозом печени не были распределены по этим двум группам случайным образом. Подобный метод сравнения вновь привел большинство исследователей к положительным выводам. Только четыре исследования были основаны на методе случайного распределения испытуемых по разным экспериментальным условиям, использование которого необходимо, чтобы подобный эксперимент мог быть признан «чистым». Именно они позволили медикам прийти к правильному заключению. Оно сводилось к тому, что портокавальное шунтирование не приносило пациентам вообще никакой пользы и, следовательно, на получение положительных результатов при использовании менее корректных методов сравнения оказали влияние либо «эффекты плацебо» (которые мы еще будем обсуждать ниже), либо тенденциозности, возникающие из-за неслучайного отбора пациентов в группу, которая подвергалась хирургическому вмешательству.

Некоторые из возможных тенденциозностей становятся вполне очевидными, стоит лишь обратить на них внимание. Если какой-либо новой лечебной процедуре должна подвергнуться лишь часть пациентов, то вероятность того, что отобранные для нее люди окажутся «хорошими кандидатами», будет весьма высока. То есть эти пациенты не будут страдать другими заболеваниями, способными осложнить лечение или повлиять на оценку его результатов; им будут свойственны позитивные аттитюды и они с большей вероятностью будут следовать предписаниям врачей. Возможно даже, что этими пациентами окажутся люди, чьи семьи будут оказывать им всестороннюю поддержку, желая, чтобы их родственники получили новейшее и наилучшее на данный момент лечение. И когда окажется, что все эти «хорошие кандидаты» продемонстрировали лучшее послеоперационное состояние по сравнению с больными, получающими стандартное лечение (либо не получающими вовсе никакого), различия между ними могут иметь лишь очень небольшое отношение (а может быть, и вообще никакого) к терапевтическим преимуществам нового метода лечения. Вместо этого упомянутые различия станут попросту отражать преимущества «хороших кандидатов» в плане изначального состояния их здоровья, степени их готовности следовать врачебным предписаниям или наличия поддержки со стороны родственников. Влияние тенденциозностей, похожих на вышеупомянутые, ощущается в социальных экспериментах, когда, например, уровень рецидивизма среди «подходящих» или «заслуживающих этого» заключенных, которые были включены в специальную программу социальной реабилитации, сравнивается с уровнем рецидивизма среди тех, с кем обращались стандартным образом.

Хотя у исследований конкретных случаев (case studies) и плохо организованных сравнений есть свои недостатки, они по крайней мере оберегают нас от опасности иллюзорного представления о том, что можно обойтись вообще без исследовательских данных. Трагическая история социальной программы, не имеющей под собой ничего, кроме здравого смысла и добрых намерений, хорошо прослеживается на примере строительства многочисленных «башен посреди парка», которые были очень популярны в 50-е и 60-е годы как способ «расчистки трущоб». Положенная в их основу логика казалась очевидной. Берем городской квартал, застроенный осыпающимися трех- и четырехэтажными многоквартирными домами, и переселяем живущих в них людей в одну двадцатиэтажную башню, которую строим в центре квартала, превратив освободившееся место в детские площадки и парки. После этого садимся отдыхать, пожиная социальные плоды, которые обязательно должно принести подобное «усовершенствование» среды обитания.

Однако планировщики в своем благонамеренном, но неискушенном ситуационизме не смогли учесть тонко сбалансированной экологии старомодных кварталов многоквартирных домов. Объективные физические условия существования в таких домах могли быть ужасающими, но при этом каждый из живущих в них людей был знаком со всеми остальными, поддерживая отношения с ними в ходе ежедневного общения. Для жителей этих домов имело значение доброе мнение соседей, социальные же нормы распространялись и насаждались в них так, как это происходит в любом нормально функционирующем сообществе людей. Более того, каждый очень хорошо знал, что происходит и перед домом, и в его закоулках, а матери могли, выглянув в окно, видеть, что их дети спокойно играют на тротуаре либо сидят на крыльце.

Будучи помещенной в стерильную башню, вся эта напряженная система оказалась разрушенной. Уровень неформальных социальных влияний и групповой сплоченности резко снизился, поскольку люди имели теперь минимум возможностей развивать личные отношения и наблюдать за повседневным поведением друг друга. Неугодных пришельцев и преступников уже нельзя было вынудить убраться из дома, потому что их было уже трудно отличить от других членов сообщества, а также потому, что социально изолированные жители не склонны были чувствовать себя ответственными за решение коллективных проблем. Молодежь была вынуждена сидеть заточенной в своих квартирах либо безнадзорно слоняться по зданию или укромным уголкам парка. Вскоре аномия, страх и отчаяние, не говоря уже о вандализме, довершали социальную и физическую деградацию и так уже нищего сообщества, представлявшего собой до этого, несмотря ни на что, жизнеспособную социальную систему.

По прошествии 20 лет после этого смелого, но злополучного вмешательства в жизнь бедняков правительство приступило к сносу разрушенных башен. Финансовые издержки этого безумия исчисляются сотнями миллиардов долларов. С точки же зрения человеческого страдания, издержки подсчету не поддаются. Думается, что уплаты этой страшной дани можно было бы избежать, выстроив полдюжины подобных башен в разных городах и оценив затем, насколько успешным оказался эксперимент, т.е. пронаблюдав за благополучием их жителей и обитателей ближайшей округи на протяжении по крайней мере двух лет, прежде чем принимать решение об осуществлении какого-либо крупномасштабного проекта по искоренению трущоб.

Мы никоим образом не утверждаем, что использование мелкомасштабных оценочных исследований всегда будет приносить ясные ответы, помогающие выстраивать последующую социальную политику. Напротив, многие из наиболее известных социальных экспериментов и оценочных исследований, проведенных в последние десятилетия, стали причиной горячих дебатов о том, как правильно интерпретировать полученные в них результаты. Однако мы полагаем, что в каждом из подобных случаев соответствующие научные результаты служили важной цели умерения риторического пыла и заострения внимания на вопросах, подлежащих дальнейшему обсуждению и изучению. Извлеченные же из этих исследований уроки стоят гораздо больше, чем было на них затрачено (Kiesler, 1980).

Обратимся для примера к многообещающим экспериментам с негативным подоходным налогом, или «гарантированным уровнем дохода», проводившимся в период с 1968 по 1978 г. (Moffitt, 1981). Мы обнаружили, что, как этого и можно было ожидать, участники экспериментальных групп, которым доплачивали, если их доход падал ниже оговоренного «порогового» уровня, работали в среднем меньше часов в неделю по сравнению с членами контрольных групп (отчасти потому, что чаще и более длительное время были безработными). Эта разница обусловливается главным образом резким сокращением количества часов, проработанных не главами семей. Например, в наиболее обширных и лучше всего исследованных выборках Сиэтла и Денвера среди замужних женщин наблюдалось уменьшение данного показателя на 20% (среди молодых неженатых мужчин оно было еще более значительным) в сравнении с тем, что среди женатых мужчин уменьшение составило лишь 9% (Robins & West, 1980). Мы видим также, что вопреки надеждам и прогнозам многих сторонников упомянутой программы, уровень разводов среди семей, получавших гарантированный доход, оказался не менее, а более высоким (по данным о Денвере и Сиэттле, на 35-40%) (Hannan, Tuma & Groeneveld, 1977).

Подобные результаты ставят перед нами ряд трудных вопросов. Желательно или нежелательно, чтобы замужние женщины, особенно имеющие на своем иждивении детей, работали в неделю меньшее количество часов (точнее, желательно ли, чтобы большее число этих женщин не работало вообще)? Действительно ли гарантированный доход обострял семейные проблемы скорее, чем сглаживал их, или же его наличие попросту делало развод не ладящих друг с другом супругов экономически приемлемым шагом?

Однако несмотря на свою трудноразрешимость, подобные вопросы свидетельствуют о весьма ценной тенденции к сужению круга обсуждаемых параметров. Критики программы уже не могут продолжать утверждать, что «никто» или «вряд ли кто-то» будет работать при наличии гарантированного дохода. Сторонники программы также не могут продолжать утверждать, что сократившееся число разводов послужит оправданием произведенных на нее затрат. Исследователи же и организаторы программы приобретают более отчетливое понимание того, что они хотели бы измерить или изменить в ходе последующих социальных экспериментов.

По той же самой причине проводившиеся в начале 60-х годов исследования практики «освобождения под залог» (Ares, Rankin & Sturz, 1963; Riecken & Boruch, 1974; Wholey, 1979) оставили вопрос о том, стоит ли освобождать ответчиков по уголовным делам до суда, не требуя внесения залога, открытым для обсуждения. Тем не менее исследователям удалось установить, что подобная политика не ведет к появлению недопустимо большого числа ответчиков, не являющихся на судебное разбирательство. Среди ответчиков, воспользовавшихся возможностью не вносить залог, уровень неявки составил менее 2%, что ниже среднего уровня для ответчиков вообще. Аналогичным образом, о чем мы еще будем говорить ниже, несколько тщательно подготовленных исследований по изучению программ раннего обучения детей (программ «Хедстарт», разработанных в 60-е годы) не смогли положить конец спорам об их «рентабельности». Тем не менее двадцать лет спустя эти исследования послужили сдерживанию потока нереалистических обещаний либеральных сторонников этих программ и необоснованных опровержений, исходивших от их консервативных критиков.

По мере того как социальные психологи убеждались в ценности формальных экспериментальных схем, росло их понимание и социальной психологии самого экспериментирования. Одна из значительных начальных глав этой длинной истории была написана в 1924 г. на Хоуторнском заводе компании «Вестерн Электрик» в Чикаго. Исследования были начаты по инициативе первых энтузиастов «научного управления производством». Это были так называемые специалисты по производительности труда с их пресловутым и часто высмеиваемым изучением различных движений и времени их выполнения.

К своему удивлению и разочарованию, эти специалисты вскоре обнаружили, что не могут быстро поднять производительность труда за счет изобретения более эффективных методов и предписывания рабочим действовать в соответствии с ними. Подобное вмешательство вызывало недовольство и недоверие со стороны рабочих, считавших, что к ним предъявляются слишком высокие требования, и подозревавших, что эти методы созданы с целью превратить их в роботов. Вследствие этого рабочие проявляли сопротивление, что уже не покажется чересчур неожиданным для наших читателей, знакомых с важной ролью субъективного восприятия и механизмов, действующих в напряженных системах.

Одно небольшое исследование, посвященное влиянию освещенности рабочих мест на производительность труда, стало отправной точкой для совершенно иного подхода к проблеме производительности, хотя по сути и принесло отрицательные результаты. Хоуторнские исследователи обнаружили, в частности, что хотя повышение уровня освещенности и сказывалось поначалу на повышении производительности труда, однако при систематическом манипулировании освещением на протяжении длительного периода исследований никакой зависимости между производительностью труда и условиями освещенности зафиксировано не было. Это навело исследователей на мысль, что решающую роль здесь могли играть факторы, имеющие мало общего с физическими характеристиками среды, а относящиеся всецело к сфере восприятия и чувств испытуемых.

Серия дальнейших исследований, проводившихся с 1927 по 1932 г. при содействии ученых из Гарвардской школы делового администрирования, дала дополнительные аргументы в пользу подобной интерпретации. Наиболее известным из этих исследований был эксперимент, предметом которого была производительность труда пяти женщин-сборщиц, размещенных в отдельной комнате для исследований и получавших сдельную плату в зависимости от их совместной производительности. Измерение производительности труда группы испытуемых проводилось в течение двадцати трех периодов, продолжительность которых варьировалась от трех-четырех до тридцати недель. При этом число и режим перерывов для отдыха и приема пищи систематически подвергались изменению. Результаты этого эксперимента, а точнее интерпретация его в терминах «человеческих отношений», данная исследователями, обобщившими его результаты (Мауо, 1933, 1945; Roethlisberger, 1941; Roethlisberger & Dickson, 1939), стала вскоре Евангелием для авторов вводных курсов как по психологии, так и по менеджменту.

Предание гласит, что испытуемые реагировали практически на каждое изменение условий эксперимента (касалось ли .оно увеличения частоты и продолжительности перерывов для отдыха и приема пищи, либо их, наоборот, сокращения вплоть да полного упразднения) неизменным повышением производительности труда. Суммарный результат эксперимента сводился к тому, что на протяжении первых (и наиболее часто фигурирующих в литературе) 13 периодов производительность труда рабочих неуклонно повышалась, будучи более или менее независимой от действующего графика перерывов, пока не сделалась на 30-40% выше исходного уровня, зафиксированного до начала эксперимента. Так, например, с началом 12-го периода рабочие лишились укороченного дня в субботу, а также двух плановых перерывов, которыми могли пользоваться во время 11-го периода. Тем не менее результатом было увеличение производительности труда на 11%. Далее в течение 13-го периода количество перерывов было восстановлено и рабочие стали также получать на обед бесплатные напитки за счет компании. Все это привело к дальнейшему увеличению производительности труда на 4%.

Комментируя эти результаты, защитники концепции человеческих отношений утверждали, что конкретные особенности графика перерывов и вносившиеся в него на протяжении 13 периодов экспериментальные изменения не имели никакого значения, а производительность труда увеличилась исключительно по причине изменения социальных отношений внутри рабочей группы, а также улучшения отношений между рабочими и непосредственным начальником. Мэйо (Мауо) и его коллеги указывали на то, что группа из пяти сборщиц, размещенная отдельно от остальных, получила тем самым особый статус, что укрепило сплоченность группы и ее корпоративный дух. Не менее важно и то, что члены этой микрогруппы неожиданно почувствовали, что начальник проявляет к ним больше внимания и делает это в более дружелюбной форме, впервые стремясь получить от них обратную связь и интересуясь конкретными предложениями. Все эти факторы наряду с новой системой оплаты, привязывавшей их личный заработок к производительности труда их собственной группы, а не фабрики в целом, привели к тому, что испытуемые выработали новые групповые нормы, поощрявшие повышение производительности труда, взаимопомощь и более позитивное отношение к руководству. Кроме того, как отмечали позже последователи К. Левина, подобные условия освободили пятерых работниц от сдерживающего влияния общефабричных норм, препятствовавших повышению производительности труда — норм, процесс навязывания которых в форме вербальных и невербальных упреков наблюдали авторы другого исследования, проводившегося на том же Хоуторнском заводе с 1931 по 1932 г. (Homans, 1952).

В последние годы Хоуторнские исследования не раз подвергались обоснованной критике за ряд методологических недостатков (включая отсутствие контрольной группы, в которой условия работы оставались бы неизменными на протяжении того же периода), а также за неоспоримую идеологическую тенденциозность, руководившую составителями первых отчетов и авторами дальнейших интерпретаций (Bramel & Friend, 1981; Franke & Kaul, 1978; Parsons, 1974). Постепенно выяснилось, например, что хоуторнские рабочие лучше осознавали ситуацию, были менее инфантильны и менее подвержены манипуляциям посредством доброго отношения и внимания со стороны руководства, чем это пытаются внушить студентам приводимые в учебниках описания. Обнаруживается, например, что рабочие подвергались неявному, а иногда и явному, социальному давлению, побуждавшему их продолжать увеличивать производительность труда как для того, чтобы сохранить свои «привилегии», связанные с участием в эксперименте на сравнительно привлекательных для себя условиях, так и в надежде на то, что успех эксперимента приведет к улучшению условий труда на всей фабрике. В последнее время выяснилось также, что когда посреди длительной серии экспериментальных манипуляций две работницы начали проявлять враждебное и неконструктивное отношение, они были заменены двумя другими, проявлявшими большую готовность внести свой вклад в успех исследования. Кроме того, оказывается, что на протяжении всех 23 периодов наблюдения один из двух наиболее значительных скачков производительности труда последовал сразу же за упомянутыми кадровыми перестановками, а другой — значительно позднее, уже после начала Великой депрессии (явившейся событием, безусловно повысившим ценность и привлекательность любой работы).

Однако подобная критика не преуменьшает важности Хоуторнской саги, а скорее указывает на ее значимость в более широком плане. На протяжении истекших десятилетий Хоуторнские исследования показали себя как нечто большее, чем наглядный урок о важности социальных отношений и морального духа на производстве и чем простое напоминание о том, что испытуемые в контрольной и экспериментальной группах не должны отличаться друг от друга в отношении того, насколько они ощущают себя объектами особого внимания и наблюдения. Сегодня эти исследования напоминают нам об уроке более общего характера, состоящем в том, что мы всегда должны учитывать социальную динамику взаимодействия между исследователем и испытуемым. Они обязывают нас признать, что участники исследований (как в лаборатории, так и в реальных условиях) являются не пассивными объектами манипуляций, но сознательными людьми, озабоченными последствиями выводов, которые могут повлечь за собой их действия. И, возможно, наиболее важным является то, что Хоуторнская сага напоминает вдумчивым потребителям результатов исследований о необходимости внимательно разбираться в методологии эксперимента, равно как и в возможном влиянии разнообразных мотивов его участников, прежде чем соглашаться с какими-либо из предлагаемых выводов.