Проблема валидности эксперимента в психологии
Необходимость более тесной интеграции теоретических и прикладных исследований в психологии, интенсивного развития практической психологии [11, 12], наконец, наблюдающийся в последние годы существенный прогресс как философской [19], так и специальной [24] методологии научного познания, в том числе в области психологии [17], — все это побуждает со всей тщательностью, во многом с более совершенных методологических позиций проанализировать состояние ее методического арсенала. Метод эксперимента привлекает внимание в этой связи в силу двух обстоятельств.
С одной стороны, для психологической науки этот метод был и остается основным инструментом получения эмпирических данных, проверки теоретических гипотез [16].
С другой стороны, по мере того как сфера применения лабораторного эксперимента все более расширялась, далеко выйдя за первоначальные рамки общей психологии, данный метод подвергался возрастающей критике. Ее лейтмотив — неудовлетворенность степенью научной достоверности и практической ценности знания, обеспечиваемых данным методом.
Примером критики первого из этих недостатков может служить анализ модельной природы лабораторного эксперимента, проведенный А. Чапанисом (A. Chapanis). Взяв в качестве примера ряд исследований по проблеме бдительности оператора, он делает следующее обобщение:
«Всякий лабораторный эксперимент — лишь модель реальной жизни, причем модель, которая всегда является неполной, а значит, и неверной [29, с. 561]. Неадекватность эксперимента как модели, отмечает далее {117} Чапанис, обусловливается, как правило, еще двумя обстоятельствами: во-первых, типичным для лабораторного эксперимента рандомизированным предъявлением стимулов (в реальной жизни стимулы обычно воспринимаются в контекстных и последовательностных рамках) и, во-вторых, прежде всего повышенной, по сравнению с условиями «реальной жизни», частотой воспроизведения аварийных ситуаций и других стрессовых воздействий.
Наконец, ко всему этому можно добавить часто встречающиеся в литературе сетования на неудовлетворительную репрезентацию исследуемой популяции, на влияние разного рода артефактов, в особенности установок предвзятости, носителями которых часто оказываются не только испытуемые, но и сам экспериментатор [9, 15, 16, 25].
В отношении критики второго главного недостатка рассматриваемого метода весьма показательной является статья Е.Г. Чемберса (Е.G. Chambers) [28]. Исходя из того что быстро развивающаяся автоматизация производства выдвигает в число актуальных практических задач проблему перманентного «переучивания» кадров, автор задался целью выяснить, сколь полезным могут быть в этом отношении результаты многочисленных лабораторных исследований по так называемому переносу научения — одной из традиционных проблем общей психологии. Проанализировав имевшуюся в то время (середина 50-х годов) весьма обширную литературу, Чемберс пришел к неутешительному выводу: несмотря на возможную научную значимость, исследования, проведенные по данной проблеме, в подавляющем большинстве не могут быть использованы для решения указанной задачи. Главная причина — крайне упрощенный и искусственный характер тех заданий, которые предлагаются испытуемым в такого рода исследованиях (например, усвоение парных словесных ассоциаций, формирование навыка нажатия на кнопку при появлении определенного сигнала и т. п.).
Таким образом, налицо определенные признаки кризисной ситуации: с одной стороны, констатируется «непрактичность» многих лабораторных экспериментов, проведенных в русле общепсихологического исследования, а с другой — ставится под сомнение возможность адекватного моделирования в прикладном лабораторном эксперименте тех аспектов профессиональной деятельности, которые составляют предмет непосредственного интереса со стороны практики. Учитывая сказанное, нельзя не согласиться с выводом Б. Ф. Ломова о том, что «разработка теории психологического эксперимента является сейчас одной из наиболее острых задач, в решении которой заинтересованы так или иначе все отрасли психологии» [18, с. 33].
Успех в решении данной задачи, естественно, возможен лишь при ориентации на соответствующие положения марксистско-ленинской философской методологии. Здесь прежде всего необходимо принять во внимание замечание К. Маркса о том, что «...не только результат исследования, но и ведущий к нему путь должен быть истинным» [1]. Не случайно во многих работах по философской и специальной методологии научного познания подчеркивается, что в становлении и развитии знания, взятом как относительно самостоятельный процесс, важную роль наряду с критерием общественно-исторической практики призваны сыграть и «внутринаучные критерии обоснования знания, в частности логические формы доказательства». Их роль тем значительнее, что и сам по себе критерий практики (одной из основных форм которой является, как известно, эксперимент) «включается в познание посредством получаемых в итоге его применения понятий, суждений, умозаключений, где логическая правильность операций мышления выступает в качестве одного из обязательных условий истинности выводов» [20, с. 338].
В качестве одного из таких критериев внимание психологов в последние годы во все возрастающей степени привлекает валидность исследовательской {118} (в первую очередь экспериментальной) методики. Существуют различные типы и виды этого критерия, каждый из которых используется для характеристики определенного аспекта исследовательской конструкции [5]. Однако мы ограничим свой анализ рассмотрением лишь типов валидности, поскольку именно с ними связана возможность совершенствования того или иного метода. Это — валидность содержательная и валидность экологическая (практическая). Первый из этих типов можно определить как степень соответствия между, с одной стороны, предметом исследования и содержанием получаемого результата, которые приписываются экспериментальной методике ее автором, и, с другой стороны, тем, что она фактически представляет собой в этих отношениях. Второй тип валидности характеризует методику с точки зрения практической применимости даваемого ею знания (на что и указывает соответствующий термин — «практическая»).
Пользуясь только что обозначенными понятиями, можно сказать, что А. Чапанис фактически обвинил лабораторный эксперимент в низкой содержательной валидности, тогда как Е. Г.Чемберс — в отсутствии валидности практической. Попутно укажем на взаимосвязь, существующую между этими типами: первый является необходимым, но не достаточным условием второго; вместе с тем отсутствие у методики практической валидности во многих случаях (но отнюдь не всегда) может служить основанием для более глубокого анализа ее содержательной валидности. Отсюда следует, что применение критерия валидности — это не что иное, как один из важнейших механизмов того критико-рефлексивного отношения к своим задачам и средствам их решения, которое столь характерно для современного этапа развития научного познания [24].
Не случайно поэтому в последние годы авторы экспериментальных исследований в области психологии при характеристике применявшейся методики и оценке ее эффективности довольно часто обращаются к критерию валидности, причем как в содержательном, так и в практическом ее аспектах. Однако эта положительная тенденция в значительной мере тормозится его недостаточной разработанностью. Весьма фрагментарные и разрозненные описания данного критерия, содержащиеся в новейших публикациях по конструированию психологического эксперимента [9, 15, 27, 31], не только не устраняют, но, наоборот, подчеркивают необходимость специального, систематического анализа данной проблемы. Предпринимая попытку в этом направлении, остановимся вначале на факторах, определяющих содержательную валидность экспериментальной методики, а затем коснемся вопросов, связанных с экологической валидностью.
УСЛОВИЯ, ОБЕСПЕЧИВАЮЩИЕ СОДЕРЖАТЕЛЬНУЮ ВАЛИДНОСТЬ
Экспериментальная гипотеза как системообразующий фактор. В гносеологическом плане эксперимент выступает прежде всего как один из тех главных «стыков», где два основных звена общей цепи познания — теория и практика — входят в непосредственное соприкосновение и взаимодействие друг с другом. При этом теоретическое звено представлено экспериментальной гипотезой, практическое — процедурой и результатами ее экспериментальной проверки. В отличие от исторического процесса человеческого познания, примат в котором во всех отношениях принадлежит общественной практике [20], в рамках отдельного научного эксперимента роль основы и системообразующего фактора отводится теоретической гипотезе. Она конституирует не только всю структуру конкретной методики, но в некоторых случаях (когда выдвигается достаточно весомое теоретическое положение или методологический принцип) и сам экспериментальный метод в целом. {119}
Последнее можно проиллюстрировать, сославшись на хорошо известный факт усовершенствования С. Л. Рубинштейном и его сотрудниками метода естественного эксперимента. Напомним, что в своей первоначальной форме этот метод строился на исключении каких-либо целенаправленных воздействий на ребенка со стороны экспериментатора — считалось, что лишь при этом условии может быть достигнут желанный эффект естественности. Однако С. Л. Рубинштейн, исходя из теоретической концепции о развитии ребенка в условиях обучения и воспитания под влиянием определенным образом организованных воздействий, выдвинул совершенно новый методический принцип, согласно которому построенное по типу педагогического процесса воздействие вполне естественно [3]. На этом принципе основаны широко используемые в наше время методики формирующего (обучающего или воспитывающего) эксперимента.
Экспериментальная гипотеза может считаться психологически содержательной, если в ее основу положено теоретическое понятие, соответствующее современному уровню развития науки и отражающее те психические феномены, которые должны выступать в предстоящем исследовании в роли промежуточных переменных. Иными словами, необходимо, чтобы в гипотезе были указаны, причем как можно более дифференцированно, те психические процессы или состояния, которые, с одной стороны, провоцируются или изменяются в количественном отношении под влиянием независимой переменной (т.е. фактора, планомерно изменяемого экспериментатором с целью выяснить его влияние на психику и поведение испытуемых), а с другой — непосредственно детерминируют те или иные значения зависимых переменных, находя в них, таким образом, свое внешнее проявление (при этом в роли зависимых переменных могут выступать скорость выполнения экспериментального задания, количество допущенных при этом ошибок, латентное время ответа и т. п.). Независимо от того, презентированы ли в какой-либо форме сознанию испытуемого соответствующие психические процессы или состояния, теоретическое понятие, в котором они отражены, выступает в исследовании в качестве средства для объяснения зафиксированных изменений зависимых переменных.
К сожалению, далеко не во всех экспериментальных исследованиях промежуточные переменные эксплицированы должным образом.
Яркий пример тому — зарубежные работы, посвященные применению функциональной музыки на производстве. Как показал специальный анализ [7], музыка в этих исследованиях рассматривается всего лишь как фоновый, ритмически организованный звуковой раздражитель, оказывающий на работающих сугубо физиологическое воздействие. Односторонность такого понимания функциональной музыки, нс учитывающего ее художественной содержательности и упрощающего структуру перцептивного процесса при полном игнорировании его мыслительного и эмоционального компонентов, проявилась, в частности, в тенденции исключать из соответствующих программ произведения с поэтическим словесным текстом, не принимать во внимание при составлении этих программ вкусы и пожелания самих рабочих.
В методическом плане все это означало искажение фактического содержания промежуточной переменной, т. е. содержательную невалидность указанных исследований. В методологическом же отношении здесь имеет место ошибка, на которую специально обратил внимание исследователей М. Г. Ярошевский. Сущность ее состоит в том, что нераздельность физиологического и психического в деятельности целостного организма как объекта исследования как бы переносится на его предмет. Это приводит к гипертрофии роли физиологического при недооценке или полном игнорировании функции психического, т.е., по сути, к физиологическому редукционизму [26, с. 11].
Успешная попытка «развести» психологические и физиологические факторы, выполняющие роль промежуточных переменных, была предпринята в свое время Е. А. Деревянко при исследовании динамики утомления [10]. На материале лабораторного эксперимента убедительно показано, что в детерминации продуктивности работы физиологические потенции и профессиональный опыт индивида опосредуются его способностью {120} к эмоционально-волевому напряжению; хотя последняя в свою очередь в значительной степени зависит от нейрофизиологических особенностей организма, тем не менее ее уровень во многом определяется такими сугубо психологическими факторами, как отношение к труду, чувство ответственности и т.п.
Другим примером такого рода может служить проведенное нами совместно с В. Г. Лоосом исследование, направленное на оптимизацию режима труда и отдыха на конвейерно-поточных линиях [8]. Производственный эксперимент был построен таким образом, чтобы эффект, вызываемый сугубо психологическим фактором осознания рабочими своей регулирующей роли по отношению к скорости движения конвейерной ленты, можно было оценить изолированно от воздействий физиологического характера, оказываемых на человеческий организм фактическим изменением темпа работы в соответствии с кривой работоспособности.
Что касается проверяемости экспериментальной гипотезы, то необходимо, чтобы логический объем каждого из входящих в ее состав понятий (а значит, и объем выводов, формулируемых в результате исследования) полностью репрезентировался независимыми и зависимыми переменными, используемыми в данном исследовании. Если же в описании в качестве промежуточных переменных фигурируют, как это нередко случается, максимально обобщенные наименования психических процессов и состояний (такие, как «восприятие», «внимание», «память», «стресс» и т. п.), то это делает его маловалидным. Ведь ни одна методика не может представить исследуемый психический процесс в столь широком разнообразии типов и видов, чтобы такого рода тотальные наименования оказались правомерными. Поэтому промежуточные переменные должны быть специфицированы со всеми ограничениями, вытекающими из конкретных особенностей как стимульного материала, с которым имеет дело испытуемый, так и применяемых в данном эксперименте зависимых переменных.
Независимые переменные как психологические модели ситуаций «реальной жизни». В этом вопросе полезно выделить два взаимосвязанных аспекта: 1) репрезентацию исследуемого фактора per se; 2) представление его взаимосвязей с другими факторами исследуемой реальности.
В отношении первого аспекта возможны различные решения: а) данный фактор воспроизводится в эксперименте в его натуральном виде; б) при его репрезентации используются приемы ограничения, сокращения, технической замены и обогащения; в) данный фактор отображается в эксперименте по методу психологического замещения — имитационного, изобразительно-символического или комбинированного [б]. Какой из указанных подходов следует предпочесть в том или ином конкретном случае, зависит от многих обстоятельств. Однако для создания валидной методики всегда необходимо обеспечить тождественность психических процессов и состояний, провоцируемых, с одной стороны, в естественных и, с другой — в экспериментальных условиях [6].
Что касается второго из названных аспектов, то определенная аналитичность репрезентации реальной действительности в лабораторном эксперименте не просто допустима — она составляет его неотъемлемую черту. Все зависит от того, какие именно связи исследуемого фактора не представлены в лабораторной ситуации. Несущественные, случайные, несомненно, могут быть опущены без какого-либо ущерба для валидности планируемого эксперимента. Для репрезентации же существенных связей следует воспользоваться одним из вариантов факторного планирования [25].
Таким образом, нельзя согласиться с мнением Чапаниса, будто присущая эксперименту неполная репрезентация исследуемой реальности неминуемо является вместе с тем репрезентацией «неверной». Аналогичных {121} переменных. Такого рода непредвиденное воздействие (именуемое с тех пор «эффектом Хоторна») может быть легко обнаружено и соответствующим образом учтено, если в дополнение к экспериментальной группе в аналогичном помещении будет работать контрольная группа испытуемых. Однако в данном случае это сделано не было, и эксперимент, замышлявшийся как модель типичной производственной ситуации, в действительности представлял собой лишь квазимодель.
Средством избежать искажающего влияния артефактов является и их предупреждение путем создания такой экспериментальной конструкции, которая во всех отношениях носила бы «естественный» характер. Успешный опыт проведения таких экспериментов существует.
Мы имеем в виду проведенное еще в 20-х годах под руководством Э. Заксенберга лабораторное исследование влияния скорости движения конвейера на производительность труда при выполнении различных видов физической работы [13].
Выбор и регистрация зависимых переменных. Главная проблема, которая встает здесь перед исследователем, — добиться того, чтобы, говоря словами С. Л. Рубинштейна, «внешнее протекание акта адекватно отражало бы его