Дата добавления: март 2006г.
ЭКСПЕРИМЕНТЫ И КВАЗИЭКСПЕРИМЕНТЫ
Экспериментом мы называем ту часть исследования, которая заключается в том, что исследователь осуществляет манипулирование переменными, и наблюдает эффекты производимые этим воздействием на другие переменные. В этом очерке мы рассмотрим валидность 16 планов эксперимента в связи с 12 факторами, которые могут угрожать валидности вывода по данным эксперимента. Наша работа не является руководством по планированию эксперимента в традиции Фишера, когда экспериментатор, полностью владея ситуацией, может организовать воздействие и осуществить измерения для достижения оптимальной статистической эффективности и когда сложность плана обусловлена лишь стремлением к достижению эффективности. Сложность планов, обсуждаемых в данной работе, является следствием специфики материала и отсутствия у экспериментатора возможности полного контроля. (…) ПОСТАНОВКА ПРОБЛЕМЫ
В 1923 г. У. Э. Мак-Кол опубликовал книгу под названием “Как проводить эксперименты в педагогике”. В предисловии к ней он писал: “Существуют прекрасные учебники и руководства по статистической обработке экспериментальных данных, но мало что можно найти по методам получения адекватных относящихся к делу данных, к которым применимы статистические процедуры”. Слова эти остаются справедливыми и по сей день и могут служить лейтмотивом данной работы. Хотя под влиянием работ, выполненных в традиции Фишера, ситуация в некоторых существенных отношениях изменилась, все же наиболее заметным следствием этих работ является, видимо, совершенствование статистического анализа, а не средств получения “адекватных относящихся к делу данных”. Вероятно, ввиду ее ориентации на практику и здравый смысл и отсутствия претензии на фундаментальность классическая книга Мак-Кола не была оценена по достоинству. В то время, когда она появилась, то есть за два года до первого издания книги Фишера“Статистические методы для исследователей”(1925), не было ни одной работы, которая могла бы идти хоть в какое-то сравнение с книгой Мак-Кола ни в области агробиологии, ни в психологии. Она предвосхитила ортодоксальную методологию этих областей по ряду фундаментальных вопросов. Возможно, наиболее значительным вкладом Фишера является идея уравнивания групп перед экспериментом путем рандомизации. Принять эту идею и вместе с тем отказаться от“попарного уравнивания” (способа интуитивно привлекательного, но фактически ошибочного) оказалось трудным для исследователей в области педагогики. Мак-Кол же еще в 1923 г. продемонстрировал глубокое понимание существа дела. В качестве своего первого метода формирования сопоставимых групп он предложил“группы, уравненные случаем”. “Точно так же, как репрезентативность может обеспечиваться с помощью метода случайного выбора.... эквивалентность может быть достигнута случайно, при условии использования достаточно большого числа испытуемых”. Была предвосхищена и другая идея Фишера. Под названием “ротационного эксперимента” был предложен план латинского квадрата, который применялся Торндайком, Мак-Колом и Чепмэном как в форме 5Х5, так и 2х2 еще в 1916 г. , то есть почти за 10 лет до того, как Фишер включил его в свою систему планирования эксперимента с применением рандомизации.
Способ использования Мак-Колом “ротационного эксперимента” служит прекрасным примером для выявления специфики как его книги, так и данной работы. Ротационный эксперимент был предложен не с целью достижения статистической эффективности, а, скорее, для обеспечения некоторой степени контроля в тех случаях, когда невозможно осуществить рандомизацию при формировании эквивалентных групп. Сходным образом в настоящей работе будут рассмотрены недостатки многочисленных планов эксперимента, и тем не менее будет отстаиваться их использование в тех случаях, когда невозможно применение лучших планов. В этом смысле большинство обсуждаемых здесь планов, в том числе и нерандомизированный “ротационный эксперимент”, обозначаются как квазиэкспериментальные планы. Разочарование в эксперименте
В данной работе эксперимент рассматривается как единственный способ разрешения споров о практике обучения, как единственный метод верификации усовершенствований в обучении, как единственный путь создания традиции накопления знаний, при которой каждое нововведение может быть осуществлено без опасения, что старая мудрость приносится в жертву менее совершенному, но более новому знанию. При всей нашей горячей защите экспериментирования не следует думать, что наша позиция нова. Были периоды как пессимистического отношения к возможностям эксперимента, так и энтузиазма. Можно отметить, что отход от экспериментирования к описательным работам, нередко сопровождавшийся поворотом от торндайковского бихевиоризма к гештальтпсихологии или психоанализу, совершался людьми, получившими хорошую экспериментальную подготовку.
Чтобы предупредить новые разочарования, мы должны понять некоторые причины предшествующей реакции и попытаться избежать неверных ожиданий, которые вызвали такую реакцию. Можно отметить несколько моментов. Во-первых, утверждалось, что темп и степень прогресса, которые должен был обеспечить эксперимент, оценивались слишком оптимистически, и это сопровождалось неоправданным пренебрежением к неэкспериментальному знанию. Сторонники экспериментирования считали, что прогресс в технологии обучения был медленным именно потому, что не применялся научный метод. Они рассматривали традиционную практику как несостоятельную лишь потому, что она не была основана на экспериментировании. Когда же выяснилось, что эксперименты часто оказывались скучными, двусмысленными и подчас невоспроизводимыми и подтверждали донаучные знания, чрезмерный оптимизм уступил место разочарованию, пренебрежению ими и отказу от них. Это разочарование испытали как наблюдатели, так и участники экспериментов. Что касается экспериментаторов, то можно отметить, что у них выработалась некая реакция избегания экспериментирования. Для исследователя, обычно глубоко заинтересованного в своей работе, неподтверждение выношенной гипотезы является весьма болезненным. Экспериментатор тоже подчиняется биологическим и психологическим законам научения и связывает свои огорчения со смежными во времени событиями и стимулами. Таким стимулом станет, скорее всего, сам экспериментальный процесс, а не“истинный” источник фрустрации — неадекватная теория. Это может привести, возможно неосознанно, к избеганию или отказу от экспериментирования. Если экология нашей науки такова, что в ней неправильные ответы встречаются чаще, чем правильные (а по-видимому, так оно и есть), то мы можем ожидать, что большинство экспериментов окажется неутешительным, и мы обязаны каким-то образом подготовить начинающих экспериментаторов к этому и вообще смотреть на экспериментирование более пессимистически — не как на панацею, а как на единственно возможный путь постоянного накопления знаний. Мы должны внушить нашим ученикам, что они могут столкнуться с рутиной и разочарованиями, и воспитывать в них упорство, которое отличает в настоящее время исследователей в биологических и физических науках. Наши ученики должны примириться не только со скудостью денежных средств, но и со скудостью результатов экспериментов. Точнее, нам необходимо более значительное время и осознание того, что длительное и многократное экспериментирование более характерно для науки, чем единичные окончательные эксперименты. Если эксперименты, которые мы проводим сегодня, являются успешными, то они нуждаются в повторении и перекрестной валидизации в другое время и в других условиях, прежде чем они смогут стать признанными данными науки и получить обоснованную теоретическую интерпретацию. Далее, хотя мы считаем экспериментирование основным средством доказательства, единственным судьей в споре конкурирующих теорий, мы, по-видимому, не должны ожидать однозначных результатов “критических”экспериментов, в которых сталкиваются соперничающие теории. Когда мы обнаружим, например, что компетентные наблюдатели защищают прямо противоположные точки зрения, то можно утверждать, почти что априорно, что оба они наблюдали нечто действительно относящееся к реальной ситуации и оба представляют часть истины. И чем сильнее противоречие, тем больше вероятность того, что так оно и есть. Поэтому в таких случаях мы можем ожидать неоднозначных результатов эксперимента или результатов, в которых истинные данные неуловимо меняются от эксперимента к эксперименту. Более зрелой позицией— а к такой в значительной мере пришла экспериментальная психология — является стремление избегать критических экспериментов и заменять их исследованиями соотношений и взаимодействий разнообразных многоуровневых экспериментальных переменных. Не следует также недооценивать важность значительно усовершенствованных статистических методов, которые постепенно проникли в психологию и педагогику. В период наибольшего увлечения экспериментом в педагогике применялись весьма несовершенные методические средства. Мак-Кол и его современники проводили исследования с одной переменной. Ввиду огромной сложности ситуации обучения человека этот подход, оказался слишком ограниченным. Теперь мы знаем, насколько важным может быть совместное действие двух или более экспериментальных переменных. Стэнли, Стэнли и Уайли и другие указали на важность оценки таких взаимодействий.
Эксперимент может быть многомерным в следующих двух отношениях. План эксперимента может содержать более чем одну“независимую”переменную (пол, год обучения, метод обучения арифметике, тип и размер шрифта в учебнике и т. д. ) и/или более чем одну“зависимую” переменную (число ошибок, скорость, количество правильных ответов, данные различных тестов и т. д. ). Процедуры, введенные Фишером, многомерны в первом смысле и одномерны во втором. Специалисты по математической статистике, например Рой и Гнанадезикан, разрабатывают планы и методы анализа, объединяющие оба типа многомерных планов. Возможно, что, обратившись к ним, исследователи смогут уменьшить обычный огромный разрыв между изложением статистических методов в специальной литературе и их практическим применением в исследованиях.
Несомненно, более основательное знакомство исследователей с современной экспериментальной статистикой поможет повысить качество экспериментальных исследований. ВИДЫ ВАЛИДНОСТИ Проверка каузальных отношений
Эксперименты являются средством проверки каузальных гипотез. По традиции предполагается, что существуют три необходимых условия для утверждения с определенной долей уверенности о том, что отношение между двумя переменными является каузальным и что направление причинности от А к В. Первое условие относится к временной последовательности и формулируется следующим образом: причина должна предшествовать по времени эффекту. Обычно это условие соблюсти нетрудно, если исследователь знает, когда испытуемые подвергались экспериментальному воздействию. В квазиэкспериментах исследователь может сочетать такого рода влияние со своим знанием результатов испытуемых до и после экспериментального воздействия и может связать воздействие с некоторыми показателями изменения зависимой переменной. Исследователь, проводящий истинный эксперимент, знает, что соответствующая рандомизация обеспечивает, в вероятностном плане, предварительную (до введения экспериментального воздействия) эквивалентность различных экспериментальных групп. Поэтому если после экспериментального воздействия обнаружатся различия, связанные с воздействием, то он полагает, что такие различия, по всей вероятности, вызваны экспериментальным воздействием.
Второе необходимое условие для обоснованного вывода о причинной зависимости В от А состоит в том, что воздействие или воздействия должны быть статистически связаны с эффектом, так как, если возможная причина и эффект не связаны друг с другом, одно не может быть причиной другого. Для проверки существования такой ковариации используются статистические показатели; разработаны критерии для принятия решения о существовании“действительной” ковариации в результатах (например, р
Существование угроз для внутренней валидности наводит на мысль, что предполагаемая каузальная связь может быть лишь видимой. Это отличается от второго значения“альтернативной интерпретации”, когда А, которым манипулируют, и В, которое измеряется, и в самом деле каузально связаны, но существуют сомнения, действительно ли эмпирические операции осуществляются с объектами, представленными конструктамиА и В которые исследователь пытался применить для обозначения А и В. Большинство теоретических контроверсий в психологии именно такого рода —например, контроверсии о том, можно ли объяснить связь между увеличением оплаты и более высокой производительностью тем, что высокая зарплата формирует чувство неравенства или разрушает ожидания или“Я-концепцию” и т. д. В таких исследованиях речь идет не овнутренней валидности, то есть не о том, являются ли изменения в оплате причиной изменений в производительности. Скорее, это вопрос о том, как оплата должна быть выражена в терминах соответствующей теории, доступных обобщению. Другой пример: для некоторых исследователей проблема интерпретации известных хоуторнских экспериментов Ротлисбергера и Диксона заключается в обозначении того, что заставило женщин увеличить производительность труда, а не в определении того, действительно ли экспериментальное вмешательство привело к этому увеличению. Был ли каузальной переменной сам факт изменения независимо от его характера, или обратная связь, несущая информацию о поведении обследуемого и содержавшаяся в новых изменениях, или же это следствие возрастания групповой сплоченности, или следствие нового восприятия интересов руководства, или еще что-нибудь? Мы рассматриваем опасности для“конструктной валидности”, которые следует понимать как угрозы для правильного обозначения причины и эффекта с помощью абстрактных терминов, взятых из обыденного языка или из формальной теории. В действительности проблемы“конструктной валидности” несколько шире и, очевидно, имеет отношение к попыткам обозначения любых аспектов эксперимента, включая характер обстановки, в которой проводится эксперимент, особенности участвующих лиц и т. д.
Страницы: 1, 2
