Сравнение условий Внутрисубъектные/межсубъектные планы

Сравнение условий

Внутрисубъектные/межсубъектные планы

Обратимся теперь к вопросу о том, как сравнивать два и более видов тестовых или экспериментальных условий. Как уже отмечалось, в принципе, возможно два подхода; либо дать одним и тем же испытуемым все задания (поставить их во все экспериментальные условия), либо приписать разных испытуемых к разным экспериментальным группам. Первое называется внутрисубъектиым планом, последнее — межсубъектным планом. Поскольку рассмотрение этих двух подходов потребует постоянных перекрестных ссылок и сравнений, проще всего описывать их параллельно, а не по отдельности.

Как исследователю решить, осуществлять сравнение внутри группы или между группами? Как и в случае с лонгитюдным методом и методом поперечных срезов, зачастую определенную роль играет вопрос удобства. Обычно (когда конкретно, мы вскоре уточним) для внутрисубъектного исследования требуется меньше испытуемых. Предположим, нам нужно сравнить уровень трудности трех заданий, и мы знаем, что для выявления различий в трудности нужно по меньшей мере 20 испытуемых. Всегда, когда контингент потенциальных испытуемых ограничен, экономичность внутрисубъектного плана представляется довольно заманчивой.

Однако соображения удобства не всегда склоняют чашу весов в пользу внутрисубъектного подхода. За меньший размер выборки во внутрисубъектном исследовании приходится платить — конкретно необходимостью больше времени уделять каждому испытуемому либо за счет более длительных обследований, либо за счет большего их числа. Длительные или частые обследования подвергают серьезному испытанию терпение и мотивацию ребенка, особенно маленького, даже если исследователя не тревожит возможность того, что от ребенка требуется слишком много, это может беспокоить родителей или школьную администрацию: В таких случаях межсубъектный план, в котором требования к одному ребенку сведены к минимуму, является наиболее разумным выбором.

Статистические соображения также могут влиять на решение в пользу либо внутри-, либо межсубъектного плана. Статистические критерии, используемые для сравнения внутри группы, несколько отличаются от тех, которые используются для межгруппового сравнения. Более того, внутрисубъектные критерии зачастую обладают большей мощностью, чем межсубъектный — то есть, скорее выявят значимое различие, если оно действительно существует. Большая мощность этих критериев обусловлена уменьшением нежелательной дисперсии, которое обеспечивает внутрисубъектные план. Вспомним обсуждавшиеся ранее понятия первичной дисперсии и вторичной дисперсии, или дисперсии ошибки. Как отмечалось, целью качественного экспериментального плана является максимизация первичной дисперсии и минимизации нежелательной дисперсии, источником которой являются другие факторы. Было также отмечено, что одним из источников нежелательной дисперсии являются индивидуальные различия между испытуемыми. Обследование одних и тех же испытуемых в разных экспериментальных условиях позволяет снизить эту дисперсию и таким образом расширить возможности сравнения. Как следствие, повышается вероятность того, что показатель различия достигнет уровня статистической значимости.

И внутри-, и межсубъектный планы подвержены особым формам систематических ошибок. Очевидным недостатком межсубъектного плана является возможность и систематической ошибки отбора. Поскольку разные люди ставятся в разные условия, всегда существует вероятность того, что любые обнаруженные различия отражают не истинный эффект экспериментальных манипуляций, а изначальные индивидуальные различия между испытуемыми. Во внутрисубъектном плане, в котором каждый испытуемый обследуется при каждом из условий, эта вероятность отсутствует. Заметьте, что данное преимущество внутрисубъектного плана перед межсубъектным соотносится с ранее описанным преимуществом лонгитюдного метода перед методом поперечных срезов.

Существует два способа исключить возможность систематической ошибки отбора в межсубъектном исследовании (вспомните табл. 2.3). Первый — уравнять потенциально значимые переменные; ниже мы рассмотрим плюсы и минусы уравнивания. Другой подход был описан в главе 2: случайное причисление испытуемых к разным группам. Если размер выборки достаточно велик, если причисление действительно производится по принципу случайности, изначальные различия между испытуемыми будут находиться под контролем, а смешения субъектных переменных и условий удастся избежать. Как указывалось в главе 2, логика подхода, основанного на случайности, безупречна; проблема в том, чтобы обеспечить положительный ответ на оба «если».

Наиболее явная причина искажения валидности в рамках внутрисубъектных планов — вероятность эффектов повторного тестирования. Рассмотрим исследование, направленное на сравнение уровня трудности нескольких когнитивных заданий. Исследователь выбрал внутрисубъектный план, в котором каждый ребенок выполняет все задания. Поскольку на выполнение каждого из них требуется время, в процессе решения дети могут утомиться и потерять интерес. Поэтому успешность выполнения последних заданий может оказаться ниже успешности выполнения первых заданий. Или наоборот, в начале исследования дети могут испытывать некоторую робость и смущение, но освоиться в процессе тестирования. В этом случае успешность будет повышаться. В обоих примерах эффект повторного тестирования исказил бы результат сравнения трудности заданий, который собственно и интересует исследователя.

Описанные выше эффекты «врабатывания» и «утомления» попадают в разряд эффектов последовательности. Термин эффект последовательности характеризует любую общую тенденцию закономерного изменения успешности выполнения заданий от первых к последним. Обычно закономерное изменение заключается либо в общем повышении, либо в общем снижении успешности. Другая потенциальная проблема, связанная с внутрисубъектными планами, — это вероятность эффекта переноса. Об эффекте переноса говорят, когда ответ на одно задание (реакция в одних условиях) изменяется в зависимости от того, предшествует ему некое другое задание (другие условия) или следует за ним. Приведем пример, поясняющий это кажущееся довольно туманным определение. Представьте, что нужно сравнить уровень трудности двух заданий: Л и В. Допустим, что по отдельности эти задания могут правильно решить 50 % испытуемых. Однако оказывается, что если сначала идет задача Л, ее решение подсказывает путь решения задачи В, в результате частота правильных ответов на задачу В повышается до 70 %. Выполнение же задания В, если оно идет первым, подсказывает испытуемому пути решения, непригодные для решения задачи Л; в результате частота правильных ответов на задание Л падает до 30 %. Заметьте, что в этом случае в ходе экспериментального сеанса не обнаруживается ни общего улучшения, ни общего ухудшения; суть в том, что успешность выполнения одного задания зависит от того, идет оно до или после некоего другого задания. Хотя конкретные механизмы могут различаться, смысл эффекта последовательности и эффекта переноса общий: затруднение интерпретации при сравнении заданий или условий.

Чаще всего эффект последовательности создает проблемы в тех случаях, когда экспериментатор постоянно предъявляет задания в одном порядке. Отсюда рекомендация: при сравнении заданий или условий следует избегать одинакового порядка предъявления. Есть две альтернативы неизменной последовательности. Первая — рандомизация порядка заданий или условий. В определенных случаях, особенно когда количество заданий велико, рандомизация может оказаться весьма разумным решением. Однако зачастую рандомизации следует предпочесть контрбалансировку последовательности предъявления. Суть контрбалансировки легче объяснить на примере, чем через определение; простой пример представлен в левой верхней части табл. 3.2. Как можно заметить, контрбалансировка — это метод такого упорядочения заданий, при котором некоторое задание занимает разные позиции в ряду равное количество раз. Так, в данном примере задание А появляется одинаково часто на первом, втором и третьем месте; более того, оно равно часто предшествует заданиям В и С и следует за ними. В этим случае контрбалансировка полная — то есть использованы все возможные комбинации трех заданий. Очевидно, что с увеличением количества заданий возрастает и число возможных перестановок; 4 задания можно скомбинировать 24 способами (они представлены в верхней правой части табл. 3.2), а 5 заданий — 120 способами. В таких случаях полная контрбалансировка нецелесообразна; однако все еще можно отобрать такие последовательности, которые создавали бы достаточную сбалансированность. Примеры таких последовательностей для четырех и пяти заданий представлены в нижней части табл. 3.2.

Контрбалансировка обладает двумя преимуществами перед рандомизацией. Во-первых, она исключает вероятность смешения содержания задания с порядком предъявления, чего не может сделать рандомизация. Во-вторых, поскольку смешение устраняется, исследователь получает возможность сравнить разные последовательности предъявления и выделить любые эффекты последовательности или переноса, которые могут присутствовать в данных. Однако обратите внимание на то, что эти эффекты можно обнаружить, только если выборка достаточно велика и каждый вид последовательности представлен достаточно часто. Это замечание уточняет сделанное ранее заявление о том, что для внутрисубъектного исследования обычно требуется меньше испытуемых, чем для межсубъектного: всегда, когда имеет значение возможный эффект последовательности, количество испытуемых, необходимое для внутрисубъектного исследования, существенно возрастает.

Таблица 3.2 Примеры полной и частичной контрбалансировки

Полная контрбалансировка Три задания Четыре задания ABC АСВ ВАС ВСА CAB СВА ABCD ABDC ACBD ACDB ADBC ADCB BACD BADC BCAD BCDA BDAC BDCA CABD CADB CBAD CBDA CDAB CDBA DABC DACB DBAC DBCA DCAB DCBA Частичная контрбалансировка Четыре задания Пять заданий ABCD BDAC CADB DCBA ABCDE BEDCA CAEBD DCBEA EDACB

До этого момента мы рассматривали ряд факторов, которые должен учесть исследователь, делая выбор между внутри- и межсубъектным планом. Однако в некоторых случаях выбора просто нет; характер исследуемого вопроса сам диктует решение, каким должен быть план. В частности, всегда когда нужно выявить закономерности успешности выполнения заданий внутри группы, необходим внутри-субъектный план. Когда же нужно выявить определенные стойкие изменения как результат экспериментального воздействия, необходим межсубъектный план. Конкретизируем оба этих положения.

Замечание, касающееся выявления внутригрупповых закономерностей, перекликается с высказанным ранее аргументом в пользу лонтитюдных планов. Там мы указали на то, что везде, где речь идет об индивидуальной стабильности или индивидуальных изменениях во времени, требуется лонгитюдный подход, при котором испытуемые изучаются в процессе своего развития. Аналогично, везде, где речь идет о связи между двумя или более показателями в определенный момент времени, требуется внутрисубъектный подход, при котором одни и те же испытуемые оцениваются по ряду параметров. Предположим, что нам интересно, связано ли умение ребенка встать на чужую позицию с его способностью сообщать информацию другим людям (например, Shantz, 1975). Очевидно, что мы не можем оценить умение занимать чужую позицию у одной группы детей, а способность сообщать информацию — у другой, мы должны измерить оба параметра у всех детей. Предположим (возвращаясь к прежнему примеру), что мы хотим узнать, связаны ли показатели IQ Детей с их отметками в школе. Мы не можем оценить IQ в одной выборке, а IQ — в другой; вновь нужно измерить оба параметра у всех детей. Или допустим (предваряя пример, который более подробно разбирается в главе 11), что нас интересует последовательность овладения рядом когнитивных навыков. Действительно ли, к примеру, как утверждал Пиаже, дети осваивают принцип сохранения массы до принципа сохранения веса, а принцип сохранения веса — до принципа сохранения объема? Единственный способ узнать это — проанализировать представления детей о всех трех принципах. Эти примеры иллюстрируют основной мотив использования внутрисубъектного подхода: выявление взаимосвязей и закономерностей развития.

Замечание, касающееся экспериментального воздействия, приводящего к изменениям, в некотором отношении сходно с тем, что говорилось ранее об эффекте тестирования в лонтитюдных планах и эффекте переноса во внутрисубъектных планах. Суть в том, что опыт выполнения определенного задания или пребывания в определенных экспериментальных условиях может сделать испытуемого непригодным для оценки выполнения им других заданий или реакции в других экспериментальных условиях. Допустим, мы хотим сравнить эффективность нескольких методов обучения принципам сохранения (например, Smith, 1968). Мы набираем группу детей, не имеющих представлений о сохранении, и ставим их в условия обучения А. Вряд ли имеет смысл ставить затем этих же детей в условия В, так как, если условия А оказались эффективными, многие из детей уже будут владеть принципом сохранения! Тот же довод применим и в отношении любого исследования, цель которых добиться стойких изменений у испытуемых — программы вмешательства для так называемых неблагополучных детей, терапевтические программы для детей с психическими нарушениями, образовательные программы для родителей, ожидающих ребенка, и т. д. Во всех случаях, желая сравнить эффективность разных программ, мы должны использовать межсубъектный план, при котором разные испытуемые ставятся в разные экспериментальные условия. Обратите внимание также, что справедливость данного довода не ограничивается ситуациями активного изменения (вмешательство или терапия); он справедлив и для более локальных, краткосрочных изменений. Предположим, что нас интересует вопрос, помогает ли детям обучение проговаривать запоминаемое вслух при выполнении заданий на кратковременную память (например, Ferguson & Bray, 1976). Вряд ли дети, которых научили этой стратегии, перестанут ее использовать, как только мы перестанем давать соответствующую инструкцию; желая выявить эффект проговаривания, мы должны протестировать разные группы испытуемых. По поводу последнего примера и сделанного на его основе вывода может возникнуть возражение. В случае с проговариванием нас интересует не относительная эффективность нескольких видов экспериментального воздействия, а то, приведет ли оно вообще к улучшению по сравнению с исходным уровнем. Действительно, мы не можем сначала применить воздействие, а затем оценить успешность выполнения задания при его отсутствии. Но почему не сделать все в обратном порядке — то есть сначала измерить естественный уровень успешности выполнения ребенком заданий на память, применить воздействие, а затем вновь измерить память? Этот способ иллюстрирует план «Одна-группа претест-посттест» (Campbell & Stanley, 1966). Основанием для использования этого плана служит предположение, что любое повышение успешности от претеста к посттесту отражает эффект экспериментального вмешательства. Если это предположение валидно, тогда нет необходимости формировать отдельные группы испытуемых.

В ряде простых ситуаций план «Одна-группа» может отвечать целям исследования. Однако, как правило, он им не отвечает. Слабость такого плана явствует из сказанного ранее об экспериментальном контроле: он допускает смешение экспериментального воздействия с рядом других факторов, которые могут обусловливать изменения от претеста к посттесту. Возьмем в качестве примера для пояснения этого момента программы вмешательства. Представьте, что мы набрали группу неблагополучных 4-летних детей, дали им тест на готовность к школе, провели с ними программу, разработанную для развития школьных навыков, и обнаружили значительное улучшение. Свидетельство эффективности нашей программы? Необязательно. Возможно, что улучшение является следствием естественного биологического созревания в ходе взросления детей — того, что Кэмпбелл и Стэнли назвали переменной созревания. Возможно, что улучшение является результатом других событий в жизни детей, которые произошли за время обучения по этой программе, — того, что Кэмпбелл и Стэнли назвали переменной истории. Возможно, что улучшение является следствием практики, полученной в ходе претеста, — того, что Кэмпбелл и Стэнли назвали переменной тестирования. Или же улучшение является следствием проявляющейся при любом повторном тестировании естественной тенденции к повышению первоначально низких показателей, — того, что Кэмпбелл и Стэнли назвали переменной регрессии. Ни одну из этих альтернативных гипотез нельзя исключить; все их можно было бы отвергнуть, если бы включалась отдельная контрольная группа, не подвергающаяся экспериментальному воздействию.

И межсубъектный, и внутрисубъектный планы принимают разнообразные формы. Ниже рассматриваются два из наиболее значимых вариантов; план уравненных групп (вид межсубъектного исследования) и план временных серий (вид внутрисубъектного исследования).

Таблица 3.3 Относительные достоинства внутрисубъектных и межсубъектных планов

Фактор Сравнение планов Удобство Во внутрисубъектном исследовании — меньше испытуемых; в межсубъектном исследовании — меньше времени на каждого испытуемого Статистические критерии Во внутрисубъектном исследовании — более мощные, чем в межсубъектном Эффект повторного тестирования Присутствует во внутрисубъектном исследовании, отсутствует в межсубъектном исследовании Возможность систематической ошибки отбора Присутствует в межсубъектном исследовании; отсутствует во внутрисубъектном исследовании Анализ взаимосвязей внутри группы Обязательно во внутрисубъектном исследовании; не возможно » межсубъектном исследовании Процедуры, производящие стойкие изменения Обязательно в межсубъектном исследовании; невозможно во внутрисубъектном исследовании