Сравнение условий Внутрисубъектные/межсубъектные планы

Сравнение условий

Внутрисубъектные/межсубъектные планы

Обратимся теперь к вопросу о том, как сравнивать два и более видов тестовых или экспериментальных условий. Как уже отмечалось, в принципе, возможно два подхода; либо дать одним и тем же испытуемым все задания (поставить их во все экспериментальные условия), либо приписать разных испытуемых к разным экспериментальным группам. Первое называется внутрисубъектиым планом, последнее — межсубъектным планом. Поскольку рассмотрение этих двух подходов потребует постоянных перекрестных ссылок и сравнений, проще всего описывать их параллельно, а не по отдельности.

Как исследователю решить, осуществлять сравнение внутри группы или между группами? Как и в случае с лонгитюдным методом и методом поперечных срезов, зачастую определенную роль играет вопрос удобства. Обычно (когда конкретно, мы вскоре уточним) для внутрисубъектного исследования требуется меньше испытуемых. Предположим, нам нужно сравнить уровень трудности трех заданий, и мы знаем, что для выявления различий в трудности нужно по меньшей мере 20 испытуемых. Всегда, когда контингент потенциальных испытуемых ограничен, экономичность внутрисубъектного плана представляется довольно заманчивой.

Однако соображения удобства не всегда склоняют чашу весов в пользу внутрисубъектного подхода. За меньший размер выборки во внутрисубъектном исследовании приходится платить — конкретно необходимостью больше времени уделять каждому испытуемому либо за счет более длительных обследований, либо за счет большего их числа. Длительные или частые обследования подвергают серьезному испытанию терпение и мотивацию ребенка, особенно маленького, даже если исследователя не тревожит возможность того, что от ребенка требуется слишком много, это может беспокоить родителей или школьную администрацию: В таких случаях межсубъектный план, в котором требования к одному ребенку сведены к минимуму, является наиболее разумным выбором.

Статистические соображения также могут влиять на решение в пользу либо внутри-, либо межсубъектного плана. Статистические критерии, используемые для сравнения внутри группы, несколько отличаются от тех, которые используются для межгруппового сравнения. Более того, внутрисубъектные критерии зачастую обладают большей мощностью, чем межсубъектный — то есть, скорее выявят значимое различие, если оно действительно существует. Большая мощность этих критериев обусловлена уменьшением нежелательной дисперсии, которое обеспечивает внутрисубъектные план. Вспомним обсуждавшиеся ранее понятия первичной дисперсии и вторичной дисперсии, или дисперсии ошибки. Как отмечалось, целью качественного экспериментального плана является максимизация первичной дисперсии и минимизации нежелательной дисперсии, источником которой являются другие факторы. Было также отмечено, что одним из источников нежелательной дисперсии являются индивидуальные различия между испытуемыми. Обследование одних и тех же испытуемых в разных экспериментальных условиях позволяет снизить эту дисперсию и таким образом расширить возможности сравнения. Как следствие, повышается вероятность того, что показатель различия достигнет уровня статистической значимости.

И внутри-, и межсубъектный планы подвержены особым формам систематических ошибок. Очевидным недостатком межсубъектного плана является возможность и систематической ошибки отбора. Поскольку разные люди ставятся в разные условия, всегда существует вероятность того, что любые обнаруженные различия отражают не истинный эффект экспериментальных манипуляций, а изначальные индивидуальные различия между испытуемыми. Во внутрисубъектном плане, в котором каждый испытуемый обследуется при каждом из условий, эта вероятность отсутствует. Заметьте, что данное преимущество внутрисубъектного плана перед межсубъектным соотносится с ранее описанным преимуществом лонгитюдного метода перед методом поперечных срезов.

Существует два способа исключить возможность систематической ошибки отбора в межсубъектном исследовании (вспомните табл. 2.3). Первый — уравнять потенциально значимые переменные; ниже мы рассмотрим плюсы и минусы уравнивания. Другой подход был описан в главе 2: случайное причисление испытуемых к разным группам. Если размер выборки достаточно велик, если причисление действительно производится по принципу случайности, изначальные различия между испытуемыми будут находиться под контролем, а смешения субъектных переменных и условий удастся избежать. Как указывалось в главе 2, логика подхода, основанного на случайности, безупречна; проблема в том, чтобы обеспечить положительный ответ на оба «если».

Наиболее явная причина искажения валидности в рамках внутрисубъектных планов — вероятность эффектов повторного тестирования. Рассмотрим исследование, направленное на сравнение уровня трудности нескольких когнитивных заданий. Исследователь выбрал внутрисубъектный план, в котором каждый ребенок выполняет все задания. Поскольку на выполнение каждого из них требуется время, в процессе решения дети могут утомиться и потерять интерес. Поэтому успешность выполнения последних заданий может оказаться ниже успешности выполнения первых заданий. Или наоборот, в начале исследования дети могут испытывать некоторую робость и смущение, но освоиться в процессе тестирования. В этом случае успешность будет повышаться. В обоих примерах эффект повторного тестирования исказил бы результат сравнения трудности заданий, который собственно и интересует исследователя.

Описанные выше эффекты «врабатывания» и «утомления» попадают в разряд эффектов последовательности. Термин эффект последовательности характеризует любую общую тенденцию закономерного изменения успешности выполнения заданий от первых к последним. Обычно закономерное изменение заключается либо в общем повышении, либо в общем снижении успешности. Другая потенциальная проблема, связанная с внутрисубъектными планами, — это вероятность эффекта переноса. Об эффекте переноса говорят, когда ответ на одно задание (реакция в одних условиях) изменяется в зависимости от того, предшествует ему некое другое задание (другие условия) или следует за ним. Приведем пример, поясняющий это кажущееся довольно туманным определение. Представьте, что нужно сравнить уровень трудности двух заданий: Л и В. Допустим, что по отдельности эти задания могут правильно решить 50 % испытуемых. Однако оказывается, что если сначала идет задача Л, ее решение подсказывает путь решения задачи В, в результате частота правильных ответов на задачу В повышается до 70 %. Выполнение же задания В, если оно идет первым, подсказывает испытуемому пути решения, непригодные для решения задачи Л; в результате частота правильных ответов на задание Л падает до 30 %. Заметьте, что в этом случае в ходе экспериментального сеанса не обнаруживается ни общего улучшения, ни общего ухудшения; суть в том, что успешность выполнения одного задания зависит от того, идет оно до или после некоего другого задания. Хотя конкретные механизмы могут различаться, смысл эффекта последовательности и эффекта переноса общий: затруднение интерпретации при сравнении заданий или условий.

Чаще всего эффект последовательности создает проблемы в тех случаях, когда экспериментатор постоянно предъявляет задания в одном порядке. Отсюда рекомендация: при сравнении заданий или условий следует избегать одинакового порядка предъявления. Есть две альтернативы неизменной последовательности. Первая — рандомизация порядка заданий или условий. В определенных случаях, особенно когда количество заданий велико, рандомизация может оказаться весьма разумным решением. Однако зачастую рандомизации следует предпочесть контрбалансировку последовательности предъявления. Суть контрбалансировки легче объяснить на примере, чем через определение; простой пример представлен в левой верхней части табл. 3.2. Как можно заметить, контрбалансировка — это метод такого упорядочения заданий, при котором некоторое задание занимает разные позиции в ряду равное количество раз. Так, в данном примере задание А появляется одинаково часто на первом, втором и третьем месте; более того, оно равно часто предшествует заданиям В и С и следует за ними. В этим случае контрбалансировка полная — то есть использованы все возможные комбинации трех заданий. Очевидно, что с увеличением количества заданий возрастает и число возможных перестановок; 4 задания можно скомбинировать 24 способами (они представлены в верхней правой части табл. 3.2), а 5 заданий — 120 способами. В таких случаях полная контрбалансировка нецелесообразна; однако все еще можно отобрать такие последовательности, которые создавали бы достаточную сбалансированность. Примеры таких последовательностей для четырех и пяти заданий представлены в нижней части табл. 3.2.

Контрбалансировка обладает двумя преимуществами перед рандомизацией. Во-первых, она исключает вероятность смешения содержания задания с порядком предъявления, чего не может сделать рандомизация. Во-вторых, поскольку смешение устраняется, исследователь получает возможность сравнить разные последовательности предъявления и выделить любые эффекты последовательности или переноса, которые могут присутствовать в данных. Однако обратите внимание на то, что эти эффекты можно обнаружить, только если выборка достаточно велика и каждый вид последовательности представлен достаточно часто. Это замечание уточняет сделанное ранее заявление о том, что для внутрисубъектного исследования обычно требуется меньше испытуемых, чем для межсубъектного: всегда, когда имеет значение возможный эффект последовательности, количество испытуемых, необходимое для внутрисубъектного исследования, существенно возрастает.

Таблица 3.2 Примеры полной и частичной контрбалансировки

До этого момента мы рассматривали ряд факторов, которые должен учесть исследователь, делая выбор между внутри- и межсубъектным планом. Однако в некоторых случаях выбора просто нет; характер исследуемого вопроса сам диктует решение, каким должен быть план. В частности, всегда когда нужно выявить закономерности успешности выполнения заданий внутри группы, необходим внутри-субъектный план. Когда же нужно выявить определенные стойкие изменения как результат экспериментального воздействия, необходим межсубъектный план. Конкретизируем оба этих положения.

Замечание, касающееся выявления внутригрупповых закономерностей, перекликается с высказанным ранее аргументом в пользу лонтитюдных планов. Там мы указали на то, что везде, где речь идет об индивидуальной стабильности или индивидуальных изменениях во времени, требуется лонгитюдный подход, при котором испытуемые изучаются в процессе своего развития. Аналогично, везде, где речь идет о связи между двумя или более показателями в определенный момент времени, требуется внутрисубъектный подход, при котором одни и те же испытуемые оцениваются по ряду параметров. Предположим, что нам интересно, связано ли умение ребенка встать на чужую позицию с его способностью сообщать информацию другим людям (например, Shantz, 1975). Очевидно, что мы не можем оценить умение занимать чужую позицию у одной группы детей, а способность сообщать информацию — у другой, мы должны измерить оба параметра у всех детей. Предположим (возвращаясь к прежнему примеру), что мы хотим узнать, связаны ли показатели IQ Детей с их отметками в школе. Мы не можем оценить IQ в одной выборке, а IQ — в другой; вновь нужно измерить оба параметра у всех детей. Или допустим (предваряя пример, который более подробно разбирается в главе 11), что нас интересует последовательность овладения рядом когнитивных навыков. Действительно ли, к примеру, как утверждал Пиаже, дети осваивают принцип сохранения массы до принципа сохранения веса, а принцип сохранения веса — до принципа сохранения объема? Единственный способ узнать это — проанализировать представления детей о всех трех принципах. Эти примеры иллюстрируют основной мотив использования внутрисубъектного подхода: выявление взаимосвязей и закономерностей развития.

Замечание, касающееся экспериментального воздействия, приводящего к изменениям, в некотором отношении сходно с тем, что говорилось ранее об эффекте тестирования в лонтитюдных планах и эффекте переноса во внутрисубъектных планах. Суть в том, что опыт выполнения определенного задания или пребывания в определенных экспериментальных условиях может сделать испытуемого непригодным для оценки выполнения им других заданий или реакции в других экспериментальных условиях. Допустим, мы хотим сравнить эффективность нескольких методов обучения принципам сохранения (например, Smith, 1968). Мы набираем группу детей, не имеющих представлений о сохранении, и ставим их в условия обучения А. Вряд ли имеет смысл ставить затем этих же детей в условия В, так как, если условия А оказались эффективными, многие из детей уже будут владеть принципом сохранения! Тот же довод применим и в отношении любого исследования, цель которых добиться стойких изменений у испытуемых — программы вмешательства для так называемых неблагополучных детей, терапевтические программы для детей с психическими нарушениями, образовательные программы для родителей, ожидающих ребенка, и т. д. Во всех случаях, желая сравнить эффективность разных программ, мы должны использовать межсубъектный план, при котором разные испытуемые ставятся в разные экспериментальные условия. Обратите внимание также, что справедливость данного довода не ограничивается ситуациями активного изменения (вмешательство или терапия); он справедлив и для более локальных, краткосрочных изменений. Предположим, что нас интересует вопрос, помогает ли детям обучение проговаривать запоминаемое вслух при выполнении заданий на кратковременную память (например, Ferguson & Bray, 1976). Вряд ли дети, которых научили этой стратегии, перестанут ее использовать, как только мы перестанем давать соответствующую инструкцию; желая выявить эффект проговаривания, мы должны протестировать разные группы испытуемых. По поводу последнего примера и сделанного на его основе вывода может возникнуть возражение. В случае с проговариванием нас интересует не относительная эффективность нескольких видов экспериментального воздействия, а то, приведет ли оно вообще к улучшению по сравнению с исходным уровнем. Действительно, мы не можем сначала применить воздействие, а затем оценить успешность выполнения задания при его отсутствии. Но почему не сделать все в обратном порядке — то есть сначала измерить естественный уровень успешности выполнения ребенком заданий на память, применить воздействие, а затем вновь измерить память? Этот способ иллюстрирует план «Одна-группа претест-посттест» (Campbell & Stanley, 1966). Основанием для использования этого плана служит предположение, что любое повышение успешности от претеста к посттесту отражает эффект экспериментального вмешательства. Если это предположение валидно, тогда нет необходимости формировать отдельные группы испытуемых.

В ряде простых ситуаций план «Одна-группа» может отвечать целям исследования. Однако, как правило, он им не отвечает. Слабость такого плана явствует из сказанного ранее об экспериментальном контроле: он допускает смешение экспериментального воздействия с рядом других факторов, которые могут обусловливать изменения от претеста к посттесту. Возьмем в качестве примера для пояснения этого момента программы вмешательства. Представьте, что мы набрали группу неблагополучных 4-летних детей, дали им тест на готовность к школе, провели с ними программу, разработанную для развития школьных навыков, и обнаружили значительное улучшение. Свидетельство эффективности нашей программы? Необязательно. Возможно, что улучшение является следствием естественного биологического созревания в ходе взросления детей — того, что Кэмпбелл и Стэнли назвали переменной созревания. Возможно, что улучшение является результатом других событий в жизни детей, которые произошли за время обучения по этой программе, — того, что Кэмпбелл и Стэнли назвали переменной истории. Возможно, что улучшение является следствием практики, полученной в ходе претеста, — того, что Кэмпбелл и Стэнли назвали переменной тестирования. Или же улучшение является следствием проявляющейся при любом повторном тестировании естественной тенденции к повышению первоначально низких показателей, — того, что Кэмпбелл и Стэнли назвали переменной регрессии. Ни одну из этих альтернативных гипотез нельзя исключить; все их можно было бы отвергнуть, если бы включалась отдельная контрольная группа, не подвергающаяся экспериментальному воздействию.

И межсубъектный, и внутрисубъектный планы принимают разнообразные формы. Ниже рассматриваются два из наиболее значимых вариантов; план уравненных групп (вид межсубъектного исследования) и план временных серий (вид внутрисубъектного исследования).

Таблица 3.3 Относительные достоинства внутрисубъектных и межсубъектных планов