Статистика — яд для ума

Статистика — яд для ума

Обратимся теперь к любимой теме Канемана и Тверски, являющейся наиболее сложной для понимания и играющей существенную роль в понимании работы АКС и АС — «регрессии к среднему». Канеман описывает случай из своей практики обучения авиаинструкторов эффективным приёмам тренинга. Он пытался довести до инструкторов мысль, что вознаграждение в обучении эффективнее наказания. После окончания вдохновенного доклада Канемана один из наиболее опытных инструкторов поднял руку и сообщил, что поощрение может быть работает на животных, но для пилотов оно непригодно. Он рассказал, что когда он хвалил кадетов за удачно проведённый маневр, в следующий раз они выполняли его существенно хуже. Когда же он бранил пилотов за ошибки, они улучшали свои результаты.

Инструктор был прав и одновременно он был абсолютно неправ. Его наблюдения были совершенно корректны: после поощрения результаты ухудшались, а после наказания они становились лучше. Но его вывод об эффективности поощрения и наказания был полностью неправилен. То, что он наблюдал, являлось проявлением «регрессии к среднему» вследствие обычной флуктуации качества выполнения действий пилотами. Само собой разумеется, что инструктор хвалил только те действия пилотов, которые выходили за рамки среднего уровня. Однако, скорее всего, пилот был в данном случае просто удачлив и в следующий раз выполнял упражнение на своём обычном уровне. Точно также разносу подвергались только кадеты, выполнившие упражнение особенно плохо, но в следующий раз они выполняли упражнение на своём обычном уровне независимо от наказания. Инструктор же видел причинную связь между поощрением и наказанием случайных флуктуаций уровня успешности выполнения действий пилотами.

Разъяснение Канемана было встречено без особого энтузиазма, особенно та часть, которая касалась статистики и теории вероятности. Тогда с инструкторами был проведён следующий эксперимент: Канеман отметил мелом на полу в классе цель, преложил всем инструкторам последовательно повернуться спиной к цели и два раза подряд бросить монету, пытаясь попасть в цель. Все результаты были записаны и проранжированы. Из записай стало видно, что большая часть (но не все) инструкторов, удачно бросивших монету в первой попытке, не смогли сделать этого повторно, и наоборот, неудачники в первой попытке (но не все), смогли улучшить свой результат во второй попытке. Канеман разъяснил инструкторам, что результаты, которые они видят на доске, соответствуют результатам кадетов — хорошие результаты могут ухудшиться и плохие улучшиться, но не вследствие похвалы или ругани, а как естественное проявление статистической флуктуации результатов. Что из этого следует? По большей части инструкторы хвалили и наказывали кадетов ни за что, их педагогическая деятельность только ухудшала обучение пилотов. Следует признать, что авиаинструкторы здесь не одиноки, мы все ведём себя очень часто подобным образом.

Феномен регрессии чужд и враждебен человеческому уму. Настолько чужд, что потребовалось двести лет после теории гравитации и дифференциального исчисления, чтобы опознать и осознать его, что удалось Фрэнсису Гальтону в 1886 году. Гальтон был поражён распространённостью регрессии. Действительно, мы встречаем регрессию повсюду, только мы не умеем распознавать её. Заслугой Гальтона явилось то, что он показал, что если корреляция между двумя измерениями незначительна, то имеет место регрессия. Ему потребовалось несколько лет, чтобы понять, что корреляция и регрессия являются не двумя различными концепциями, а различными перспективами одной и той же концепции: слабая корреляция ведёт к регрессии к среднему.

Для прояснения обратимся к примеру Канемана (Kahneman, 2011, p. 178): «Женщины с высоким интеллектом стремятся выйти замуж за мужчин со значительно более низким уровнем интеллекта».

Эта тема подходит для обсуждения в компании и если вы её предложите, то ваши знакомые и друзья незамедлительно найдут подходящие объяснения. Даже люди, имеющие определённые знания в области статистики, будут пытаться найти причинные объяснения, например: высокоинтеллектуальные женщины стремятся избежать конкуренции со стороны равноинтеллектуальных мужчин; высокоинтеллектуальные женщины вынуждены брать в мужья малоинтеллектуальных мужчин, так как высокоинтеллектуальные мужчины не хотят конкурировать с равноинтеллектуальными женщинами и т. п.

Теперь представим, что для обсуждения представлена следующая тема: «Корреляция между уровнем интеллекта супругов является незначительной». Это высказывание является абсолютно точным и абсолютно неинтересным. Действительно, кто предполагал, что корреляция должна быть высокой? Здесь нечего объяснять. Однако высказывания, которое вы нашли интересным и второе, тривиальное, алгебраически абсолютно эквивалентны. Если корреляция между уровнем интеллекта супругов является незначительной (мужчины и женщины, в среднем, не отличаются по интеллекту), тогда математически неизбежно следует, что высокоинтеллектуальные женщины будут иметь супругами малоинтеллектуальных мужчин (и наоборот). Регрессия к среднему не может быть более интересна или иметь больше объяснений, нежели слабая корреляция.

Почему нам так сложно понять регрессию к среднему? Наш ум предельно ориентирован на поиск причинных зависимостей и не обращает никакого внимания на «всего лишь статистику». Если наше внимание привлечено к какой-то ситуации, то ассоциативная память будет подчинена задаче поиска причин для этого, точнее, наша память будет автоматически искать сходные ситуации и вызвавшие их причины из всего имеющегося набора. Причинные объяснения будут найдены, даже если будет обнаружена регрессия, но эти объяснения будут заведомо ложными, потому-что регрессия к среднему имеет объяснение, но оно никоим образом не связано с причиной и следствием. Представьте себе, вы слушаете комментарии финансового эксперта по телевизору и он говорит, что Доу Джонс сегодня упал вследствие отсутствия спроса на новые дома в Америке — есть причина и следствие, всё ясно и понятно. Теперь представьте себе что тот же комментатор говорит, что Доу Джонс сегодня упал просто вследствие того, что вчера он поднимался.

Наши трудности с пониманием регрессии к среднему связаны одновременно и с автономным комплексом систем и с аналитической системой. Без специальной инструкции, а в некоторых случаях и после такой инструкции, связь между корреляцией и регрессией остаётся туманной. Для аналитической системы является сложным понять и обучиться этому. Часто это является следствием постоянно исходящего от АКС запроса на причинно-следственную интерпретацию, что, впрочем, является функцией автономного комплекса систем.

Вы нашли в газете заголовок: «Состояние депрессивных детей, три месяца подряд пивших энергетический напиток, существенно улучшилось». Вы можете подумать, что это рекламный трюк, но это правда. Если вы будете три месяца подряд поить группу депрессивных детей энергетическим напитком, клинические испытания покажут, что их состояние значительно улучшилось. Интересно заметить, что если вы можете организовать ещё две группы депрессивных детей и вторая группа будет каждый день в течении трёх месяцев по полчаса стоять на голове, а третья группа будет по часу в день играть с котом, то клинические испытания также покажут, что состояние детей в группе два и в группе три также значительно улучшилось.

Многие читатели, прочитав подобные заголовки, тут же решат, что состояние депрессивных детей улучшилось вследствие принятия энергетического напитка, или стояния на голове, или терзания кота — на этот вывод будет совершенно неправилен. Депрессивные дети являются экстремальной группой, которые особенно склонны к регрессии к среднему через некоторое время. Корреляция между уровнем депрессии и любым способом лечения незначительна, следовательно, имеет место регрессия к среднему: депрессивным детям со временем станет лучше, даже если они не пьют энергетический напиток или не мучают кота. Для того, чтобы выяснить действие напитка, кота или любой другой терапии, вам требуется контрольная группа детей, которая этих средств не получала. Контрольная группа должна показать действие только изолированной регрессии, тогда как весь эксперимент направлен на изучение действия терапии, которое должно быть больше, чем это можно было бы объяснить регрессией. Здесь следует однако указать, что не только непрофессионалы, но и именитые исследователи часто пытались и пытаются дать причинно-следственное объяснение событиям при наличии слабой корреляции, упуская из вида регрессию к среднему…

Канеман (Kahneman, 2011, p. 180) в качестве ошибки интуитивного прогноза приводит пример Макса Бэйзермэна:

Вы ответственны за за прогноз продаж в отделе сети филиалов. Все филиалы равны по размеру и имеют одинаковый ассортимент, но объём их продаж рознится в зависимости от месторасположения филиала, фактора конкуренции, а также случайных факторов. Вы получили отчёты за 2011 и должны сделать прогноз продаж на 2012. Вы получили общий прогноз экономического отдела, что продажи в 2012 году в целом могут вырасти на 10 %. Как вы заполните следующую таблицу?

Зная о существовании регрессии к среднему, вы можете предложить, что очевидное решение — увеличить объём продаж каждого филиала на 10 % — будет неправильным. Если вы хотите, чтобы ваше решение было регрессивным, вы увеличите продажи филиалов с малым объёмом и уменьшите для филиалов с большим. Но для большинства экономистов это решение будет совсем неочевидным…

Мы непрерывно сталкиваемся в нашей жизни с прогнозами: мы делаем их сами либо получаем от других людей. Метеорологи делают прогноз погоды, экономисты — прогноз инфляции, финансовые аналитики — прогноз движения рынка, издатели и продюсеры прогнозируют аудиторию, конструкторы — прогноз окончания работы над проектом, строители оценивают количество бетона, необходимое для строительства объекта. Дома мы прогнозируем реакцию жены на наш поздний приход с «работы» или предложение новой работы в Магадане.

Некоторые прогнозы, например, инженеров, основываются на специальных таблицах, сложных расчётах и анализе сходных конструкций. Другие требуют включения интуиции и автономного комплекса систем, при этом возможны два случая. В первом интуиция основывается на опыте, полученном в результате деятельности в повторяющихся ситуациях. Оценка шахматной позиции выдающимися шахматистами, или пожарниками в случае пожара, или хирургами при проведении операций основываются на этом типе интуиции, на приобретённых тяжёлым длительным трудом навыках. Решения при этом мгновенно приходят на ум, как только распознаются ключевые характеристики ситуации.

Во втором случае интуиция, во многом субъективно для нас неотличимо от первого случая, связана с эвристиками, которые часто подменяют сложные вопросы, требующие решения, более лёгкими, ответы на которые имеются у АКС. Естественно, многие решения, принимаемые особенно в профессиональной области, являются комбинацией анализа и интуиции.

Обратимся к следующему примеру Канемана (Kahneman, 2011, p. 182):

«Джули является в настоящий момент старшекурсницей университета. Когда ей было четыре года, она могла уже бегло читать. Как вы думаете, какова её средняя оценка успеваемости (GPA — Grade Point Average)?».

Люди, знакомые с американской системой образования, быстро придут к значению, близкому к 3,8 (те, кто незнаком с этой системой, поверьте Канеману на слово). Как получилось это значение? Были вовлечены различные операции АКС.

• Была найдена причинно-следственная связь между способностью Джули к чтению в раннем возрасте и прогнозом её GPA. Чтение в раннем возрасте и высокая GPA могут являться показателями академического таланта. Ассоциативная система вероятно отвергла бы информацию о способности Джули ловко пользоваться спиннингом или то, что она была чемпионкой школы по тяжёлой атлетике. Мы способны выявить нерелевантную или ложную информацию, но тонкая дифференцировка для АКС недоступна. В результате интуитивный прогноз почти полностью нечувствителен к качеству информации, на которой он основывается. Если причинно-следственная связь найдена, в данном случае способность к раннему чтению, то применяется БИНТ: наша ассоциативная память быстро и автоматически конструирует наилучшую историю из имеющейся в наличии информации.

•Следующим шагом будет проверка релевантности информации. Насколько необычным является ребёнок, бегло читающий в четыре года? Сколько процентов детей этого возраста могут читать? Группа, с которой будет сравнена Джули (референтная группа), не определена, но в нормальной жизни так обычно и происходит — если вам кто-то говорит, что выпускник вуза «очень одарён», вы вряд ли спросите: «Когда вы говорите „очень одарён“, какую референтную группу вы имеете в виду?»

•Далее вовлекаются в игру субституция и степень совпадения. Ответ на вопрос о значении GPA будет подменён ответом на вопрос, насколько одарён ребёнок, научившийся рано читать. Джули будет приписан небольшой процент имеющих высокие значения GPA, соответствующий проценту детей, умеющих читать в четыре года.

•Наконец, вследствие того, что вопрос требует численного значения GPA, будет произведена ещё одна операция, в которой интенсивность чувств, возникающих при оценке академических достижений Джули, будет переведена в численное значение, соответствующее её таланту.

По сути дела, люди дают один и тот же ответ на два совершенно разных вопроса:

— Сколько процентов детей умеют, как и Джули, читать в четырёхлетнем возрасте? — Сколько процентов студентов имеют такой же высокий GPA, как и Джули?

Как вы теперь можете себе представить, мы явно имеем дело здесь с автономным комплексом систем.

С целью коррекции интуитивного прогноза Канеман (Kahneman, 2011, p.186) предлагает использовать следующую формулу:

возраст начала чтения=общие факторы+специфические факторы для возраста начала чтения=100 % GPA=общие факторы+специфические факторы для GPA=100 %

Общие факторы включают генетически обусловленные способности, уровень поддержки семьёй стремления получения образования и всё прочее, что способствует людям, начавшим рано читать, успешно учиться в вузе. Естественно, многие факторы могут иметь определяющее значение. Родители Джули могли быть одержимы идеей сделать своего ребёнка вундеркиндом и сделали всё, чтобы заставить её научиться рано читать. Джули могла несчастливо влюбиться в вузе и забросить занятия или получить травму головы во время занятиями спортом, что могло повлиять на её умственные способности и т. п.

Корреляция между возрастом начала чтения и GPA равна пропорции общих факторов среди прочих факторов. Какова эта пропорция? По мнению Канемана, она в лучшем случае лежит вокруг 30 %. Теперь попробуем сделать наш прогноз менее подверженным ошибкам.

1. Начнём с оценки средней GPA.

2. Определим GPA, которая соответствует нашим представлениям согласно имеющейся информации.

З. Оценим корреляцию между нашими представлениями и GPA.

4. Если корреляция равна 0,3, скорригируем наши первоначальные 30 %.

Шаг 1 даёт нам базовое значение, априорную вероятность, которую мы могли бы прогнозировать, если бы мы не располагали никакой другой информацией о Джули кроме факта её принадлежности к студентам вуза. При отсутствии информации мы должны прогнозировать среднее значение. Шаг 2 является нашим интуитивным прогнозом, сделанным на основе полученных данных. Шаг 3 позволяет нам сдвинуться от базового значения в направление нашего интуитивного прогноза в зависимости от оценки корреляции. В шаге 4 мы завершаем работу над нашим прогнозом, сделанным нами интуитивно, но теперь существенно сглаженным.

Таков общий подход к прогнозам. Он основывается на нашей интуиции, но является сглаженным, регрессирующим к среднему. Когда у нас есть серьёзные основания верить в точность нашего интуитивного предсказания — сильная корреляция между имеющимися данными и прогнозом, сдвиг с сторону среднего будет незначителен.

Интуитивные прогнозы должны быть коррегированы, поскольку они нерегрессивны и потому подвержены ошибкам. Если вы используете детские достижения для предсказания успешности обучения в вузе без регрессии к среднему, вы будете часто разочарованы академическими результатами вундеркиндов и поражены успехами тех, кто начал читать в более позднем возрасте. Скорректированный интуитивный прогноз снимает эту ошибку. Естественно, ваши прогнозы и далее будут неточными, но уровень ошибки будет существенно меньше.

Экстремальные прогнозы и готовность прогнозировать редкие события, основываясь на недостаточной информации являются проявлением АКС. Для ассоциативных механизмов естественно совпадение экстремального прогноза с экстремальностью воспринимаемого явления, на котором этот прогноз основывается, так работает субституция. Типичным для АКС является и продуцирование слишком достоверного суждения, поскольку достоверность определяется качество той истории, той рационализации, которую вы сделаете, основываясь на минимуме имеющейся в распоряжении информации. Вы должны сознавать, что ваша интуиция будет всегда стремиться поставлять вам чересчур экстремальные прогнозы, делая вас при этом игрушкой судьбы.

Регрессия является также проблемой и для аналитической системы. Идея регрессии чужда для АС, эту идею трудно донести до людей и ещё труднее её понять (самому Гальтону понадобилось для этого достаточно много времени). Как не стараются преподаватели статистики, большинство студентов заканчивают вуз лишь с туманным представлением о регрессии. Аналитическая система требует специальной тренировки в этом случае. Мы не научаемся из нашего опыта распознавать регрессию. Но даже если регрессия бывает распознана, она обычно объясняется, основываясь на причинно-следственных связях, что ведёт к ошибке.