Колледж

Однажды весенним днем 1983 года я слушал Уиллиса Стетсона, декана, ответственного за прием студентов в Пенсильванском университете, который описывал проблемы своего подразделения, точнее, ошибки, имевшие место в его работе. Я пришел потому, что возглавлял один из колледжей этого университета и мог непосредственно наблюдать плоды некачественного отбора. Я предложил приемной комиссии воспользоваться моим тестом и посмотреть, не сможет ли он лучше прогнозировать будущую успеваемость, чем существующие методы.

«В конце концов, - жаловался Стетсон, - это всего лишь статистическая оценка, и нам приходится мириться с определенным количеством ошибок».

Я спросил у него, как проходит отбор первокурсников. «Мы учитываем три важных фактора, - сказал он. - Школьные показатели, оценки вступительных экзаменов и результаты теста достижений. У нас имеется регрессионное уравнение - слава богу, мне не нужно объяснять вам, что это такое. Мы подставляем эти показатели в уравнение и получаем число, например, 3,1. Фактически это прогнозируемый средний балл первокурсника. Мы называем его прогностическим показателем (predictive index, PI). Если он достаточно высок, вас принимают».

Я действительно знал, что такое регрессионное уравнение, и то, насколько легко допустить ошибку, пользуясь им. Регрессионное уравнение принимает в расчет факторы прошлого, например ваши результаты по тесту SAT, школьные оценки, и связывает их с неким будущим критерием, например ожидаемым средним баллом обучения колледже. Затем подбирают числа, чтобы придать каждому фактору прошлого определенное значение и сделать его подходящим критерием. Так, например, если вы пытались бы предсказать вес новорожденного исходя из веса его родителей, вы могли бы собрать данные о последней тысяче младенцев, родившихся в определенном родильном доме, выписать их вес и вес их родителей, а потом обнаружить, что если разделить вес матери на 21,7, а вес отца на 43,4, потом получить среднее этих двух чисел, то результат будет соответствовать весу ребенка при рождении. При этом числа 21,7 и 43,4 не имеют никакого значения, полученный с их помощью показатель веса не связан ни с какой природной закономерностью; это просто статистические случайности. Регрессионные уравнения - это последний шанс, который используют, когда не знают, что еще можно сделать.

Именно этим и занимались в приемной комиссии. Взяв результаты теста SAT и школьные оценки нескольких групп первокурсников, они провели корреляцию со средним баллом этих новичков. И обнаружили, что приближенно (только приближенно), чем выше результаты по SAT, тем лучше оценки в колледже, и чем выше школьные оценки, тем выше успеваемость в колледже.

Но может оказаться, например, что оценки по SAT в два раза более надежный прогностический фактор успеваемости в колледже, чем школьные оценки, и в полтора раза надежнее, чем данные теста достижений. Может оказаться, что если число 5,66 умножить на средний школьный балл, прибавить 3,21, умноженное на результат теста достижений и прибавить еще 2,4, умноженное на показатель SAT, то полученный результат будет лучше «соответствовать» будущим показателям успеваемости первокурсников. Значения выбираются произвольно, просто потому, что они, оказывается, соответствуют. Поэтому прогнозы успеваемости носят исключительно статистический характер. Большинство ваших прогнозов оказываются верными, но при этом вы допускаете множество ошибок. А ошибки - это разочарованные и выражающие недовольство родители, перегруженные работой преподаватели и неспособные адаптироваться к нагрузкам студенты.

«Мы сталкиваемся с двумя видами погрешностей, - продолжал Стетсон. - Во-первых, некоторое количество студентов, к счастью, незначительное, учатся на первом курсе намного хуже, чем ожидалось. Во-вторых, гораздо большее количество показывают существенно лучшие результаты, чем их PI. Тем не менее нам бы хотелось получать более точные прогнозы. Расскажи мне подробнее о вашем тесте».

Я рассказал ему про ASQ и про теорию, на которой он построен. Объяснил, что люди, которые, согласно тесту, являются оптимистами, добиваются более высоких результатов, чем от них ожидалось, потому что, столкнувшись с серьезным испытанием, они удваивают свои усилия, в то время как пессимисты в случае неудачи капитулируют. Более часа я описывал в деталях тест ASQ и то, как он работает. Я рассказал, что мы делали в Metropolitan Life и проанализировал возможные последствия использования теста ASQ при отборе абитуриентов: дальнейшее снижение пределов погрешности и возможность давать более точный прогноз успеваемости первокурсников по сравнению с PI. «Вы упускаете часть способных молодых людей, - сказал я, - и принимаете других, которые не справляются. В любом случае это трагедия для детей и просчет для университета».

В конце концов Стетсон сказал: «Давайте попробуем. Проведем тестирование абитуриентов следующего набора».

В течение недели после формирования курса 1987 года более 300 студентов были протестированы с помощью ASQ. После чего мы стали просто ждать. Мы ждали, когда они столкнутся с первым серьезным испытанием - экзаменами в середине семестра, а затем изнурительными двухнедельными итоговыми экзаменами. Мы ждали, когда эти студенты, многие из которых блистали в средней школе, пройдут экзаменационное испытание в одном из ведущих университетов. Мы хотели узнать, кто из них потерпит неудачу, а кто преуспеет, столкнувшись с серьезным вызовом.

В конце первого семестра мы увидели ошибки, которые вызывали беспокойство декана. Одна треть студентов показала результаты более высокие или более низкие, чем прогнозировалось с опорой на данные теста SAT, школьные показатели и результаты теста достижений. Из этой сотни новичков около 20 человек оказались намного хуже, а около 80 - намного лучше.

Мы увидели то, что ожидали увидеть - ту же самую картину, которую наблюдали, работая с агентами по страхованию жизни и исследуя четвероклассников. Первокурсники, которые оказались на высоте положения и продемонстрировали результаты выше предсказанного им уровня успеваемости, на момент поступления, как правило, были оптимистами. Те, кто продемонстрировали результаты хуже ожидаемых, относились к категории пессимистов.