Наука и нулевая гипотеза

Наука и нулевая гипотеза

Наука начинается с так называемой нулевой гипотезы. Хотя для статистиков это выражение имеет совершенно конкретный смысл (относящийся к сравнению различных наборов данных), я пользуюсь термином «нулевая гипотеза» в более общем смысле: в стадии изучения гипотеза не является верной, или нулевой, пока не будет доказано обратное. Нулевая гипотеза означает, что Х не вызывает Y. Если вы считаете, что Х вызывает Y, тогда на вас лежит бремя доказательства: вы должны предоставить убедительные экспериментальные данные, чтобы отвергнуть нулевую гипотезу.

Статистические стандарты доказательства, необходимые, чтобы отвергнуть нулевую гипотезу, весьма существенны. В идеале при контролируемом эксперименте нам требуется быть по меньшей мере на 95–99 % уверенными в том, что результаты не обусловлены случайностью, прежде чем мы сможем предварительно признать этот эффект действительным. Из новостных сюжетов всем уже известен процесс одобрения Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA) новых медицинских препаратов, прошедших масштабные клинические испытания. Испытания, о которых идет речь, подразумевают сложные методы проверки утверждения, что медикамент Х (допустим, статин) вызывает снижение заболевания Y (допустим, сердечно-сосудистых болезней, связанных с уровнем холестерина). Нулевая гипотеза гласит, что статин не снижает уровень сердечно-сосудистых заболеваний путем снижения холестерина. Чтобы отвергнуть нулевую гипотезу, требуется наличие статистически значимой разницы в заболеваемости сердечно-сосудистыми болезнями между экспериментальной группой, получающей статин, и контрольной группой, которая его не получала.

Вот сравнительно простой пример работы этого метода статистической значимости в связи с нулевой гипотезой: может ли экстрасенс с помощью одного только экстрасенсорного восприятия определить, карта какого цвета взята из колоды – красная или черная? Экстрасенсы обычно заявляют, что могут сделать это, но мне по опыту известно: то, что люди говорят о своих способностях, и то, на что они способны на самом деле, не всегда одно и то же. Как можно проверить утверждение экстрасенсов? Если мы выкладываем карты на стол одну за другой, а экстрасенс говорит красная или черная каждая из них, сколько попаданий в точку понадобится, чтобы мы пришли к выводу, что верное определение цвета карты – не случайность? В этом сценарии нулевой гипотезой будет утверждение, что экстрасенс покажет результаты, которые ничем не лучше случайных, а чтобы отвергнуть нулевую гипотезу, нам понадобится принять количество точных попаданий, достаточное в каждом раунде. Имея в виду случайность, мы будем ожидать, что экстрасенс окажется прав в половине случаев. В колоде 52 карты, половина из них красные, половина черные, случайные догадки или подбрасывание монетки даст в среднем 26 точных попаданий.

Разумеется, как известно каждому, кто подбрасывал монетку ради развлечения, если подбросить ее 10 раз, это еще не значит, что 5 раз выпадет орел и 5 раз решка. Возможны многократные выпадения одной и той же стороны подряд и отклонения от симметрии – 6 орлов и 4 решки, 3 орла и 7 решек, и все они возможны по воле случая. Каждому, кто играл в рулетку, известно, что иногда красное выпадает чаще черного, или наоборот, и при этом ничуть не нарушаются случайность и произвольность. В сущности, мы учитываем эту асимметрию, когда делаем ставки, и надеемся, что проявим достаточную дисциплинированность и отойдем от игорного стола как раз в то время, когда случайность перестанет играть нам на руку.

Так что мы не можем просто проверить нашего экстрасенса в одной короткой серии карточных догадок, поскольку его ряд точных попаданий может объясняться случайностью. Нам необходимо провести множество экспериментов, в некоторых раундах результаты могут оказаться чуть ниже случайных (скажем, 22, 23, 24 или 25 попаданий), в других – чуть выше случайных (скажем, 27, 28, 29 и 30 попаданий). Отклонения могут быть еще значительнее, и при этом объясняться исключительно случаем. Что нам требуется, так это определить число, при котором мы можем с уверенностью отвергнуть нулевую гипотезу. В нашем примере это число 35. Экстрасенс должен продемонстрировать 35 точных попаданий на одну колоду из 52 карт, чтобы мы с уровнем уверенности 99 % отвергли нулевую гипотезу. Статистический метод, которым получено это число, в данном случае нас не касается.[400] Суть в том, что даже хотя 35 из 52 не выглядят труднодостижимыми, на самом деле получение такого количества попаданий за счет одной случайности настолько нетипично, что мы можем с уверенностью заявить («с уровнем уверенности 99 %»), что здесь имеет место не просто случайность.

Что бы это могло быть? Например, экстрасенсорное восприятие. Но может быть и что-нибудь другое. Может, наш контроль был недостаточно жестким. Может, экстрасенс получал информацию о черных и красных картах другими нормальными (в противоположность паранормальным) средствами, о которых мы не подозреваем, например, с помощью отражения лица карты на поверхности стола. Экстрасенс мог смошенничать неизвестным нам способом. Я видел, как Джеймс Рэнди проделал тот же самый эксперимент с полной колодой, разобрав ее на две аккуратные стопки красных и черных карт. Фокусник Леннарт Грин тасует и мешает колоду карт, возится с ней так, словно у него руки-крюки, неуклюже выравнивает колоду вновь, а затем раздает четыре выигрышные покерные сдачи или всю масть целиком в порядке старшинства, да еще с завязанными глазами.[401] Но Рэнди и Грин – фокусники, демонстрирующие фокусы. Если я не знаю, как они это делают, это еще не значит, что они показывают настоящую (паранормальную) магию, и тот факт, что большинство ученых не представляет, как делать такие фокусы, означает, что мы должны проявлять еще больше бдительности, контролируя опыты с участием экстрасенсов, возможно, даже пригласить для консультации фокусника в исследовательскую группу. Довод из области личного недоверия – если я не могу это объяснить, значит, это правда, – в науке не считается обоснованным.

И даже в условиях строжайшего контроля определенность по-прежнему ускользает от науки. Научный метод – лучший из когда-либо изобретенных инструментов для распознавания истинных и ложных паттернов, различения реальности и фантазии, выявления абсурда, но нужно всегда помнить, что нам свойственно ошибаться. Отвергнутая нулевая гипотеза – еще не гарантия истины, но вместе с тем неотвергнутая нулевая гипотеза еще не делает утверждение ложным. Нам следует оставаться непредвзятыми, но не настолько, чтобы принимать на веру все подряд. Временно признанные истины – лучшее, чего мы можем придерживаться.