Не просто измеряй: экспериментируй

Не просто измеряй: экспериментируй

Во многих обстоятельствах само по себе улучшение способности измерять не дает то, что нам нужно знать. Например, один мой коллега недавно беседовал с руководителем финансовой службы некой крупной американской корпорации. Последний признался, что за предыдущий год его компания потратила около 400 млн долларов на «рекламу бренда». Не конкретных товара или услуги — только «бренда». Насколько же эффективно были потрачены эти деньги? Респондент пожаловался, что не знает правильную цифру — то ли 400 млн, то ли ноль. Давайте-ка задумаемся об этом. Руководитель финансовой службы не говорил, что 400 млн не были эффективными, — он просто сказал, что не имеет представления, насколько эффективны они были. Очень может статься, не потрать компания на рекламу бренда ни цента, ничего бы не изменилось. И, наоборот, отказ потратить деньги мог бы обернуться настоящей катастрофой. Он просто не знал.

На первый взгляд, 400 млн — слишком большая сумма для того, чтобы понятия не иметь, куда она девалась. Однако в реальности это капля в море. Каждый год американские корпорации в совокупности тратят около 500 млрд долларов на маркетинг. И нет причин думать, будто этот человек чем-то отличается от руководителей финансовых служб других компаний. Более честный — быть может. Но не более или менее уверенный. Следовательно, тот же самый вопрос мы должны задавать обо всех 500 млрд. Насколько сильное влияние на поведение потребителей они оказывают в действительности? Имеет кто-нибудь хоть малейшее представление? Если настаивать, рекламодатели часто цитируют Джона Ванамейкера[39]: «Половина денег, которые я трачу на рекламу, не приносит пользы. Я просто не знаю, какая именно это половина». Это замечание актуально и всегда вызывает смех. Но чего многие люди не понимают, так это того, что Ванамейкер произнес эту фразу почти 100 лет назад — примерно в то же самое время, когда Эйнштейн опубликовал свою теорию относительности. Как же так получилось, что, несмотря на невероятные научные и технические достижения со времен Ванамейкера — пенициллин, атомную бомбу, ДНК, лазеры, космические полеты, суперкомпьютеры, Интернет, — его недоумение остается столь же релевантным сегодня, как и тогда?

Дело точно не в том, что рекламодатели не научились производить измерения лучше и точнее. Наряду с их собственными электронными базами данных по продажам, независимыми рейтинговыми агентствами (такими как Nielsen или Comscore ) и недавним увлечением онлайн-данными по кликам, можно измерить много других переменных — причем в гораздо большем разрешении, чем это делал Ванамейкер. Пожалуй, мир рекламы располагает настолько огромным количеством данных, что сам не знает, как их использовать. Реальная беда в том, что рекламодатели хотят знать, является ли их реклама причиной повышения продаж, но, к сожалению, измеряют, как правило, лишь корреляцию между двумя этими фактами.

Компании часто определяют размеры своих бюджетов на следующий год как функцию предвосхищаемого объема продаж либо повышают свои затраты в течение пиковых периодов шопинга (например, праздников). Обе эти стратегии совершенно разумны. Однако и первая, и вторая ведут к корреляции рекламы и продаж вне зависимости от эффективности первой^{220}.

В теории, разумеется, каждый «знает», что корреляция и каузация — разные вещи. Но на практике их так легко спутать, что мы грешим этим постоянно. Если садимся на диету и начинаем худеть, очень соблазнительно сделать вывод, что снижение веса обусловила диета. Но ведь когда люди садятся на нее, они, как правило, меняют и весь прежний образ жизни — например, больше занимаются спортом, больше спят, да просто уделяют больше внимания своему питанию. Любое из этих изменений — или, что более вероятно, некая их комбинация — может быть ответственно за потерю веса так же, как и определенный рацион. Но раз уж мы сосредоточились на диете, то, конечно, дело исключительно в ней, и никакие иные факторы тут вовсе ни при чем. Аналогичным образом любая рекламная кампания проводится на фоне множества других изменяющихся факторов — таким образом, никогда нельзя знать наверняка, действительно ли соответствующее поведение потребителей вызвано рекламой, а не чем-то иным. Тем не менее, если фирмы тратят деньги на рекламу, после чего увеличиваются продажи, узнаваемость бренда и прочее — фактически любая переменная, которую будет угодно измерить, — логично предположить, что вызван этот рост именно рекламой.

Такое рассуждение, по сути, и есть в точности та самая post-hoc ошибка, которую мы обсуждали в четвертой главе. Оттуда же мы знаем, что единственное решение — это провести эксперимент, в котором «лечение» (будь то диета или рекламная кампания) применяется в одних случаях и не применяется в других. Если интересующее событие (потеря веса, увеличение продаж и т. д.) в «экспериментальной» группе наблюдается существенно чаще, чем в «контрольной», можно сделать вывод: именно оно и вызывает эффект. В противном случае такого утверждать нельзя. Эта концепция очень проста, но именно благодаря ей за последние несколько веков наука достигла столь потрясающего прогресса. В медицине, если вы помните, лекарство может быть одобрено Федеральным управлением по контролю качества продуктов питания и лекарственных препаратов только после клинических испытаний, в ходе которых одни подопытные используют препарат, а другие либо не получают ничего, либо плацебо. Только если людям, принимавшим лекарство, становится лучше чаще, чем тем, которые его не принимали, фармацевтической компании разрешается утверждать, что препарат эффективен.

Точно так же должны рассуждать и рекламодатели. Как и в медицине, без экспериментов здесь невозможно установить причинно-следственную связь и, следовательно, измерить настоящую отдачу от инвестиций в рекламу^{221}. Допустим, выпуск нового продукта сопровождается рекламной кампанией, и он продается, как горячие пирожки. Разумеется, можно вычислить отдачу от инвестиций, основываясь на том, сколько было потрачено денег и каким получился уровень продаж. Именно это обычно и делается. А что, если бы товар стал хитом и продавался бы так же хорошо без всякой рекламы вообще? Тогда ясно, что деньги потрачены впустую. И наоборот: что, если иной рекламный ход дал бы в два раза больше продаж за ту же цену? Опять-таки, в относительном смысле предпринятая кампания дала плохую отдачу по инвестициям, хотя и «сработала».

Более того, без экспериментов крайне сложно установить, какая доля очевидного эффекта рекламы объясняется предрасположенностью видевшего ее человека. Часто замечают, например, что спонсорские ссылки в поисковиках, которые вы видите с правой стороны страницы, дают гораздо лучшие результаты, чем объявления, отображаемые на большинстве других вебстраниц. Но почему? В основном тип спонсорских ссылок, которые вы видите, очень сильно зависит от того, что вы ищете. Люди, запрашивающие «карта Visa», скорее всего, обнаружат рекламу компаний, продающих кредитные карты, а те, кто запрашивает «Ботокс», — объявления косметологов. Однако и те и другие заинтересованы в предмете этих объявлений больше, чем остальные пользователи. А значит, то, что кто-то кликнувший на рекламу «карта Visa» впоследствии закажет ее себе, может быть лишь отчасти поставлено в заслугу самому объявлению: ведь этот конкретный потребитель так или иначе собирался приобрести ее.

Это очевидно, но, по обыкновению, неверно истолковывается рекламодателями^{222}. В реальности последние часто делают ставку на тех потребителей, которые с большей вероятностью купят их товары — потому что они либо делали это раньше (например, Pampers ), либо покупали товары той же категории (например, у конкурентов Pampers), либо их качества или обстоятельства скоро вынудят их сделать это (например, молодая пара, ожидающая ребенка). Прицельная реклама такого типа нередко считается квинтэссенцией научного подхода. Но, опять-таки, по крайней мере некоторые из указанных потребителей — возможно, даже многие — все равно купили бы тот или иной товар. Следовательно, реклама на них никак не подействовала — как и на тех, кто видел ее, но не заинтересовался. С этой точки зрения единственные значимые рекламные объявления — те, которые оказывают влияние на маргинального потребителя. То есть на такого, который в итоге купит продукт, хотя не сделал бы этого, если бы рекламы не видел. А единственный способ определить степень воздействия на маргинального потребителя — провести эксперимент, в котором решения о том, кто видит объявление и кто не видит, принимаются на случайной основе.