«Полевые» испытания

«Полевые» испытания

Основное возражение против таких типов опытов сводится к тому, что проведение их на практике весьма сложно. Если вы поставите рекламный щит у дороги или разместите объявление в журнале, узнать, кто его заметит, практически невозможно — сами потребители часто не обращают на них внимания. Кроме того, вероятно, человек, увидевший данное объявление, в некоем важном аспекте отличается от того, кто его не видел. Определенные типы людей, как правило, читают определенные типы журналов, ездят на работу по определенным дорогам и, быть может, купили бы ваш продукт вне зависимости от того, замечали они вашу рекламу или нет. Следовательно, какой бы эффект вы ни исследовали, исключить другие причины весьма проблематично. В любом случае само измерение уже представляет определенные трудности. Потребители могут совершить покупку через несколько дней, если не недель, — к тому времени связь между увиденным объявлением и соответствующим действием потеряется.

Возражения, безусловно, разумные. Однако сегодня почти все их можно отклонить. Это и продемонстрировали в ходе своего новаторского «полевого исследования», включавшего 1,6 млн клиентов крупного ритейлера, одновременно являвшихся и активными пользователями Yahoo ! трое моих коллег по этой компании — Дэвид Рейли, Тейлор Шрайнер и Рэндалл Льюис. Они распределили участников следующим образом: 1,3 млн человек, попавших в «экспериментальную группу», при посещении оперируемых Yahoo! веб-сайтов видели рекламу магазина, а оставшиеся 30 тысяч из «контрольной группы» — нет. Поскольку распределение испытуемых по группам производилось случайным образом, различия в поведении между ними должны были быть обусловлены самой рекламой. А поскольку все участники эксперимента находились в базе данных ритейлера, ее влияние можно было измерить с точки зрения их текущего покупательского поведения — вплоть до нескольких недель после завершения рекламной кампании^{223}.

Используя этот метод, исследователи установили: за короткий промежуток времени дополнительные доходы, полученные благодаря рекламе, в четыре раза превысили стоимость кампании — и, возможно, со временем вырастут еще больше. В целом, заключили они, рекламная кампания оказалась эффективна — безусловно, хорошие новости как для Yahoo ! так и для ритейлера. С другой стороны, почти весь эффект ограничивался пожилыми потребителями — рекламные объявления оказались в основном неэффективными для людей моложе 40 лет. На первый взгляд, плохие новости. Однако на это можно взглянуть и с другой стороны: неработоспособность чего-то есть первый шаг к выяснению того, что работает. Например, рекламодатель мог бы поэкспериментировать со множеством различных подходов к привлечению молодых людей — включая различные форматы, стили и даже типы стимулов и предложений. Возможно, что-то сработает — и было бы неплохо выяснить, что именно, причем на систематической основе.

Но, допустим, ни одна из этих попыток не оказалась эффективной. Возможно, рассматриваемый бренд просто не импонирует определенной популяции или же люди не реагируют на онлайн-рекламу вообще. Даже тогда, однако, рекламодатель может хотя бы прекратить тратить деньги впустую, высвободив ресурсы для сосредоточения на тех, кто легче поддается влиянию. В любом случае, единственный способ повысить эффективность маркетинга — знать, что работает, а что нет. Эксперименты, таким образом, должны рассматриваться не как дающие (или не дающие) четкий «ответ», а скорее как часть непрерывного процесса познания, встроенного во всю рекламную деятельность.

Маленькое, но растущее сообщество исследователей полагает, что та же ментальность должна применяться и к планированию в бизнесе и политике — как онлайн, так и офлайн^{224}. В недавно опубликованной в журнале MIT Sloan Management Review статье профессоров Массачусетского технологического университета Эрика Бринйолфссона и Майкла Шрага утверждается, что появление новых технологий отслеживания изобретений, продаж и других деловых параметров — будь то выкладка ссылок на поисковой странице, размещение продуктов на полке в магазине или подробности специального почтового предложения — влечет за собой новую эру контролируемых экспериментов в бизнесе^{225}. Они даже цитируют Гари Лавмана, генерального директора сети казино Harrah’s: «Есть два способа быть уволенным из Harrah’s: украсть у компании или не включить нужную контрольную группу в наш бизнес-эксперимент». Кому-то может показаться странным, что владельцы казино — впереди планеты всей с точки зрения научно обоснованной деловой практики. Однако установка на рутинное включение экспериментального контроля может принести пользу и в других сферах бизнеса^{226}.

Сегодня «полевые» опыты начинают проникать даже в наиболее консервативные области экономики и политики. Ученые из Poverty Action Lab Массачусетского технологического университета, например, провели более сотни исследований действенности различных программ помощи нуждающимся — в основном в сферах здравоохранения, образования, сбережений и кредитования^{227}. Политологи оценили влияние рекламы и телефонной агитации на явку избирателей, а газет — на политические мнения^{228}. Специалисты же по экономике труда провели многочисленные исследования эффективности различных вариантов заработной платы, а также влияния обратной связи на качество выполнения работы^{229}. Как правило, этих ученых интересуют весьма специфичные вещи. Должны ли гуманитарные организации раздавать москитные сетки безвозмездно или требовать за них плату? Как сотрудники реагируют на фиксированную и сдельную оплату труда? Помогает ли предложенный план сбережений скопить большую сумму? Тем не менее для менеджеров и специалистов по планированию будут полезны ответы даже на самые скромные вопросы. Кроме того, «полевые» эксперименты могут осуществляться и в более крупных масштабах. Например, аналитик государственной политики Рэндалл О’Тул отстаивает идею их проведения Службой национальных парков. Применяя разные способы управления в разных парках (Йеллоустоун, Йосмит, Гласье и др.), последняя могла бы измерить эффективность каждого из них и выявить наиболее оптимальные^{230}.