В прошлой статье мы говорили о том, что такое сплит-тестирование (A/B тестирование) вообще. Однако для того, чтобы успешно применять любую систему или технологию, необходимо знать, какие правила для этого нужно соблюдать. Причем эти правила не придумываются искусственно, они являются неотъемлемой частью самой системы, так что без них она работать просто не будет или будет работать недостаточно хорошо.

Забегая вперед, можно сказать, что в полной мере этими правилами не владеют даже те, кто гордо именуют себя «специалистами по сплит-тестированию», хотя никаких сакральных и трудных для понимания деталей в них нет. Просто «специалисты по сплит-тестированию» не всегда отдают себе отчет в том, что оно является всего лишь специфической разновидностью социологического исследования. Так как получать социологическое образование — слишком долго и не слишком интересно, то этот факт большинство из «специалистов» предпочитают просто не замечать. Однако, от него никуда не денешься. Качественное сплит-тестирование должно основываться на социологических правилах и не противоречить им.

Означает ли это, что всяк, проводящий сплит-тестирование для собственных нужд, должен быть профессиональным социологом? Вовсе нет. Точно так же, как нет нужды быть профессиональным математиком, чтобы посчитать деньги в собственном бумажнике. Для этого достаточно знать и понимать арифметику — то есть самые азы. Точно так же и в случае сплит-тестирования — знания и понимания азов будет достаточно и именно с ними мы и постараемся вас познакомить в этой статье.

Правила сплит-тестирования

Главное правило получения достоверных результатов сплит-тестирования гласит: оно должно быть репрезентативным. Если отвлечься от сложных научных определений, а воспользоваться простым языком, то репрезентативность — это свойство маленькой части полностью соответствовать целому. Когда социология только формировалась как область научного знания, в ходу был следующий бытовой пример. Для того, чтобы понять, что суп пересолен, вовсе не обязательно съедать всю кастрюлю этого супа. Достаточно попробовать лишь одну ложку, только предварительно суп необходимо как следует перемешать. Да-да, домохозяйки всю жизнь так и поступают, даже не подозревая о том, что их действия по определению степени солености супа — глубоко репрезентативны.

Социолог не может опросить по какому-нибудь, скажем, социально-политическому вопросу население всей страны, да перед ним и не стоит такой задачи. Он должен по мнению очень небольшого количества опрошенных определить мнения, господствующие в обществе в целом. Небольшое количество опрошенных в этом примере называется «выборочной совокупностью», а население страны — «генеральной совокупностью». Если выборочная совокупность (ложка супа) подобрана верно, то она будет полностью соответствовать генеральной совокупности (всей кастрюле супа). А верно подобрать ее — и означает — перемешать суп как следует.

Иными словами, люди, которых мы опрашиваем, должны быть подобраны случайно, а не выбираться из круга родственников, знакомых, соседей и так далее. Они не должны быть и каким-то образом связаны между собой — то есть не должны ходить в один и тот же клуб например, быть членами одной и той же организации, работать на одном и том же предприятии, если конечно цель опроса не касается какого-то отдельного и вполне конкретного сообщества.

Правила сплит-тестирования

С другой стороны, «перемешивание супа» предполагает, что структура «ложки», которую мы будем пробовать, должна соответствовать всему супу. Нельзя пробовать суп из одной кастрюли и делать выводы о пересоленности другой. В социологических опросах, в зависимости от их тематики, может использоваться поло-возрастная структура (мужчины-женщины), социальная (рабочие, служащие, безработные и т. д.), возрастная и другие. Если скажем, тематика опроса универсальна с точки зрения пола, а генеральная совокупность — все население страны, то соотношение количества опрошенных мужчин и женщин должно соответствовать их соотношению в стране. А если опрос, к примеру, преследует своей целью определить степень популярности той или иной модели мужской электробритвы, то женщины не должны опрашиваться вообще, так как в этом случае генеральная совокупность состоит только из мужчин.

В любом случае, структура выборки должна полностью соответствовать генеральной совокупности, а генеральная совокупность — целям исследования. При этом мы можем опросить совсем небольшое количество людей, но сделать очень достоверные выводы. Однако, какое все это может иметь отношение к сплит-тестированию, которое в основном проводится онлайн? Можно ли там подобным образом определять структуру выборки? Как это сделать, если мы опрашиваем пользователя, о свойствах которого (пол, возраст и т. д.) ничего не знаем?

Правила сплит-тестирования

Дело в том, что прогресс не стоит на месте. Сегодня онлайн-сервисы, тем или иным образом отслеживающие действия пользователей в сети, достаточно точно определяют поло-возрастную структуру и структуру интересов посетителей сайтов, на которых установлены их счетчики. Такие инструменты предлагаются и Яндекс.Метрикой и Google Analitics, а также другими сервисами. А вот о том, каким образом применить их к нуждам сплит-тестирования, мы подробно расскажем в одной из последующих статей. Пока же скажем лишь то, что это не только можно, но и нужно делать.

Количество опрошенных, безусловно, тоже имеет огромное значение и тоже определяется по определенным правилам. «Чем больше — тем лучше» — такое правило в социологии не работает. Хотя бы потому, что чем больше количество опрошенных, тем сложнее выдержать необходимую структуру выборки. Допустим, она предполагает, что мужчин в ней должно быть 48%, а женщин — 52%. Если мы опрашиваем 100 человек, то подобрать 48 женщин и 52 мужчины гораздо проще, чем ровно 480 женщин и 520 мужчин в случае опроса 1000 человек. Кроме того, чем обширнее опрос, тем труднее и дороже его организовать, провести и обработать результаты.

Поэтому социологи ограничиваются необходимым и достаточным количеством опрошенных. Как его определить? Точно так же — исходя из целей исследования и особенностей генеральной совокупности. Давайте перенесем этот вопрос ближе к собственно специфике сплит-тестирования, так как оно на сегодняшний день представляет собой почти исключительно онлайн-мероприятие.

Правила сплит-тестирования

Допустим, цель нашего сплит-тестирования — определить, какой из двух вариантов призыва к действию (регистрации в каком-либо сервисе) более эффективен — кнопка с надписью «Бесплатная регистрация в сервисе» или с надписью «Зарегистрируйтесь в сервисе прямо сейчас». Какое количество посетителей нам нужно вовлечь в сплит-тестирование двух этих вариантов кнопок регистрации?

Предположим, что наш гипотетический сервис используют не только в России, но и за ее пределами, но для упрощения примера возьмем только нашу страну. Допустим также, что пользователями сервиса в 99% случаев являются юридические лица — предприятия и индивидуальные предприниматели, а их в России, согласно данным статистики, порядка 7 миллионов. Мы можем только догадываться, какой процент из них пользуется или собирается пользоваться подобного рода сервисом, поэтому прибегнем к правилу, которое хорошо зарекомендовало себя при подобном недостатке статистической информации. Условно его можно назвать «правилом 1%».

То есть, когда потенциальная аудитория очень велика и для ее структуризации недостаточно информации, за достаточное количество для выборки принимается 1% от этой аудитории. В нашем случае это 1% от 7 миллионов или 70 тысяч. Но допустим, что и аналогов на сегодняшний день тоже немало и наш сервис — лишь одна из многих подобных систем. Она наиболее функциональна и удобна, но все же не является единственной. Поэтому применяем «правило 1%» еще раз и получаем окончательный объем выборки — 1 % от 70 тысяч = 700.

Таким образом, провести сплит-тестирование с участием 700 посетителей, нажавших на кнопку регистрации, будет необходимо и достаточно в приведенном примере, чтобы получить вполне достоверные результаты.

В следующей статье мы расскажем, как в реальности проводится сплит-тестирование и какие инструменты для этого можно использовать.

И еще кое-что важное и нужное...


Наш сайт оказался для вас полезным?

Получите еще и ПОДАРОК от BizTips. ->>>

Не пропустите уникальный курс
Константина Шереметьева
«Азбука Денег» всего за 190 рублей ->>>

Уникальный курс Константина Шереметьева Азбука Денег
Если вы зашли на сайт BizTips уже не в первый раз, но еще не подписались на рассылку, нам было бы важно узнать о причинах этого. Мы были бы очень благодарны вам за участие в опросе. Спасибо!


Почему вы не подписались на рассылку BizTips?

Похожие посты: