Как тестировать landing pages

Анна Зимина: Здравствуйте, телезрители! В эфире передача «Точка зрения» и я, ее ведущая Анна Зимина. Сегодня мы с вами будем говорить об очень сложной и при этом очень важной теме, с которой рано или поздно сталкивается каждый рекламодатель, задумавший рекламировать свой бизнес в интернете. Это посадочные страницы, или landing pages, а также всевозможное тестирование элементов этих страниц, самих этих страниц и всего подобного. В гостях у нас Иван Красюк, директор по развитию клиентской сети в Kokoc.com, и Владимир Давыдов, совладелец и основатель маркетинговой группы «Комплето». Привет, ребята!
Иван Красюк: Привет!
Владимир Давыдов: Привет!
А. З.: Кому нужны длинные-длинные одностраничные сайты? Как выяснить, что больше подходит для вашего бизнеса — одностраничный сайт или многостраничный и дорогой?
В. Д.: Длинная страница, скорее всего, как первый шаг очень здорово работает. Но чаще всего параллельно делается какой-то более сложный продукт. Если же параллельно ничего не делается, то, как правило, продавать планируется простой, понятный, однозначный продукт. Условно говоря, iPhone 6 вышел, нужно быстро сделать посадочную, продать и отскочить. Это хорошо, правильно, абсолютно адекватно. Ничего изобретать не нужно, никаких сайтов, все работает. Люди охотно мотают все эти длинные страницы в восемь, в десять экранов, если там все правильно выстроено по маркетингу. Это работает.
А. З.: А для каких типов продуктов или типов бизнеса одностраничные сайты подходят больше, чем многостраничные?
И. К.: Как правильно сказал Владимир, это работает, когда продукт простой, однозначный и понятный и когда факторы, влияющие на принятие решения, тоже простые. Например, цена, бесплатная доставка, что-то еще. То есть какой-то набор факторов, которые легко расписать прямо по этому лендингу вдоль и поперек. Если для принятия решения о покупке требуется длительный промежуток времени, сложные убеждающие факторы, нужно долго созревать для покупки, то, естественно, длинный одностраничный лендинг не подойдет.
А. З.: Иными словами, «Продаем стулья!» — можно сделать одностраничник, а «Продаем ипотеку!» — нельзя?
И. К.: Однозначно нельзя.
А. З.: Давайте перейдем к вопросу тестирования страниц. Какие виды тестирования бывают? Что тестируют?
И. К.: Для начала надо понять, на каком уровне мы тестируем. Можно тестировать на уровне сайта — какое-то серверное тестирование. Можно сделать тестирование с помощью инструментов тестирования, платных и бесплатных. Можно делать тестирование при помощи фокус-групп. Это совершенно разные типы тестирования, про которые стоит говорить отдельно. Чаще всего сегодня под тестированием понимают все-таки некие сплит-тесты. К сожалению, двум другим категориям уделяется мало внимания. Все поголовно используют стандартные инструменты — либо Google Analytics Content Experiments, либо какие-то платные аналоги, такие как Visual Website Optimizer, Optimizely и другие. Соответственно, существует три типа теста. Это A/A, A/B и мультивариантный. A/A — когда мы тестируем одну и ту же страницу, но на двух разных группах пользователей. 100% трафика мы «бьем» ровно на две половинки, чтобы понять, одинаково ли ведут себя эти две группы. A/B — это когда мы весь трафик разбиваем на две страницы и проверяем уже, как работает тот или иной элемент. И многовариантное тестирование — когда мы тестируем несколько элементов в нескольких вариантах.
А. З.: Круто!
В. Д.: Да, Иван, абсолютно верно. Помимо стандартных тестирований, когда идет подмена каких-то элементов, одного-двух-трех, есть еще работа с пользовательскими группами. И очень часто забывают про A/A-тестирование. А ведь алгоритм тестирования какой? Сначала лучше тестировать с помощью реальных людей и маркетинга. Это позволит избежать 95% всяких сумасшедших тестирований, которые не нужно было проводить в принципе. Недавно читал статью: «Мы покрасили кнопку в другой цвет — в три раза выросла конверсия». В варианте «до» кнопка просто сливалась с фоном, ее перекрасили в яркий цвет. Естественно, конверсия возросла. Для этого не нужно было проводить 1,5 тыс. экспериментов. Это полный бред. Соответственно, про A/A-тест очень часто забывают. Это самая частая ошибка любых тестировщиков: берут аудитории, которые уже сами по себе разные, сами по себе показывают разные результаты. Когда разбили аудиторию, сначала нужно провести это сравнение.
А. З.: Убедиться, что аудитория одинаковая?
В. Д.: Да, что аудитория, разбитая на несколько кучек, одинаково реагирует на один и тот же контент. Это очень важно.
А. З.: Это мы уже перешли к типичным ошибкам, которые совершают тестировщики. А есть что-то еще, на что человек наткнется обязательно? Забудет про A/A-тест, забудет просто показать представителям аудитории свой сайт. Не разработчикам, не тем, у кого глаз уже замылен. А еще что?
И. К.: Поверит результатам систем тестирования, когда система показывает, что этот вариант победил вот тот. При недостаточной достоверности, значимости результатов.
А. З.: А не надо верить?
И. К.: Не надо.
А. З.: А зачем тогда эти системы?
И. К.: Системы работают в стандартных ситуациях на большой выборке данных. Если у вас сайт, на котором сотни тысяч посетителей в день, у которого действительно большая выборка, у которого много респондентов и высокая достоверность, то можно доверять этим результатам. Но чаще всего тестирование проводят сайты меньшего размера, магазины и прочее.

Наиболее распространенный сегмент в Рунете — от 500 посетителей до 10 тыс. Соответственно, на таком объеме трафика проводить полноценный тест, в котором можно будет доверяться результатам, нужно очень долго, для того чтобы повысить достоверность.

А. З.: А давайте, может быть, приведем какой-то пример, чтобы зрителям было понятнее, какие конкретно элементы страниц можно тестировать, к чему это может привести и чем обернуться.
И. К.: Я расскажу, как это делается у нас. До начала любого теста у нас проходит брифинг с клиентом. Мы общаемся с нашим клиентом, с заказчиком этих тестов, понимаем, какие у них есть проблемы, какие они ставят KPI, что они хотят улучшить. Дальше мы формируем портрет целевой аудитории, которая заходит на сайт и взаимодействует с ним. Под эту целевую аудиторию мы строим маршруты передвижения по сайту. Анализируем, где из воронки как раз утекает аудитория, находим эти места. Назовем это юзабилити-аудитом. Там одновременно смотрится ситуация и с точки зрения юзабилити, и с точки зрения веб-аналитики. По конкретике давайте пройдемся чуть позже. Мне интересно услышать, как у Владимира это происходит.
В. Д.: Подход абсолютно похожий. Единственное, как таковых клиентов, которые приходят только за тестами, у нас нет. Чисто «посадочных» клиентов нет. Это обычно клиент, с которым много лет работаешь. У нас подход такой, что сайт — это не продукт. Такую ошибку делают многие веб-студии: сайт — продукт, сдали и забыли. Сайт — это процесс. Это очень важный момент. Сайт — это процесс, на нем все меняется до неузнаваемости, переделывается. И тесты, по сути, проводятся не по желанию клиента, а по нашему желанию. Проводится тот самый юзабилити-аудит, и видно, что здесь какие-то проблемы: не проматывается, не кликается, не звонится, не заказывается, еще что-то. Это именно экспертная оценка. Обычно, когда мы начинаем работать с клиентом, несколько месяцев идет построение маркетинга. Мы понимаем все сегменты аудитории и т. д. И, соответственно, мы смотрим, как эти сегменты отрабатывают. После этого пытаемся понять, что из этих сегментов идет через интернет. Далеко не все сегменты идут через интернет. Некоторые из них офлайновые и никак не достижимы через интернет. Потом мы пытаемся разделить трафик. Разделению трафика мы уделяем очень много времени. Просто взять, например, канал «контекста» или канал SEO нельзя. Нужно выделять оттуда запросы, группы запросов. Если там много объявлений, много запросов, нельзя просто взять платный трафик. Там очень разная аудитория, очень разные запросы. И есть еще у нас такая фишка, которую мы недавно стали пробовать. Это A/B-тестирование, связанное с CRM и с когортами. Это значит, что мы не пытаемся, например, взять людей, которые приходят из «контекста» по таким-то запросам, и на них протестировать что-то. Нам в последнее время хочется, например, взять людей, которые зашли из e-mail-рассылки, причем мужчин. Почему мужчин? А потому что они у нас есть в CRM: Николаи, Василии и Владимиры. И мы хотим посмотреть, как они проходят через какие-нибудь две конкретные страницы и где у них возникает проблема. Когорта — это когда выделяется определенная аудитория по набору параметров. Пытаемся такими когортами «дробить» людей и прогонять их через наши тесты. Таким образом мы пытаемся более четко разделять трафик. А так, в принципе, подход абсолютно такой же. Он верный, абсолютно правильный, как нам кажется.
А. З.: А для всех ли бизнесов, для всех ли клиентов нужно так глубоко копать? Я могу себе представить какой-нибудь интернет-гипермаркет, где наверняка подобные анализы будут довольно интересными и полезными. А если ты маленький интернет-магазинчик с тридцатью пользователями в день, которые покупают у тебя одни и те же iPhone и Galaxy, надо ли это?
В. Д.: Мы с интернет-магазинами в принципе не работаем. У нас именно b2b, сложные товары, сложные рынки, сложные продукты, с большим сроком принятия решений. Там как раз это очень актуально. Там одна небольшая ошибка может обернуться очень большим простоем, «отвалом», а на длинных сроках, на больших деньгах это гораздо опаснее, чем в любом гипермаркете. Магазинам прощаются ошибки, они как-то всегда продают худо-бедно. У нас такая специфика, поэтому я ничего не могу сказать про мелкий бизнес. Может быть, Иван больше знает.
И. К.: Да, я скажу. Тестировать на магазине, у которого 20-30-50 человек в день, сложно. Один тест придется проводить на протяжении очень длительного времени, и за это время поменяется что угодно: экономическая ситуация в стране и в мире, поведение людей, погода и т. д.
А. З.: Курс доллара.
И. К.: Курс доллара, да. Эти факторы также влияют на конверсию и все прочее. Поэтому мы рекомендуем задумываться о тестах тогда, когда объем аудитории на сайте в день — хотя бы от пятисот человек, а количество транзакций — от десяти штук в день.
А. З.: А всем ли нужно это тестирование?
И. К.: Всем.
А. З.: Вообще всем?
В. Д.: По-хорошему, да. Сайт — это процесс. Если это процесс, значит, это изменения. И не всегда люди смогут однозначно указать вам на все проблемы, которые есть. Поэтому да, тестирование нужно абсолютно всем, это нормальный подход, правильный.
И. К.: Чаще всего если и скажут, то скажут неправильно. Очень распространена ситуация, когда лица, принимающие решения, говорят: «Так, а добавь мое видео на главную страницу. А давай мы сюда вот такую кнопку поставим. А давай мы блок доставки разместим вот здесь и будем писать, что мы доставим через неделю, а на самом деле доставим через месяц». Генеральный директор, директор по маркетингу, который отвечает за внешний вид сайта, за его наполнение, сверху спускает рекомендации, как лучше сделать, а на самом деле его пользователи совсем другие. Генеральный директор завода не может знать, как покупают его продукцию рядовые покупатели, заказчики и т. д. Это совершенно разные привычки и поведение. И поэтому каждую рекомендацию, каждое пожелание, которое спускается сверху, нужно тестировать. Генеральный директор говорит: «Я поставил у себя на сайте видеоролик, где я рассказываю о нашем производстве. Конверсия должна вырасти». А вы проводите тест и проверяете, где конверсия лучше. И доказываете ему на цифрах, что вот, Сергей Борисович, с вашим видеороликом конверсия в четыре раза ниже.
А. З.: Печально! Слушайте, а разве не должно быть какого-то базового обоснования того, зачем нам нужен этот тест? Просто поспорить с директором?
И. К.: Нет, не поспорить, а повысить конверсию или не дать ей упасть.
А. З.: Не дать упасть — это тоже цель? Да, хорошо.
И. К.: Да. Отсутствие результата в тесте это тоже результат. На практике из 10 тестов положительный результат в приросте конверсии может дать один, два, три, четыре, но никогда не 10 из 10. Ладно, я не буду говорить «никогда», но крайне редко 10 из 10 тестов дают результат. Совершенно нормальная картина, когда из десяти результат дадут два-три. Остальные шесть-семь не дадут прямого результата, но покажут нам, что этот конкретный элемент для этой конкретной аудитории не влияет на конверсию. Мы этот тест откладываем, переносим куда-то в конец, в «хвост» тестирования и идем дальше пока. Может быть, через год, когда мы изменим сайт до неузнаваемости, этот фактор снова будет оказывать влияние.
В. Д.: Но мы вначале еще говорили о том, что тестам должны предшествовать логические выкладки. Это ваша аудитория, ваш маркетинг. И многие тесты можно просто убрать, если изначально все правильно проработать. Если сначала подумать, можно и тесты сократить до минимума, до каких-то реально спорных ситуаций, непонятных.
А. З.: Получается, что тест должен быть в самом начале обоснован и зачем-то нужен, да?
И. К.: Да.
А. З.: Хорошо, а насколько статистически достоверны тесты? Вы же сами говорили о том, что есть много погрешностей в инструментах и в неправильном делении аудитории. Вот представьте себе какой-нибудь идеально правильно сделанный тест. Насколько ему нужно верить?
И. К.: Вообще, веб-аналитика — это сущность относительная. Как я всегда говорю, верить цифрам веб-аналитики в абсолютном значении нельзя, а в относительном можно, потому что константа неизменна. Эта величина погрешности вчера, сегодня и через месяц будет примерно одинакова. Верить тестам можно и нужно, потому что их точность все равно выше, чем точность принятых интуитивных решений. Говорить о 100%-й достоверности тестов я бы не стал и не думаю, что когда-нибудь стану. Всегда будет погрешность, вызванная кучей факторов, но при этом точность их выше.
В. Д.: Добавить нечего. У меня есть подтверждающий пример из практики. Главная страница, подложка с изображением человека, на этой подложке форма заказа. Часто так делают, в принципе, и тестируют много-много вариантов: женщина или мужчина, светлая подложка или темная, форма заказа красная или белая и т. д. Пара вариантов победила с достаточно большим отрывом. Самое худшее — 30 конверсий было, самое лучшее — 90. Значительно. Поставили хороший вариант, и действительно все здорово было. Потом конверсия начала плавно, плавно, плавно снижаться. Поставили следующий вариант, который был чуть хуже первого. Опять возросла. Каждый раз, когда меняли вариант, конверсия возрастала, а потом спадала, возрастала, спадала.
А. З.: А почему?
В. Д.: Именно фактор новизны работал, фактор смены картинки. И потом, когда добрались до самого худшего варианта, конверсия скакнула не до 30, как было в тесте, а достаточно высоко поднялась, до 50-60. Фактор смены чего-то для какой-то стабильной аудитории тоже приводит к определенным результатам. Надо еще это учитывать. И, как правильно Иван сказал, в веб-аналитике куча, куча погрешностей. Даже в подсчете посетителей сайта огромная погрешность часто бывает, не говоря уже про тестирование, где проблемы с делением аудитории и т. д. Но лучше, чем ничего.
А. З.: А как сделать свое тестирование максимально полезным и эффективным, чтобы собрать максимум нужных данных? Что для этого нужно? Есть какой-то чеклист или план действий?
И. К.: Есть, наверное, последовательность действий, которые необходимо предпринять. Я бы назвал три основных этапа. Это предтест-анализ, непосредственно тест и посттест-анализ. Это три этапа, каждый из которых необходим. Нельзя выбросить ни один. То есть все думают, что самое главное — это тест, а на самом деле основная работа делается на предтест-анализе, когда мы выявляем потребности, аудиторию, беседуем с маркетингом и т. д. Это основной этап. И не менее важен этап последний, когда мы делаем выводы, когда мы проверяем все то, что получили. Не руководствуясь лишь алгоритмами систем, перепроверяем их вручную. Это также обязательный этап. Соответственно, до теста мы все проверяем, настраиваем, беседуем, выявляем гипотезы, предполагаем варианты, рисуем их и т. д., проводим сам тест. И этот вариант самый, наверное, простой и требующий наименьшего участия самого аналитика. Тест идет, аудитория делится, конверсия определяется. И последний этап — это подготовка выводов.
А. З.: А не бывает такого, что результаты тестов могут разными аналитиками интерпретироваться по-разному? Вы сами говорите о том, что аналитика становится все более профессиональной и заменить ее какими-то банальными роботами не получится, нужно человеческое логическое мышление. А не бывает ли таких ситуаций, когда тест неоднозначен настолько, что разные люди не могут его одинаково истолковать?
В. Д.: Если тест неоднозначен настолько, что разные люди не могут его истолковать, это неверно поставленный и проведенный тест. Это как раз таки отличный критерий проверки. Если хорошо выполнен этап подготовки, настройки, результаты теста должны однозначными.
И. К.: Однозначными, да, для принятия решения.
В. Д.: Иначе заново давайте готовиться.
А. З.: Понятно. А есть еще какие-то критерии, по которым можно определить, что тест прошел удачно или нет? Мы уже с вами один вывели, что тест должен быть однозначным, результаты его должны быть однозначно истолкованы. А есть еще какие-то критерии?
И. К.: Как мы до этого уже выяснили, он может либо давать результат, либо нет. Но в данном случае отсутствие результата это тоже результат.
А. З.: И это нормально?
И. К.: Да.
В. Д.: Тут, опять же, важны правильная подготовка и цель, которую мы поставили. Либо это может быть конверсия, либо отсутствие конверсии, как вариант, либо даже отрицательные какие-то истории. Варианты должны сопоставляться с теми целями, которые мы ставили. Мы что-то хотели проверить. И это, соответственно, подтверждается или опровергается. Или, может быть, непонятно стало что-то. Опять же, результаты должны быть однозначными и понятными.
А. З.: Хорошо, а какие инструменты можно использовать для тестирования, какие из них вы можете похвалить, какие поругать? Что подходит, может быть, к каким типам бизнеса? Что платное, что бесплатное, сколько стоит? Давайте об этом поговорим.
И. К.: Мы договорились не рекламировать ни один из инструментов, но поговорим о том, чем можно пользоваться, и о том, чем пользуется большинство. В Рунете можно найти несколько сравнений этих инструментов тестирования, где мнения обоснованны, взвешенны, с ценниками, со всем. Можно погуглить «сравнение инструментов A/B-тестирования», и найдутся эти статьи, где все предметно разложено. На практике, из того, с чем работали мы, можно отметить Google Analytics Content Experiments. Это встроенный инструмент Google, которым, наверное, удобнее всего разделить трафик и проанализировать его непосредственно в Google Analytics. Без каких-то пользовательских переменных, без чего-то еще. Два платных инструмента — это Visual Website Optimizer и Optimizely, которые практически полностью идентичны, различаются лишь особенностями интерфейса и какими-то небольшими возможностями, типами тестов. И вариант, который сейчас набирает все большую популярность, — это как раз серверные тесты и тесты с помощью каких-то OpenSource-библиотек. В том числе есть библиотека Retail Rocket, Николай Хлебинский ее готовил. Есть библиотека, с помощью которой мы просто ровно делим свой трафик и дальше уже делаем выводы с помощью систем аналитики. Там нет больших красивых интерфейсов, нет автоматического определения победителей, нет какого-то снятия результатов по нажатию кнопочки. Но при всем при этом у них выше точность и меньше погрешность.
В. Д.: Да, добавить ничего. Мы тоже больше пытаемся все-таки копать именно в самостоятельные тесты, когда программисты что-то пишут, используют библиотеки. Но не всегда это удобно, хочется часто делать это в связке с той же Google Analytics. Нам, да, очень нравятся Google Analytics Content Experiments, который встроен в Google Analytics. Он сейчас один из самых адекватных. Очень многие сервисы не подходят, потому что позволяют работать только со своими шаблонами. И это проблема, потому что мы, например, хотим, чтобы страница была такая, как мы захотим, лежала на нашем сервере в нескольких вариантах, сколько мы захотим. Не все сервисы такую возможность дают. Добавить только это, наверное, могу.
А. З.: Давайте вернемся к вопросу стоимости. Насколько дорого использовать сторонние сервисы для тестирования? Кто может себе это позволить?
В. Д.: Я бы заметил, — может быть, Иван подтвердит, — стоимость самого сервиса нивелируется стоимостью подготовки контента, проведения брифинга, рисования, создания всех текстов, вариантов. Изготовление всех этих 81 — или сколько их там — вариантов страниц.
А. З.: Ох! И все же давайте для наших телезрителей какие-то планки цифр озвучим.
И. К.: Google Analytics Content Experiments бесплатный. При этом он закрывает 80-90% всех потребностей. Visual Website Optimizer, Optimizely — это от 100 до 500$ в месяц, в зависимости от объемов трафика у вас на сайте.
А. З.: Понятно. А если говорить обо всех этих подготовительных этапах, во сколько в среднем выливается тестирование? Я понимаю, что вопрос из серии средней температуры по больнице, но, может быть, вы можете назвать какие-то минимальные и максимальные рамки, с чем лично вам приходилось работать?
И. К.: У нас есть разбиение по тестам, и от этого зависит как раз их ценность. У нас есть два подхода к тестам. Мы говорим сейчас не о комплексной веб-аналитике, а о продаже продукта «тестирование и повышение конверсий», то есть conversion rate optimization. Есть вариант с оплатой за каждый тест, и тут может быть какая-то фиксированная сумма — 25, 30, 40 тыс. руб. И может быть вариант с оплатой за прирост, который все очень любят поначалу. Все говорят: «Вот я хочу привязаться к KPI, я хочу привязаться к приросту». Мы объясняем, особенно большим магазинам на большом трафике: «Давайте, у вас есть конверсия 1,5%, если мы ее повысим относительно на 8% и она у вас станет 1,6%, эта 0,1% даст вам прирост 100 млн в месяц. И с этих 100 млн мы хотим забрать себе 5%». Когда они понимают, что за один тест могут нам отдать 5 млн руб., сразу же интерес привязываться к этим KPI теряется. Если серия тестов не показывает результата, мы не достигаем заявленных KPI, мы не получаем ничего. Такие варианты есть у нас.
А. З.: А у вас?
В. Д.: У нас просто оплата за часы специалистов и за работу по отрисовке чего-то. Мы продаем часы. Соответственно, история с гарантиями не про нас, но отчетность мы предоставляем. Допустим, мы считаем все до продаж, как правило, то есть стыковка с CRM, с телефонией. Ну, это многие сейчас делают. Мы, как правило, пытаемся извлечь какую-то отчетность до денег, но при этом, если она не получилась, это тоже результат для нас, мы тоже из этого делаем выводы. Раз специалисты поработали, отчетность есть, какие-то выводы из этого делаются. По поводу стоимости: тексты подешевле, какие-то визуальные видеоистории подороже. Несколько десятков тысяч рублей, не очень много, — это подготовка. Обсудить, написать какой-то план. Ну и в зависимости от того, что рисуем, какие-то цены на отрисовку. Нормальный тест можем провести, наверное, за 80-100 тыс. руб., если тестировать текстовый и визуальный контент, без каких-то видео, без каких-то сложных историй. Такой примерно порядок.
А. З.: В общем, довольно адекватные цифры.
В. Д.: Смотря сколько рисовать. Если очень много MVT-тестирования, то цена будет расти в степенной прогрессии.
А. З.: Геометрической прогрессии, да?
В. Д.: Какой-то такой, да. Тут сама подготовка неизменна, сами инструменты — плюс-минус — неизменны. Надо чуть побольше событий повесить. А сам контент, который производить надо, может сильно меняться, поэтому цена становится выше.
А. З.: От этого и зависит финальная стоимость?
В. Д.: Часто от этого зависит, да.
И. К.: Кстати, Владимир уже два или три раза говорил про связь с телефонией. Очень важно понимать, что через сайт делается 30, 40, 50% всех конверсий.

Специфика Рунета такова, что 60, 70, 80, а то и 90% всех коммуникаций клиентов происходит через телефон, через офлайн-точки и т. д. И если офлайн-точки мы особо потестировать не можем, — может, с помощью каких-то купонов, но там погрешность будет такая, что можно не считать, — то телефонию считать можно и нужно.

И точно так же, на вариант страницы А вешать один номер телефона, на вариант B вешать другой. И снимать результаты не только по онлайн-событиям на странице, но и по звонкам.
В. Д.: Да, кстати, мы тоже такой момент, мне кажется, забыли. Это тестирование не страницы, а рекламного канала.
А. З.: Интересно.
В. Д.: Это, например, разные объявления, разные баннеры. Например, у нас был кейс, он хорошо разошелся по Рунету, многие слышали. Мы тестировали медийку по телефону и по post view. Идея в том, что разные медийные креативы на баннерах показали кардинально, в три-четыре раза, разное количество звонков. Телефон был и на баннере, и на сайте, и он сопоставлялся. Очень многие, кстати, звонили с баннера, не кликая на него. Это доказывает то, что CTR баннеров — ни о чем. И с самой страницы звонили при переходах. И очень забавно наблюдать, когда разный креатив дает совершенно разное количество звонков, стоимость звонка, соответственно, разная. Такие тестирования тоже очень важны в самом рекламном канале — «контекст», медийка.
А. З.: А вы баннеры размещали на каких-то сторонних сайтах или на поиске? Чтобы понять подготовку аудитории.
В. Д.: Да, тот кейс, который мы делали, это был КМС Google. Но также этот подход может быть применен и к любым другим. Ivi.ru мы так делали, еще что-то.
А. З.: Здорово! А есть еще какие-нибудь кейсы, подтверждающие, что тестирование — это важно и можно добиться очень хороших результатов? Поделитесь практическим опытом.
И. К.: На сайте и в каналах, не важно?
А. З.: Не важно. Просто для наших зрителей, чтобы они понимали, кто это делает, как это делают, чего добиваются эти люди.
И. К.: Когда мы начинаем считать, то при текущем уровне дохода от сайта повышаем конверсию на какое-то плечо. За что я так сильно люблю веб-аналитику, повышение конверсии и прочее? Мы — единственная дисциплина во всем интернет-маркетинге, которая меняет плечо. Если все остальные дисциплины наращивают трафик, то веб-аналитика как раз и выделяется тем самым плечом, которое меняет эту конверсию. Не меняя трафика, вкладывая единоразово или краткосрочно, ты повышаешь конверсию на все последующие периоды. Соответственно, лучшим обоснованием теста является его экономическое обоснование, когда мы показываем: при приросте на столько вы получаете 100 млн руб. дополнительно каждый последующий месяц. И таких случаев очень много. Я не говорю, что все тесты мы выполняем по заявленным KPI. Но 60-70% заявленных идей достигают своего результата, и, соответственно, мы получаем те самые приросты в хороших деньгах и объемах.
А. З.: И все же хотелось бы каких-нибудь кейсов, ребята.
В. Д.: Могу рассказать такую штуку. Это кейс-антикейс, но совмещенный. Тоже проводили тестирование на страницах с текстом. Разного уровня манипулирования писали текст на странице. Получали совершенно разную конверсию — от 1,5 до 3,9%, очень сильно отличающуюся. Но забавно, что когда мы этих людей начали «тречить» в CRM, то у нас все сваливалось туда, была выявлена зависимость: чем более манипулятивный жесткий текст написали, тем больше времени отнимали эти люди у менеджеров колл-центра. Там прямо заметно: было до 20-30 минут разницы между разговорами у аудиторий с разной подготовкой, когда был текст обучающий или более манипулятивный. «Купи сейчас, срочно!» — прямо так жестко писали последние разы. И жизненная ценность клиента очень сильно падала. А там была такая штука, что были и вторые, и третьи, и четвертые покупки, то есть не только на первой жил клиент. И было видно, что если текст менее манипулятивный, то клиенты дольше оставались. В итоге, когда мы брали срез в полгода, очень многие из них оставались жить с компанией, тратили свои деньги. А те, кем мы сманипулировали, отваливались, и доля «отвала» была до 98%. Трактовка результатов этого теста оказалась очень странной. Да, конверсия выросла в три-четыре раза, но ценность этих клиентов и деньги, принесенные компании, были в минус. Потому что часть клиентов задерживала колл-центр, пропускная способность резко падала, не могли обслужить часть нормальных клиентов. Поэтому надо помнить о связке с деньгами, как правильно Иван повторяет. Это очень-очень важный момент с финансовым обоснованием результата. Да, конверсия важна, клики важны — все это хорошо. Вопрос в том, как это конвертируется в финансы. По-разному конвертируется.
И. К.: Я тоже, пока Владимир рассказывал, вспомнил пару тестов. Тест, касающийся практически всех интернет-магазинов на сегодняшний день, по добавлению блока времени доставки в карточку товара. Когда мы рядом с ценой, рядом с кнопкой «Купить» вешаем небольшой блок о том, что доставка возможна завтра до 15:00. Один этот небольшой блок повысил конверсию по переходам из карточки товара в «Корзину» на 270%, то есть в 2,7 раза! В итоге конверсии увеличились поменьше, на 230 или 220%, я сейчас не помню точно цифру, но само количество переходов в «Корзину» значительно выросло. И очень показательный кейс был, когда мы по категориям разбивали разные варианты представления сетки. У нас есть вариант отображения каталога либо в виде сетки, когда по три товара на строку, либо в виде списка, когда каждый товар занимает целую строку. И в разных категориях работают лучше разные форматы.
А. З.: Интересно.
И. К.: Например, в ноутбуках в данном конкретном магазине лучше работал вариант со списком, когда сразу раскрывались характеристики. А в варианте с планшетами лучше работал вариант с сеткой.
В. Д.: С большими картиночками, видимо.
А. З.: Здорово, да, очень классный кейс! Спасибо большое! А давайте попробуем по итогам всего нашего разговора собрать какой-то пул самых важных советов для наших зрителей. Если они собираются делать себе «посадочную» страницу, или как-то перерабатывать сайт, или тестировать какие-то элементы на сайте, что им нельзя ни в коем случае забывать? Правильно делить трафик, да? Одно из самых важных. Проводить предтест-анализ, экономически обосновывать эти тесты. Что еще?
И. К.: Не бояться останавливать тест, если результат резко отрицательный. Если вы нарисовали новый вариант страницы, и он провалился в пять-шесть раз, и вы теряете каждый день по сколько-то десятков миллионов рублей, то не стоит бояться останавливать тест и переносить его куда-то еще. Это тоже ошибка, которую допускают довольно часто, стремясь к достоверности, к точности и прочему, и сильно негативные тесты не останавливают. Тут надо задать себе какой-то интервал…
А. З.: Планку негатива, да? Отлично, не бояться останавливать тест. Еще?
И. К.: Про посадочные у нас начинался разговор, про сами посадочные. Действительно, для каких-то товаров это, возможно, не всегда волшебная пилюля. Не всегда стоит рассчитывать на то, что посадочная закроет весь ваш маркетинг, закроет все ваши потребности. Реально есть много минусов, о которых мы вначале говорили. И по трафику, и по различным маркетинговым вещам. Возможно, действительно сейчас одна-две посадочных закроют дырку. Но при этом делайте что-то, отражающее ваш маркетинг, ваш бизнес, да?
А. З.: Проведите A/B-тестирование — посадочная или сайт?
В. Д.: Тут скорее вопрос в том, какое количество трафика и какую аудиторию вы можете собрать. Это первое. Потом уже можно копаться, да, по маркетингу, по каким-то представлениям.
А. З.: Следующий совет?
И. К.: Не бойтесь использовать бесплатные инструменты по тестам. В частности, Google Analytics Content Experiments — хороший, полезный, простой инструмент.
А. З.: Хорошо.
В. Д.: Бюджет на A/B-тестирование закладывайте правильный. Это как с наполнением сайта. Всегда у веб-разработчиков возникает одна и та же проблема — сделали сайт и полгода наполняем его контентом. Это всегда сложно. Так же и здесь: контент — это самое дорогое, самое сложное. Заголовки писать, подзаголовки, баннеры, видео, меню, — все это надо перерисовывать, требует усилий. Закладывайте на это время и деньги. Забывают об этом часто.
И. К.: Наверное, еще совет, с которого надо было начать. Тестируйте все, что обосновано и надлежит тестировать. Проводите сначала внутренние маркетинговые исследования, обсуждение с отделом маркетинга. И все то, что вызывает подозрение, опасение и в чем вы не уверены на 200% внутри, обязательно тестируйте. Не полагайтесь на интуицию.
В. Д.: Рекламный креатив, как я это называю, — объявления в «контексте», баннеры, какие-то небольшие ролики, e-mail-рассылка. Условно говоря, то, что в рекламные и контентные каналы идет, подлежит такому же тесту. Это тоже очень важно. Не только то, что у вас на странице есть, а то, что уходит в каналы на этапе привлечения.
А. З.: Но и то, что приводит на эту страницу.
И. К.: И обязательно режьте трафик вдоль и поперек, сегментируйте по каналам, делите по категориям товаров, «бейте» по когортам. Делайте все, что позволяет вам выделять однотипные группы пользователей и тестировать именно на них.
А. З.: Чтобы получать правильные результаты, да.
В. Д.: Про когортный анализ я даже еще повторюсь: это очень важно. Это, по сути, глубинная сегментация аудитории. Чем более насыщенную параметрами когорту вы можете выделить, тем более узкий таргетинг можете сделать. Просто CPC-трафик тестировать или organic-трафик тестировать — ну, для кого-то это приемлемо, если он однотипный, но, как правило, нет. Поэтому старайтесь, старайтесь, все верно.
А. З.: Отлично! Спасибо вам большое! Я бы добавила, наверное, от себя, что за подобными вещами, за такими сложными тестированиями лучше обращаться к профессионалам, как правильно говорит Ваня. Хорошо бы понимать, что вы можете сделать самостоятельно, а к чему нужно привлекать сторонних специалистов. И не забудьте про программиста!
В. Д.: Без него никуда, да.
А. З.: Спасибо вам большое! Напоминаю нашим зрителям, что у нас в гостях были Иван Красюк, директор по развитию клиентской сети Kokoc.com, и Владимир Давыдов, основатель и совладелец маркетинговой группы «Комплето». Большое вам спасибо за такой подробный рассказ о нашей сегодняшней теме. А я прощаюсь с вами, дорогие телезрители! С вами была передача «Точка зрения» и я, ее ведущая Анна Зимина.