Нам даже не нужно запускать тест, чтобы понять, что сочетание красного текста и красной кнопки будет крайне неудачным. Максимально доступная длительность эксперимента — ninety дней. Если даты не будет, то эксперимент завершится автоматически после этого срока. Если система аналитики подключена корректно, на странице настроек появится информация о выбранном представлении. Есть множество сервисов, которые помогают формировать гипотезы. Они варьируются от визуальных инструментов «тепловых карт», таких как Вебвизор от Яндекс.Метрика, до инструментов опросов, таких как Typeform.
Таким образом, сначала определяемся с лучшим вариантом при помощи A/B-теста. А затем проводим МВТ, чтобы оптимизировать заголовки, тексты на кнопках и так далее. Другой момент, вызывающий беспокойство при мультивариантном тестировании — объем трафика. Сплит-тесты обычно содержат меньше вариаций, чем MVT, но с более радикальными изменениями. В то время как мультивариантные кампании запускаются на внушительное число версий, но с небольшими различиями. Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный.
Мультивариантное тестирование сайта представляет собой более сложную версию сплит-теста. А/В-тестирование сайта проводится, если нужно сравнить два варианта практически одинакового контента, но с небольшими отличиями, к примеру, у одного и того же баннера меняется цвет кнопки CTA. Если нужно проверить три или более вариаций, используют A/B/n-тестирование. В контексте тестирования посадочных страниц эффекты взаимодействия можно наблюдать при одновременном проведении сразу нескольких экспериментов на одних и тех же пользователях. Это может привести к такому изменению их поведения, которое вы не могли бы предсказать, глядя на результаты каждого эксперимента по отдельности. Существует также множество прикладных решений для А/Б-тестирования, которые работают со сторонними сервисами или существуют в виде надстроек к основному функционалу системы.
Алгоритм Проведения Mvt-теста
Также необходимо определиться с уровнем достоверности, которого вы планируете достичь. Напоминаем, что ее уровень в 95% — привычный стандарт для проведения A/Б-тестов. Bound 360 — удобная платформа с интуитивно понятным интерфейсом. К сожалению, решение не предлагает возможности тестировать многовариантно.
Каждому продукту на сайте (а их у нас несколько десятков) определено свое уникальное название куки. Когда пользователь посещает сайт, сплитер системы A/B-тестов раздает куки всех активных тестов с соответствующим вариантом теста. Далее, когда пользователь попадает в один из продуктов, фронт реагирует на значение именно своей продуктовой куки и показывает пользователю определенный вариант дизайна. Например, типичный МВТ – three х 2 (проверка двух версий трех элементов дизайна) потребует столько же трафика, сколько A/B-тест с 9 вариантами (32). Есть только одна причина — когда вам нужно узнать детали взаимодействия. Сплит-тест с несколькими вариантами не даст добиться этого.
Когда дело доходит до выбора методов тестирования юзабилити, то в вашем распоряжении имеется множество вариантов. Ниже приводятся несколько различных методов, которые можно использовать для проверки качества UX вашего сайта. Кроме того, немного глубже раскрыть проблемы веб-продукта помогают опросы посетителей. Реализовать данный инструмент тестирования можно напрямую с командой, производимой продукт и непосредственно с самим пользователем. Еще опросы пользователей помогают найти недоработки, упущенные при тестировании общих данных.
Например, вы могли бы рассмотреть варианты с three, 5, 7, 9, 11 и 13 офферами в блоке в рамках одного теста, разделив трафик на 6 веток. Но с увеличением числа веток растет вероятность того, что ключевые группы распределятся неравномерно по вариантам теста. Например, в первом тесте мы сравниваем голубую горизонтальную кнопку с голубой вертикальной, и если в нем выигрывает горизонтальная кнопка, то во втором тесте мы сравниваем уже две горизонтальные кнопки разных цветов. В этом случае мы не рассматриваем вариант с желтой вертикальной кнопкой, но теоретически это мог бы быть более конверсионный вариант, чем все остальные. В таком случае, вы можете просто разделить входящий трафик на четыре равных канала по 25% и тем самым одновременно провести два независимых A/B теста.
Также некоторые компании просят участников в конце работы ответить на несколько вопросов. Вы можете собрать отзывы путем наблюдения за поведением участников теста (лично либо используя тепловые карты, видеозаписи действий пользователей) или прибегнуть к более явному и прямому способу — задавая вопросы. Как правило, сочетание этих двух подходов дает идеальный результат.
Мультивариантное Тестирование Или Сплит-тест — Что Выбрать?
Прежде чем перейти к, собственно, основной теме данного материала, дадим более конкретное определение тому, что называют эффектами взаимодействия. В статистике, например, под взаимодействием https://deveducation.com/ понимают «ситуацию, при которой одновременное влияние двух переменных на третью не аддитивно». Вариации, возникающие из каждой комбинации, размножаются как кролики.
В процессе анализа определите, какая версия дала лучший результат и соответствует ли он изначальной цели. Если на тестовой странице конверсия достигла нужного показателя, то эксперимент прошел успешно. Внедряйте изменения и показывайте всей аудитории новый вариант страницы. Если же результаты оказались нулевыми или отрицательными, то создавайте и тестируйте новую гипотезу. Именно поэтому множество компаний проводит тестирование своих сайтов и посадочных страниц, используя такие методы как сплит(A/B)- и мультивариантные тесты (MVT). Однако они ни в коем случае не являются единственными методами тестирования, доступными для маркетологов и разработчиков пользовательского опыта (UX).
Другим ограничением МВТ является то, что все комбинации вариантов должны иметь общий смысл. Такой тип экспериментов лучше проводить как A/B-тестирование, поэтому комбинации могут быть более контролируемыми. Есть лендинг по продаже сумок, где кнопка «Купить» выделена синим цветом.
После проведения исследования анализируют целевые метрики (количество кликов, конверсию, ROI, показатель отказов и другие) и определяют, какой вариант показал лучшие результаты. A/B-тестирование — метод исследования, используемый в маркетинге и веб-разработке для оценки эффективности различных вариантов страниц, элементов интерфейса или рекламных кампаний. И наоборот, если вы в настоящее время не получаете достаточно трафика для проведения A/B- тестов, вам нужно будет запустить рекламу, чтобы привлечь трафик на ваш сайт, чтобы сделать тестирование эффективным. Эти расходы могут быстро сложиться в приличную сумму, поэтому многие компании делают выбор в пользу тестирования юзабилити, особенно если по существу дела они начинают набирать трафик с нуля. Это связано с тем, что другие методы — такие сплит-, мультивариантное и многостраничное тестирование — требуют наличия большого трафика для отображения статистически значимых результатов.
Во-вторых, контролировать и анализировать результаты без специального софта сложно, можно получить большую погрешность или запутаться в расчетах. Как только вы внесете свои изменения, подумайте о повторном тестировании, чтобы определить дальнейшие области mvt тестирование для возможного улучшения юзабилити. Ваши потенциальные тестеры, которые искренне заинтересованы в том, что вы хотите предложить, скорее всего проявляют активность в группах на Facebook и на подфорумах («сабреддитах») социального новостного сайта Reddit.
То есть нельзя просто использовать поправки и проигнорировать все описанные ранее особенности. Так или иначе, мы все равно должны смотреть на распределение ключевых групп, правильно выбирать фичи и т.д. Очень полезной фичей является проведение A/B на тестовой сборке. Часто мы деплоим новый UI в виде теста, прежде чем залить его на прод.
Вы также упустите возможность обнаружить положительные эффекты взаимодействия. Это словосочетание вселяет страх в сердце любого, кому приходилось лицезреть параллельное проведение множества сплит-тестов. В лучшем случае экспериментаторы воспринимают эффекты взаимодействия как что-то вроде неудобной реальности, которая заставляет их видеть проведение взаимоисключающих экспериментов более предпочтительным. В худшем — эффекты взаимодействия могут затруднить или сделать невозможным интерпретацию результатов параллельных тестов. Основным преимуществом запуска многовариантного теста вместо A/B-теста является способность определять, как различные элементы на странице взаимодействуют друг с другом.
При использовании этих поправок появляются две особенности. Во-первых, вы ограничиваете P-value, и вам сложнее задетектировать реальную разницу между вариантами, если она есть. Если в A/B-тесте вы использовали границу P-value в 5%, то здесь вы будете использовать поправку и сравнивать варианты попарно с более низкой границей, и та же самая разница может уже не быть статистически значимой.
- Проверяют отдельные элементы или нескольких разных шаблонов.
- Выбирайте метрики, которые соответствуют цели, обозначенной на первом этапе.
- Когда эксперимент завершится, Varioqub сравнит показатели и определит, какой вариант страницы оказался лучшим.
- Если же результаты оказались нулевыми или отрицательными, то создавайте и тестируйте новую гипотезу.
- Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный.
Тогда вам будет проще понять и рассчитать полученный результат. Optimizely подойдет для тестирования сайтов и мобильных приложений. Добавьте второй и последующие варианты при необходимости. Разберем легкий вариант настройки через визуальный редактор.
Даже наш довольно простой пример электронной торговли имеет четыре вариации дизайна для сравнения, соответствующие всем возможным комбинациям двух переменных. В нашем примере электронной коммерции переменные представляют собой визуальное представление продукта и подпись кнопки призыва к действию. Мы подобрали несколько удачных примеров применения А/Б-тестов в различных маркетинговых областях. Они помогут наглядно продемонстрировать пользу, которую тестирование может принести вашему бизнесу.
Беседы являются более гибким инструментом и позволяют исследовать определенные темы максимально естественным, неформальным образом — обсуждаемые вопросы как бы сами по себе всплывают в разговоре. Напротив, анкетирование является более строгим подходом, что совсем неплохо в том случае, если вам нужно получить высокоструктурированные данные. При осуществлении подобного метода тестирования участники получаю на руки физические — бумажные — прототипы сайта вместо возможности реально посетить существующий веб-ресурс. В настоящее время этот метод может быть признан самым популярным способом проведения тестирования юзабилити.
Вторая ключевая фича — возможность проведения одновременного тестирования. В новой системе мы можем разделить входящий трафик на несколько групп и тем самым одновременно проводить независимые A/B-тесты. Меня зовут Николай Полушкин, я продуктовый аналитик в финансовом маркетплейсе Сравни. Недавно мы проводили тест-драйв новой системы A/B/n-тестирования, которую планируем внедрить в нашей компании.
Упомянутые тесты, как правило, опираются на крупные массивы данных, необходимые им для выдачи корректных результатов, однако не все маркетологи располагают необходимыми объемами информации. Мультивариантное тестирование, как и A\B тестирование – применяется для оптимизации целевых страниц. В этом виде теста изменения касаются ни одного (как в случае A/B тестирования), а сразу нескольких параметров. Например, вы можете протестировать заголовок, текст кнопки с призывом к действию и изображение на странице. Как было сказано выше, пока у вас нет огромных объемов трафика, даже задумываться о мультивариантных тестах преждевременно.
