A/B-тестирование

Пример A/B-тестирования

A/B-тестирование (англ. A/B testing, Split testing) — метод маркетингового исследования, позволяющий на основе статистики оценить влияние изменения на метрики продукта. A/B-тест состоит из рандомизированного контролируемого эксперимента. В ходе теста сравнивается вариант «A» и вариант «B», а целью является определение лучшего из двух протестированных вариантов[1][2][3]. В результате эксперимента выбирают тот вариант, который значимо улучшает один или несколько целевых показателей.

Разновидностью A/B-тестирования является многовариантное тестирование. В этом случае тестируются не два целостных варианта, а сразу несколько элементов продукта или составных частей исследуемого объекта в различных сочетаниях, при которых каждый тестируемый элемент может быть двух видов (A или B)[4].

Практическое применение

Метод часто используется в веб-дизайне, типичные применения — исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта[5]. В веб-дизайне часто тестируются две очень похожие веб-страницы (страница А и страница В), которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/n-тестированием). Страницы А и В показываются различным пользователям в равных пропорциях, при этом посетители, как правило, не знают об этом. По прошествии определённого времени или при достижении достаточно большого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы. Преимуществом метода является использование при проектировании объективных данных[4]. Для A/B-тестирования веб-дизайна часто используются инструменты от сервисов веб-статистики; в этом случае также часто важно применение механизма для разбиения пользователей, которым будет показан тот или иной вид дизайна (одному и тому же пользователю нужно показывать тот же самый вариант дизайна), например, на основе IP-адреса и затем установкой HTTP cookie[4].

Другие подходы

Когда проведение A/B-тестирования нецелесообразно, могут использоваться альтернативные методы[6].

Примечания

  1. ↑ The Surprising Power of Online Experiments // Harvard Business Review. — 2017-09-01. — ISSN 0017-8012. Архивировано 14 августа 2021 года.
  2. ↑ Ron Kohavi, Roger Longbotham. Online Controlled Experiments and A/B Tests (англ. ) // Encyclopedia of Machine Learning and Data Science. — 2023. — С. 891—892. Архивировано 21 апреля 2023 года.
  3. ↑ Ron Kohavi, Diane Tang, Ya Xu. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. — Cambridge University Press, 2020-04-02. — 291 с. — ISBN 978-1-108-72426-5.
  4. ↑ 1 2 3 Mathis, 2011.
  5. ↑ Big data: The next frontier for innovation, competition, and productivity (англ.). — 2011. — P. 28. Архивировано 26 декабря 2024 года.
  6. ↑ Василий Сабиров. Игра в цифры. Как аналитика позволяет видеоиграм жить лучше. — Litres, 2020-06-23. — 502 с. — ISBN 978-5-04-259284-3.

Литература

Ссылки