Содержание:
Разработчик лучше понимает, какие функции нужны пользователям, если регулярно проводит A/B-тесты. Руслан Рамазанов, начальник Управления развития веб-проектов Газпромбанка, рассказал, что такое A/B-тестирование и как оно помогает улучшать проекты.
Что такое A/B-тестирование
A/B-тестирование — проверка, как изменения продукта влияют на поведение пользователей. Чаще всего такие тесты используют, чтобы улучшить конверсию на сайтах и в мобильных приложениях.
Например, бизнес собирает контакты клиентов через форму на сайте. В ней три поля: имя, номер телефона и почта. Владелец бизнеса хочет проверить, будут ли пользователи активнее оставлять контакты, если просить у них только email. Это гипотеза.
Чтобы её проверить A/B-тестом, разработчик делает новую версию страницы с формой, но оставляют у этой страницы тот же URL-адрес. Одна половина пользователей сайта увидит форму с тремя полями, другая — новую форму с одним полем. Есть специальные инструменты, которые упрощают тестирование: Firebase A/B Testing, Optimizely, Kameleoon.
Для результата сайт должны посетить определенное количество пользователей. Оно называется статистически значимым и считается в специальных калькуляторах. А/B-тестирование может пройти за несколько дней на сайте с 20 млн посетителей в день и растянуться на несколько месяцев, если посещаемость низкая.
Например, сайт b2b-компании, которая на заказ анализирует трафик других фирм, посещают 3000 пользователей в месяц. Для того чтобы протестировать, как цвет кнопки «Заказать аудит» влияет на конверсию, потребуется не меньше месяца. Иначе результаты теста будут неверны: не будет достаточной выборки, чтобы сделать выводы.
A/B-тест помогает бизнесу понять, чего хотят пользователи
Важно уметь быстро тестировать идеи, выбирать лучшие, а остальные оставлять на потом или отбрасывать.
Например, разработчики придумали три новые функции для приложения: форму обратной связи, звонок в техническую поддержку и чат-бот, которому можно задать вопрос. Без проверки непонятно, какая окажется удобнее для пользователей.
На этом этапе есть два пути:
1. Выбрать одну идею, которая кажется самой перспективной, и потратить всё время на разработку и отладку. Если клиенты не будут пользоваться новой функцией, ресурсов на другие не останется.
2. Создать простые версии разных функций и поочередно запустить их в A/B-тест. Так бизнес определит, какие из них интересны пользователям или значительно улучшают проект. При этом бесполезные функции отсеются на начальном этапе.
На сайте Газпромбанка пользователь может выбрать в списке офис, в котором хочет получить услугу. Мы предположили, что на карте это делать быстрее и удобнее. Но во время A/B-тестирования оказалось, что на мобильных устройствах у людей возникали проблемы с картой: пользователи уходили со страницы. Мы решили вернуть прежний вариант, а новый отправили на доработку. Позднее мы запустим новый A/B-тест для мобильной версии сайта.
