Содержание:
A/B-тест — это способ проверить, как изменения продукта повлияют на поведение пользователей. Чаще всего такие тесты используют, чтобы улучшить конверсию на сайтах и в мобильных приложениях.
Чтобы запустить тестирование, нужно придумать гипотезу. Если сформулировать ее неверно или запустить A/B-тест вообще без гипотезы, эффект от изменений будет не таким ярким. А в худшем случае его не будет совсем. Вместе с командой по разработке сайта рассказываем, как придумывают и проверяют гипотезы в Газпромбанке.
Кто придумывает гипотезы?
В Газпромбанке над гипотезами работают кросс-функциональные команды — Value Streams. Это команда, в которой есть специалисты из разных отделов и департаментов банка. Их объединяет то, что они работают над одним направлением. Например, есть стрим потребительских кредитов. В нем собраны разработчики, тестировщики, аналитики, дизайнеры и другие специалисты, которые участвуют в релизах. В этом стриме есть представители и от команды сайта.
Задача Value Stream — сделать так, чтобы продукт развивался, то есть приносил доход банку и при этом становился удобнее для клиента. Поэтому за формулирование гипотез отвечают стримы. В команде разные специалисты, за счет этого удается вовремя остановить работу над гипотезой, которую не удастся протестировать.
Гипотетический пример. Аналитики заметили, что из формы заявки можно убрать поле, где нужно указать номер СНИЛС — тогда есть вероятность, что конверсия в заявки по кредитам вырастет на 10%. Но представитель от бизнеса говорит, что если это поле убрать, может упасть процент одобрения кредитов. Сотрудникам банка не хватит информации, чтобы принять решение, одобрять заявку или нет.
В таких случаях команда проводит оценку, как изменятся показатели, если убрать поле с номером СНИЛС:
- Насколько больше заявок на кредитование банк станет получать.
- Насколько уменьшится конверсия в одобрение.
После этого Value Stream считает, что финансово выгоднее: приумножить в заявках или потерять в одобрении. Если оказывается, что первый путь принесет больше денег, гипотезу протестируют.
Гипотеза, которая сработает, — какая она?
На самом деле, ни Value Stream, ни команда сайта не смогут сказать сходу, какие решения точно стоит внедрять — если бы могли, то этап A/B-теста был бы просто не нужен. Но до тестирования доходят не все гипотезы. В разработку берут предположения, которые прежде всего можно измерить.
Команда определяет метрику, по которой будет оценивать эффективность гипотезы. Например, это может быть время, которое пользователь тратит на то, чтобы перейти с экрана на экран. Или это может быть конверсия, допустим, из посетителя сайта в пользователя, который заполнил заявку на кредитную карту. Важно, чтобы эффект от гипотезы можно было измерить в цифровом формате, поэтому перед запуском теста команда фиксирует текущие показатели.
Гипотеза должна звучать примерно так:
Подставим сюда реальную гипотезу, которую Газпромбанк протестировал и она оказалась удачной:
Раньше было так: пользователь старше 20 или 45 лет заполнял заявку на кредит. Система просила внести сведения о прошлом паспорте. Но мало кто помнит наизусть такие данные: было видно, что пользователь терялся и не знал, как ему пройти этот шаг. Мы убрали блок со сведениями о прошлом паспорте, и это дало дополнительный эффект.
Еще один пример гипотезы, которая улучшила метрики:
Больше примеров гипотез, которые сработали, вы найдете здесь: Как команда Газпромбанка улучшает клиентский путь на сайте
Какие гипотезы запускают в работу первыми?
Все гипотезы быстро протестировать невозможно, поэтому Value Stream расставляет их по приоритетам. Из всех предложений выбирают те, которые дадут продукту кратный рост, иначе команда потеряет деньги и время.
Чтобы интересы стримов и команды по разработке сайта не конфликтовали, приоритизацию гипотез сделали максимально прозрачной. В этом помогает корпоративный таск-менеджер. Еще команда по разработке сайта заносит гипотезы в таблицу. Они содержат детальные расчеты по метрикам и описания задач для каждого члена команды. Это могут быть исследования, дизайн, работа с фидбеком от пользователей.
Самыми приоритетными будут гипотезы, у которых:
- Предполагается высокая бизнес-эффективность — то, как они упростят клиентский путь или повысят доход банка.
- Будет простая реализация — соотношение времени и сложности тестирования.
После этого начинается новый этап — проведение A/B-тестирования. Подробнее о том, как Газпромбанк проводит тесты, можно узнать из этой статьи: Как A/B-тестирование помогает разработчикам?
В материале мы подробнее рассказываем, что такое A/B-тесты и как они помогают понять, чего хотят пользователи.
