A/B тестирование: лучшие практики

9 материалов · 2 ч 28 мин

Эта подборка поможет проводить A/B-тесты на качественно новом уровне. Здесь вы найдете ответы на вопросы: — что надо сделать до старта A/B-теста, кроме формулирования гипотезы; — как не потерять несколько недель на некорректном A/B-тесте; — типичные ошибки при анализе A/B-тестов; — как проводить А/B-тесты на малом объёме данных. Доклады: — Игорь Яшков, Head of Analytics в КиноПоиск, рассмотрел полезные чек-листы для трёх этапов A/B-теста: до старта, in flight и после завершения. — Евгений Троянович, Senior Product Analyst во Flo, на примере опыта Flo рассмотрел реально работающий метод непрерывного мониторинга A/B тестов, имеющий ряд преимуществ перед классической схемой. — Иван Козыев, Head of Analytics в CrazyPanda, рассказал, как эволюционировали целевые метрики АБ-тестов компании, какие инсайты удалось найти и какие тесты принесли наибольшую пользу. — Валерий Бабушкин, Director of Data Science в X5 Retail Group, рассказал, как с помощью линеаризации ускорить A/B тесты в 10-100 раз. — Александра Горный, Со-основатель Mo, рассказал, как проводить A/B тесты на малом объёме данных. — Искандер Мирмахмадов, Co-founder EXPF, поделился статистическими методами для проведения экспериментов. — (EN) Nadia Nazarova, SplitMetrics, told how to do A/B testing: 7 steps for the perfect experiment.

34 мин

A/B тестирование: лучшие практики

Чек-листы до, во время и после A/B-теста (Игорь Яшков, КиноПоиск)

Ускоряем A/B-тесты в разы с помощью методики Always Valid P-Values (Евгений Троянович, Flo)

A/B-тесты в монетизации — как правильно подбирать целевую метрику (Иван Козыев, CrazyPanda)

Ускорение А/Б тестов с помощью линеаризации (Валерий Бабушкин, X5 Retail Group)

Как проводить А/Б тесты на малом объёме данных (Александр Горный, Mo)

Как сделать «честный» A/B тест без A/B теста? (Искандер Мирмахмадов, EXPF)

Как не заблудиться в рекомендациях: от исследований к улучшению персонального клиентского опыта (Дмитрий Кудасов)

Что бы мы не делали, если бы не было ML/AI? (Григорий Фрольцов)

"Как тебя понимать?" Разбираемся в целевой аудитории и подстраиваем под неё продукт