При недостатке трафика в A/B-тестах ищи подтверждение отсутствия катастрофических ухудшений, а не статистически значимый рост
6 материалов · принцип мышления · Не знаю, что будет
- Как выглядит
- A/B-тест на экране оплаты идёт шестую неделю, до статистической значимости всё ещё далеко, а релиз стоит в бэклоге.
- Почему так работает
- Доказать, что от новой кнопки стало лучше, нужно столько же показов, сколько вы не соберёте за полгода. А вот убедиться, что ничего не сломалось — в разы меньше данных.
- Как замечать
- Вспомни последний тест, который тянули дольше месяца, и ответь: считал ли ты, насколько стало хуже, или ждал зелёного «прокраса» роста? Если ждал зелёного — ты искал не то.
- Где не работает
- Если трафика с избытком и значимая выборка собирается за пару дней — трать время именно на поиск лучшего варианта, не снижай планку.
- Когда наоборот
- Релиз меняет главную страницу оплаты для корпоративных клиентов и может уронить выручку на треть — тут сначала считай риски и проси гарантии, а не проверяй по ходу.
Проверить быстро ↔ убедиться заранее
Проверять реальность через быстрые гипотезы и действие, не дожидаясь абсолютных гарантий.
Выдерживать паузу, просчитывать риски и проверять осуществимость до старта, чтобы не получить невыполнимую задачу.
Где об этом говорят
Видео8 минКак проводить А/Б тесты на малом объёме данных (Александр Горный, Mo)
Проверяем доступ
«Когда трафика мало, стандартные A/B-тесты на поиск статистически значимого улучшения работают слишком медленно, поэтому тестировать надо не улучшение, а отсутствие сильного ухудшения.»
здесь это прозвучало
Видео7 минAviasales: ответы на вопросы
Проверяем доступ
«Когда трафика не хватает для статистической значимости, A/B-тесты нужно заменять поэтапным внедрением фич и сравнением когорт по времени.»
здесь это прозвучало
Видео10 минКак мы провели 300 экспериментов за год и добились трёхкратных конверсий в триал
Проверяем доступ
«При нехватке трафика для тестирования на конкретном шаге, эксперимент можно дробить или переносить выше по воронке.»
здесь это прозвучало
Видео1 ч 25 минУправляем данными самостоятельно (Данила Леньков, Авито и Георгий Фандеев, Авито)
Проверяем доступ
«Перед запуском А/В-теста нужно заранее рассчитывать минимальныйdetectable effect (MDE) и требуемый трафик, а не просить аналитиков «просто посмотреть прокрас».»
здесь это прозвучало
Видео13 минКак анализировать продуктовые изменения по когортам
Проверяем доступ
«Управленческие решения можно принимать на основе сравнения когорт, даже если данные несколько «грязные» и не на 100% точные.»
здесь это прозвучало
Видео3 минДизайн growth-экспериментов (Алексей Кузнецов, App in the Air)
Проверяем доступ
«Эксперимент можно считать успешным, даже если ключевые метрики падают, при условии, что это падение находится в заранее оговоренных пределах ради достижения другой цели.»
здесь это прозвучало