6 материалов · принцип мышления · Не знаю, что будет
Проверить быстро ↔ убедиться заранее
Проверять реальность через быстрые гипотезы и действие, не дожидаясь абсолютных гарантий.
Выдерживать паузу, просчитывать риски и проверять осуществимость до старта, чтобы не получить невыполнимую задачу.
Видео8 мин«Когда трафика мало, стандартные A/B-тесты на поиск статистически значимого улучшения работают слишком медленно, поэтому тестировать надо не улучшение, а отсутствие сильного ухудшения.»
здесь это прозвучало
Видео7 мин«Когда трафика не хватает для статистической значимости, A/B-тесты нужно заменять поэтапным внедрением фич и сравнением когорт по времени.»
здесь это прозвучало
Видео10 мин«При нехватке трафика для тестирования на конкретном шаге, эксперимент можно дробить или переносить выше по воронке.»
здесь это прозвучало
Видео1 ч 25 мин«Перед запуском А/В-теста нужно заранее рассчитывать минимальныйdetectable effect (MDE) и требуемый трафик, а не просить аналитиков «просто посмотреть прокрас».»
здесь это прозвучало
Видео13 мин«Управленческие решения можно принимать на основе сравнения когорт, даже если данные несколько «грязные» и не на 100% точные.»
здесь это прозвучало
Видео3 мин«Эксперимент можно считать успешным, даже если ключевые метрики падают, при условии, что это падение находится в заранее оговоренных пределах ради достижения другой цели.»
здесь это прозвучало
