Учитывай сезонность и внешние факторы при анализе A/B-тестов, чтобы избежать ложных выводов об эффективности

2 материала · принцип мышления · Откуда я это знаю

Как выглядит: В конце A/B-теста конверсия в группе Б прыгает на 15%, и ты записываешь в выводы «новый экран онбординга работает».
Почему так работает: Как градусник на солнце: меряешь не температуру тела, а нагретую батарею. Скачок в группе Б объясняется майскими праздниками или сезоном отпусков внутри теста, а не твоими изменениями.
Как замечать: Сопоставь даты теста с производственным календарём. Если в праздники трафик контрольной группы упал больше чем на 20% — результат списывай на внешнее событие.
Где не работает: Если сам релиз ломает инфраструктуру, высокий трафик усугубит аварию. Сезонный пик плох для теста, который несёт риск сбоя.
Когда наоборот

Где об этом говорят