Badoo: ответы на вопросы

Классический A/B-тест не фиксирует статистически значимый результат, если пользователи тестовой группы меняют поведение и влияют на людей из контроля. В дейтинг-продуктах это происходит регулярно: эксперимент меняет опыт одного человека, тот меняет поведение и воздействует на других. Для таких случаев нужен метод Causal Impact, но он дорогой: требует минимум две недели, блокирует весь рынок для других экспериментов и нуждается в ручной аналитике. Применять его стоит точечно — там, где обычный A/B-тест бессилен.

• Определить, нужен ли Causal Impact или достаточно обычного A/B-теста
• Проверить три критерия применимости: независимость рынков, волатильность метрики, объём событий
• Учесть ресурсоёмкость метода: от двух недель, блокировка рынка, ручная аналитика