Эксперименты, статистика и корпоративный скептицизм (Андрей Андреев, Metro)

Культура A/B-тестирования в Metro началась с болезненных ошибок: низкая мощность теста приводит к переоценке эффекта на 40%, а чужие практики не работают без проверки на своих данных. Разбирается применение хайрката около 13% к успешно прошедшим тестам и симуляция Монте-Карло для обоснования инвестиций в инфраструктуру экспериментов. Частотный подход подходит для продуктовых тестов, байесовский — для быстрых бизнесовых решений.

• Применять хайркат ~13% к прошедшим тестам при alpha=5% и power=80%
• Обосновать инвестиции в рост тестов через симуляцию Монте-Карло
• Выбирать частотный подход для продуктовых тестов, байесовский — для быстрых решений

Февраль 2025