Ускоряем A/B-тесты в разы с помощью методики Always Valid P-Values (Евгений Троянович, Flo)

На примере опыта Flo рассмотрели реально работающий метод непрерывного мониторинга A/B тестов, имеющий ряд преимуществ перед классической схемой:

— к чему приводит подглядывание (известная история), почему люди подглядывают и почему классическая схема контринтуитивна

— почему схема в среднем может ускорять тесты, совместимость с другими методами ускорения - CUPED и т.п.

— описание минусов схемы - за счет чего бесплатный сыр

— описание имплементации - какие детали опущены в публикации и как заставить схему работать. Библиотека, сделанная во Flo