A/B тесты

A/B-тестирование — ключевая компетенция, дающая право финального аппрува фичам. В Авито и Яндексе процесс автоматизирован: аналитик открывает админку, запускает тест и через три дня получает результаты в Tableau. В быстрорастущих продуктах — ритейл, фастфуд — инфраструктуры нет, и эксперименты строятся с нуля, зачастую на коленке. Главная точка роста — ускорение тестов. На примере Netflix: целевая метрика — продление подписки — измеряется месяцами, но часы просмотра коррелируют с оттоком почти абсолютно и доступны сразу. Методы CUPED, линеаризация и sequential testing сокращают цикл эксперимента в несколько раз.

• Найти прокси-метрику с высокой корреляцией к целевой, чтобы сократить цикл теста с недель до дней
• Применять CUPED, линеаризацию и sequential testing для снижения дисперсии и кратного ускорения экспериментов
• Запустить процесс A/B-тестирования с нуля в продукте без готовой инфраструктуры