5 шагов, чтобы выйти
из АБьюзивных отношений с экспериментами (Ирина Ивченкова, Lamoda Tech)

На маркетплейсе Lamoda использование денежной метрики NMV как целевой для всех A/B-тестов привело к недопустимо долгим экспериментам и критическому росту time-to-market. Команда перестроила процесс: внедрила дерево метрик с математическими зависимостями для выбора чувствительных прокси-метрик, связанных с North Star, запустила глобальную контрольную группу для оценки суммарного эффекта продукта от квартала к кварталу, автоматизировала расчёты и применила методы снижения дисперсии (CUPED). Разбираются риски KPI на количество успешных тестов и дилемма buy versus build при выборе АВ-платформы.

• Заменить нечувствительные денежные метрики на прокси из дерева метрик
• Оценить суммарный рост продукта через глобальную контрольную группу
• Избежать KPI на количество успешных тестов и дата-майнинга

Февраль 2025