Часть 1 Аналитика экспериментов: как измерить влияние эксперимента на продукт (Андрей Менде, Booking)

A/B-тесты в Booking.com применяют для оценки ML-алгоритмов, но при измерении результата возникают четыре проблемы. Задержка данных: повторные покупки случаются через 2–3 недели, и эксперимент приходится ждать. Нехватка мощности на ранних стадиях продукта. Каннибализация: конверсия растёт за счёт скидок, но режет маржинальность. Ложный успех: продуктовые метрики растут, а бизнес-метрики стоят на месте. Поэтому для каждого эксперимента задают три типа метрик: целевую, вспомогательные для ранних сигналов и контрольные — чтобы убедиться, что ничего не сломано.

• Определять три типа метрик: целевую, вспомогательные и контрольные
• Учитывать каннибализацию: рост одной метрики может давить другую
• Отличать фичи, улучшающие продукт, от тех, что двигают бизнес