Оценка эффектов взаимодействия параллельных А/В экспериментов (Александр Кузнецов, EXPF)

Параллельные A/B-эксперименты способны взаимодействовать между собой и смещать оценки — как на уровне отдельного теста, так и при выкатке нескольких фичей в production одновременно. Проблема сводится к ортогональности сплитера и мультипликативности эффектов: при равномерном перемешивании трафика влияние ограничивается мультипликативностью, и если delta между тестом и контролем сохраняется, ситуация приемлема; если искажается — выводы ненадёжны. Для детекции interaction-эффектов строятся линейные модели с feature cross (treatment_1 × treatment_2) и проверяется статистическая значимость коэффициента, дополняя оценку экономического эффекта через холдаут-группы и поправку на dilution.

• Строить линейную модель с feature cross treatment_1 × treatment_2 для проверки конфликтов
• Настроить регулярный ETL-пайплайн для ключевых метрик и микросервис для второстепенных
• Оценить суммарный экономический эффект: поправки на interaction и dilution плюс холдаут-группа

Февраль 2025