Measuring accurate incremental effect from user communications (Dima Zolotukhin, Flo)

CTR искажает картину: при разном количестве пушей он не коррелирует с реальным количеством запусков приложения, а клики часто лишь каннибализируют органическое возвращение пользователя. В Flo Health инкрементальность коммуникаций измеряют через продуктовые метрики — удержание, вовлечённость, монетизацию — с помощью строгих A/B тестов и server-side attribution. Рост числа пушей повышает push opt-out rate, и на длинной дистанции отписки могут полностью обнулить краткосрочный uplift. Чтобы не ждать по 60 дней стабилизации метрик, используют математические модели, прогнозирующие долгосрочное удержание на основе краткосрочных результатов, данных о времени сессии и уровне отписок.

• Оценить инкрементальность пушей через retention и монетизацию вместо CTR
• Учесть долгосрочные трейд-оффы: отписки могут обнулить краткосрочный uplift
• Применять предиктивные модели, чтобы не ждать 60 дней стабилизации метрик