nGrow.ai: ответы на вопросы
Команда nGrow.ai тестировала до 20 креативов для пуш-уведомлений одновременно, используя алгоритмы динамического перераспределения трафика. Метод Thompson Sampling выявляет лидеров быстрее классического A/B-тестирования и приводит к тем же результатам. Теоретическая ловушка искажения P-value из-за множественных сравнений редко проявляется на практике благодаря большим объёмам трафика, особенно при разделении пушей на транзакционные и маркетинговые.
- Сравнить динамическое перераспределение трафика с классическим A/B-тестированием
- Оценить риск искажения P-value при 20 параллельных креативах
- Применить сегментацию пушей для увеличения объёма тестируемого трафика