Снижай дисперсию целевой метрики в A/B-тесте, вычитая из неё влияние независимых признаков, собранных до старта эксперимента

Как выглядит

A/B-тест тянется третий месяц, и в отчёте видно: твой вариант дал плюс, но p-value застряло на 0,12 — потому что разброс выручки между пользователями в десятки раз больше, чем эффект от твоей фичи.

Почему так работает

Шум заглушает сигнал. Известные заранее признаки пользователя — это гири на весах. Их нужно снять, чтобы увидеть разницу в двести рублей.

Как замечать

Возьми последний завершённый тест с незначимым результатом. Построй график: по оси X — средние траты пользователя за 30 дней до теста, по оси Y — его траты во время теста. Если точки выстроились вдоль диагонали — признаки из «до-теста» предсказывают поведение в тесте и вычитание шума их сработает.

Где не работает

Нужна история: если на пользователя нет собранных данных за период до старта эксперимента, вычитать нечего. И если этот «вес» из прошлого слабо связан с поведением во время теста — вычитание останется пустой математикой.

Когда наоборот

Тестируешь совершенно новый продукт на холодной аудитории, собранной с рекламы за последние две недели. Исторических данных нет — и вместо того, чтобы строить модели на их основе, ты неделю гоняешь тест и смотришь на грубую разницу групп.

Где об этом говорят

• Видео12 мин

  X5 Retail Group: ответы на вопросы

  Проверяем доступ

  «Чтобы снизить естественный шум (дисперсию) в целевой метрике A/B-теста, можно вычесть из нее влияние независимых признаков, прослеженных за пользователем до старта эксперимента.»

  здесь это прозвучало

• Выступление

  How to Increase A/B Convergence Time 10-100 Times (X5 Retail Group, Валерий Бабушкин)

  ProductSense Stories'20 · 2020

  Проверяем доступ

  «Если для достижения статистической значимости A/B-тест требуется проводить месяцами, нужно не увеличивать срок, а снижать дисперсию метрики.»

  здесь это прозвучало