К содержимому

X5 Retail Group: ответы на вопросы

Формула размера выборки для A/B-теста зависит от доверительного уровня, дисперсии и допустимой погрешности. Для метрик отношения — конверсии, CTR — значения ограничены диапазоном от 0 до 1, и линеризация переводит метрику в новое признаковое пространство, где расширяется допустимый зазор. Искусственное увеличение зазора в 8 раз квадратично сокращает объём данных в 64 раза. Для абсолютных метрик вроде выручки линеризация не работает, и вместо неё применяется CUPED — снижение дисперсии за счёт вычитания коррелирующих преэкспериментальных данных.

  • Применить линеризацию для метрик отношения и сократить выборку в 64 раза
  • Снизить дисперсию абсолютных метрик методом CUPED на одной неделе данных
  • Оценить потери от снижения доверительного уровня с 95% до 70%