X5 Retail Group: ответы на вопросы
Формула размера выборки для A/B-теста зависит от доверительного уровня, дисперсии и допустимой погрешности. Для метрик отношения — конверсии, CTR — значения ограничены диапазоном от 0 до 1, и линеризация переводит метрику в новое признаковое пространство, где расширяется допустимый зазор. Искусственное увеличение зазора в 8 раз квадратично сокращает объём данных в 64 раза. Для абсолютных метрик вроде выручки линеризация не работает, и вместо неё применяется CUPED — снижение дисперсии за счёт вычитания коррелирующих преэкспериментальных данных.
- Применить линеризацию для метрик отношения и сократить выборку в 64 раза
- Снизить дисперсию абсолютных метрик методом CUPED на одной неделе данных
- Оценить потери от снижения доверительного уровня с 95% до 70%