Для коротких экспериментов используй чувствительные прокси-метрики, а не тугую метрику возвращаемости

Как выглядит

A/B-тест идёт шестую неделю, а на дашборде у метрики возвращаемости плюс-минус полпроцента и подпись «недостаточно данных». Спонсор спрашивает, где результат, а ты не можешь ни выкатить фичу, ни убрать.

Почему так работает

Возвращаемость и выручка сдвигаются медленно и требуют огромной выборки, потому что на них давят десятки причин. Мелкая метрика вроде количества созданных документов за сессию реагирует за день. Это как с мясным термометром: ты не ждёшь, пока пирог остынет и гости его попробуют, — щуп за две минуты показывает температуру внутри.

Как замечать

Открой дашборд теста. Посчитай, сколько событий в твоей прокси-метрике набралось за неделю. Если меньше пятидесяти — метрика слишком тугая, ищи другую. Если событий сотни, но связь с возвращаемостью ты ни разу не проверял — это шум, а не сигнал.

Где не работает

Чувствительная метрика реагирует на всё, включая то, что к возвращаемости не имеет отношения. Если ты не подтвердил связь числом — ты отслеживаешь колебания ветра, а не курс корабля.

Когда наоборот

На зрелом продукте с миллионной аудиторией и десятками тестов в месяц ты спокойно измеряешь влияние фичи на выручку или возвращаемость: данных хватает, и тратить недели на валидацию прокси нет смысла.

Где об этом говорят

• Видео16 мин

  Как сформировать привычку использовать продукт (Михаил Щеглов, Avito)

  Проверяем доступ

  «Для оценки коротких экспериментов на удержание используйте чувствительные прокси-метрики (например, количество контактов за сессию), а не тугую метрику возвращаемости.»

  здесь это прозвучало

• Видео1 ч 17 мин

  Продуктовая стратегия Netflix 2020

  Проверяем доступ

  «Главным критерием здоровья subscription-бизнеса должно быть удержание, а для проверки локальных гипотез нужно использовать быстрые прокси-метрики, так как общий отток слишком инертен.»

  здесь это прозвучало

• Видео1 ч 2 мин

  Как делать правильные выводы из А/В-тестов (Александр Балин, Skypro)

  Проверяем доступ

  «Выбирайте максимально чувствительные прокси-метрики, которые быстрее реагируют на изменения, чтобы не ждать месяцами набора статистической значимости.»

  здесь это прозвучало

• Видео13 мин

  A/B тесты

  Проверяем доступ

  «Когда целевая метрика измеряется с большой задержкой, нужно искать событийную прокси-метрику с высокой корреляцией к ней, чтобы сократить цикл проверки гипотез с недель до дней.»

  здесь это прозвучало

• Видео30 мин

  5 шагов, чтобы выйти
из АБьюзивных отношений с экспериментами (Ирина Ивченкова, Lamoda Tech)

  Проверяем доступ

  «Когда бизнес требует оценивать результаты всех экспериментов напрямую в деньгах, время проведения тестов катастрофически возрастает из-за естественной нечувствительности финансовых метрик.»

  здесь это прозвучало

• Видео38 мин

  Как быстро измерить эффект новой фичи (Андрей Михайлюк, Flo)

  Проверяем доступ

  «Нужно искать ранние действия пользователей, сильно коррелирующие с долгосрочным retention или LTV (прокси-метрики), чтобы не ждать завершения длинных циклов подписки.»

  здесь это прозвучало

• Видео4 мин

  Часть 2 Аналитика экспериментов: как измерить влияние эксперимента на продукт (Андрей Менде, Booking) Часть 2

  Проверяем доступ

  «Когда долгосрочные бизнес-показатели нельзя измерить быстро, нужно искать и статистически валидировать суррогатные метрики, которые меняются мгновенно и коррелируют с отдаленным успехом.»

  здесь это прозвучало

• Видео1 ч 4 мин

  North Star Metric: Как не убить себя метриками (Елена Серегина, Datalatte)

  Проверяем доступ

  «Не пытайтесь измерять ценность продукта метриками отложенного действия, такими как retention, из-за размытой причинно-следственной связи и искажения множеством факторов.»

  здесь это прозвучало

• Выступление26 мин

  Продуктивность без ловушек, или почему вы до сих пор не Илон Маск? (Марат Ханбеков)

  PeopleSense'26 — Конференция об управлении командами, процессами и собой · 2026

  Проверяем доступ

  «Чтобы управлять прогрессом, найдите «сигнал раннего результата» — быструю частную метрику со строгой причинно-следственной связью с конечной целью.»

  здесь это прозвучало