Оценивая ценность гипотез через плечи метрик, обязательно учитывай текущую базу и реалистичность кратного улучшения

Как выглядит

У тебя в бэклоге тикет «увеличить конверсию в покупку с 8 до 9%», а на оценку impact ты вписал ×1,12 — потому что 9 больше 8 на двенадцать процентов.

Почему так работает

Метрика — это не процент от базы, это люди, которые сегодня уходят. Последний процент конверсии дотянуть дороже, чем первые пять: лёгкие изменения ты уже сделал, остались те, кто не покупает по причине, а не по опечатке.

Как замечать

Вспомни последнюю завершённую гипотезу и сравни два числа: какой процент улучшения ты заложил до старта и какой получил по итогам теста. Если заложенный процент стабильно выше фактического — ты считаешь плечи от желаемого, а не от того, что физически происходит с метрикой.

Где не работает

Когда тестируешь что-то новое — другой сегмент, другой канал, другую ценность, — прошлые проценты ни о чём не говорят. Тут нет базы, и первый тест может дать рост в три раза или ноль.

Где об этом говорят

• Видео28 мин

  Инструмент для поиска точек роста в бизнесе «Плечи метрик»

  Проверяем доступ

  «При сравнении ценности гипотез через «плечи метрик» обязательно учитывайте текущую базу и реалистичность изменений: улучшить конверсию вдвое на старте проще, чем кратно масштабировать трафик или повышать маржинальность.»

  здесь это прозвучало

• Видео47 мин

  Использование продуктовых метрик для оценки влияния гипотезы на P&L (Александр Иосса, Tinkoff)

  Проверяем доступ

  «При оценке продуктовых гипотез закладывайте минимальный целевой порог изменения метрики, при котором инициатива вообще имеет финансовый смысл для бизнеса.»

  здесь это прозвучало