Если механика не дала глобального эффекта, не откатывай её: возможно, она отлично решает задачу на узком сегменте

2 материала · принцип действия · Делаем, а не двигается

Как выглядит: На ревью фичи ты видишь: средняя конверсия в покупку не сдвинулась. Команда в чате предлагает откатить всё к прошлому релизу, и ты уже пишешь тикет на откат.
Почему так работает: Усреднение прячет сильный эффект маленькой группы. Как чайная ложка соли в кастрюле супа: на вкус блюда не влияет, а в тарелке того, кому она попалась, решает всё.
Как замечать: Разбей аудиторию фичи на пять-шесть сегментов: источник трафика, платформа, давность регистрации. Посмотри конверсию в каждом. Если хотя бы в одном она выше остального диапазона — механика нашла своего покупателя.
Где не работает: Аналитика настроена только на средние цифры по всем пользователям, и смотреть когорты физически негде — без этого ты не узнаешь, есть ли узкий сегмент или его нет.

Где об этом говорят