Оценивай продуктовую команду по суммарному приросту за период, а не по результату каждого отдельного эксперимента

Как выглядит

На квартальном ревью ты требуешь от каждого А/В-теста денежную оценку: команда неделю считает выручку от переноса кнопки и спорит о значимости, а продукт за квартал стоит на месте.

Почему так работает

Каждый отдельный тест — это бросок кубика, где шум и случайность мешают разглядеть вклад. Садовник не меряет каждый росток линейкой — он взвешивает урожай.

Как замечать

Открой отчёт по A/B-тестам за квартал и посчитай, сколько времени команда потратила на перевод результатов в деньги. Если больше двух недель — команда считает ростки вместо урожая.

Где не работает

Глобальный холд-аут, который нужен для суммарной оценки, замедляет рост: контрольная группа не получает новых функций и не приносит выручку.

Когда наоборот

Ты единственный разработчик на раннем стартапе: здесь урожай мерить нечем, результат измеряется закрытыми тикетами и строками кода.

Где об этом говорят

• Видео30 мин

  5 шагов, чтобы выйти
из АБьюзивных отношений с экспериментами (Ирина Ивченкова, Lamoda Tech)

  Проверяем доступ

  «Эффективность продуктовой команды нужно оценивать по суммарному приросту за период с помощью глобальной контрольной группы, а не по финансовому результату каждого отдельного А/В-теста.»

  здесь это прозвучало

• Подкаст1 ч 12 мин

  О стоицизме, гибкости мировоззрения, влиянии чужой картины мира, честности и стоических фреймворках

  Подкаст · 2022

  Проверяем доступ

  «В управлении командой оценивать надо качество и стабильность прилагаемых усилий, а не только итоговый результат.»

  здесь это прозвучало

• Видео23 мин

  Как развивать продуктовое лидерство (Илья Трегубов, Pandadoc)

  Проверяем доступ

  «Успех лида измеряется суммой результатов команды, а не количеством лично закрытых задач.»

  здесь это прозвучало