Что делать, когда эксперименты дают все меньше результата (Ксения Ярославцева, Welltory)

По мере взросления продукта результативность экспериментов на одном рычаге неизбежно снижается: от первых побед команда приходит к состоянию, где каждый новый A/B-тест ухудшает метрики или не даёт значимой дельты. Это состояние имеет конкретные ранние маркеры: повторение идей на брейнштормах, предсказуемые ответы на custdev, падение дельт неделя к неделе. Выход — поймать вторую волну: превентивно перевести часть ресурса команды на разработку следующего по значимости рычага до полного истощения текущего.

• Разложить основную метрику на подметрики и найти рычаг с максимальным приростом
• Отследить ранние маркеры: повторы идей на брейнштормах, предсказуемые ответы на custdev, падение дельт
• Выделить часть ресурса команды на поиск второго рычага до истощения текущего