Как выбирать способ тестирования гипотезы

Продуктовые гипотезы бывают оптимизационными — для улучшения текущих метрик — и гипотезами новых решений для кратного роста. Оптимизацию воронок проверяют A/B-тестом, а при нехватке трафика сокращают выборку: меньше групп, уже воронка, сильнее изменение, ниже порог чувствительности. Если A/B-тест невозможен, помогают когортный анализ после раскатки на всех или количественные тесты до разработки. Новые решения проверяют до кода через fake door, тестовую закупку трафика, формы обратной связи, CustDev и предпродажи в B2B.

• Сократить выборку A/B-теста: меньше групп, уже воронка, сильнее изменение
• Проверить новую гипотезу до кода через FakeDoor, закупку трафика, CustDev
• Зафиксировать порог метрики до эксперимента, а не подгонять результат