При ограниченном бюджете тестируй только гипотезы с потенциально существенным приростом, так как поиск слабых улучшений требует огромного трафика

Как выглядит

Ты две недели ждёшь завершения A/B-теста кнопки на лендинге — конверсия дёрнулась на полпроцента, и ты не понимаешь, это изменение или случайный разброс.

Почему так работает

Чтобы отличить однопроцентный прирост от шума, нужна выборка в сотни раз больше, чем для десятипроцентного — как взвесить муху на весах для картошки, шкала не покажет ничего, кроме дрожания стрелки.

Как замечать

Вспомни последний завершённый тест и раздели ожидаемый прирост метрики на месячный трафик: если результат меньше двух процентов — ты ищешь муху на картофельных весах.

Где не работает

Если маржа с одной сделки исчисляется десятками тысяч рублей, то и полпроцента конверсии окупают месяцы ожидания — там картофельные весы не нужны.

Где об этом говорят

• Видео23 мин

  7.1 Как построить контролируемый масштабируемый процесс роста через платную рекламу

  Проверяем доступ

  «При ограниченном бюджете стоит тестировать только гипотезы, сулящие существенный прирост метрик, потому что поиск слабых улучшений требует колоссальных объемов трафика.»

  здесь это прозвучало

• Видео6 мин

  Часть 1 Ошибки в проведении экспериментов (Андрей Менде, Booking)

  Проверяем доступ

  «A/B-тестирование — это самый надежный, но при этом крайне дорогой способ проверки гипотез, поэтому его нужно резервировать только для критических вопросов текущего этапа.»

  здесь это прозвучало

• Видео25 мин

  Minimum Lovable Product

  Проверяем доступ

  «Даже блестящие продуктовые идеи нужно убивать на этапе приоритизации, если их охват слишком мал для решения существующей боли.»

  здесь это прозвучало

• Видео58 мин

  Как запускать больше A/B-тестов на ограниченном трафике

  Проверяем доступ

  «Не требуйте от A/B-тестов обнаружения микро-изменений, если у вас небольшой трафик — ориентируйтесь на те эффекты, которые реально могут отрастить продукт на текущем этапе.»

  здесь это прозвучало