При ограниченном бюджете тестируй только гипотезы с потенциально существенным приростом, так как поиск слабых улучшений требует огромного трафика

4 материала · принцип действия · Всё важно

Как выглядит: Ты две недели ждёшь завершения A/B-теста кнопки на лендинге — конверсия дёрнулась на полпроцента, и ты не понимаешь, это изменение или случайный разброс.
Почему так работает: Чтобы отличить однопроцентный прирост от шума, нужна выборка в сотни раз больше, чем для десятипроцентного — как взвесить муху на весах для картошки, шкала не покажет ничего, кроме дрожания стрелки.
Как замечать: Вспомни последний завершённый тест и раздели ожидаемый прирост метрики на месячный трафик: если результат меньше двух процентов — ты ищешь муху на картофельных весах.
Где не работает: Если маржа с одной сделки исчисляется десятками тысяч рублей, то и полпроцента конверсии окупают месяцы ожидания — там картофельные весы не нужны.
Когда наоборот: У тебя сто тысяч пользователей в день и автоплатежи — мелочи вроде цвета кнопки проверяются параллельно десятками и кочуют в прод без споров.

Проверить дешево ↔ убедиться основательно

Использовать наименее ресурсоёмкие способы проверить гипотезу и быстро отсеять лишнее.

Тратить время и отдельный ресурс на глубокую оценку, чтобы не строить план на догадках.

Где об этом говорят

Видео23 мин
7.1 Как построить контролируемый масштабируемый процесс роста через платную рекламу
Проверяем доступ
«При ограниченном бюджете стоит тестировать только гипотезы, сулящие существенный прирост метрик, потому что поиск слабых улучшений требует колоссальных объемов трафика.»
здесь это прозвучало
Видео6 мин
Часть 1 Ошибки в проведении экспериментов (Андрей Менде, Booking)
Проверяем доступ
«A/B-тестирование — это самый надежный, но при этом крайне дорогой способ проверки гипотез, поэтому его нужно резервировать только для критических вопросов текущего этапа.»
здесь это прозвучало
Видео25 мин
Minimum Lovable Product
Проверяем доступ
«Даже блестящие продуктовые идеи нужно убивать на этапе приоритизации, если их охват слишком мал для решения существующей боли.»
здесь это прозвучало
Видео58 мин
Как запускать больше A/B-тестов на ограниченном трафике
Проверяем доступ
«Не требуйте от A/B-тестов обнаружения микро-изменений, если у вас небольшой трафик — ориентируйтесь на те эффекты, которые реально могут отрастить продукт на текущем этапе.»
здесь это прозвучало

Где об этом говорят

7.1 Как построить контролируемый масштабируемый процесс роста через платную рекламу

Часть 1 Ошибки в проведении экспериментов (Андрей Менде, Booking)

Minimum Lovable Product

Как запускать больше A/B-тестов на ограниченном трафике