В одном А/В-тесте проверяй строго одну гипотезу на одном сегменте, чтобы не запутаться в причинах изменения метрик

Как выглядит

На ревью A/B-теста команда спорит:新版 кнопка подняла конверсию или переделанный алгоритм рекомендаций. Спорить бесполезно — в тесте одновременно поменяли оба.

Почему так работает

Это как диагностика у врача, когда ты одновременно начал пить три разных лекарства и поменял диету: стало лучше — но что именно помогло, узнать невозможно. Каждое дополнительное изменение в тесте умножает число возможных причин, и ты платишь за эксперимент, ответа от которого не получишь.

Как замечать

Перед запуском теста открой тикет и пересчитай изменения: сколько параметров в нём меняется по сравнению с текущей версией. Если два и больше — ты не сможешь сказать после теста, какой из них сдвинул метрику.

Где не работает

Малый трафик: если калькулятор выборки говорит, что на последовательную проверку гипотез уйдёт год, придётся рискнуть и проверить несколько изменений разом — иначе продукт не сдвинется с места.

Когда наоборот

Ты выходишь на новый рынок в Бразилии и хочешь сразу поменять под него оплату, контент и онбординг. Здесь ловить нечего: ты даже не поймёшь, что именно провалилось.

Где об этом говорят

• Видео28 мин

  История о том, как крутой маркетолог может сделать все: три ключевые ошибки при запуске сложного продукта

  Проверяем доступ

  «В одном А/В-тесте нужно проверять строго одну гипотезу на одном сегменте и смотреть один пресет метрик, иначе невозможно понять причину изменения показателей.»

  здесь это прозвучало

• Видео32 мин

  Как подобрать альтернативные товары, которые действительно купят (Анна Валяева, ecom.tech)

  Проверяем доступ

  «Проверку гипотез для UI и для подкапотного алгоритма нужно разделять через разные метрики и последовательные A/B-тесты, чтобы не смешивать их влияние.»

  здесь это звучит 2 раза

• Видео1 ч 32 мин

  Как запустить growth процессы в команде (Антон Елфимов, Growth Academy)

  Проверяем доступ

  «Гипотеза роста должна предлагать изменение только одного этапа воронки за раз, а не редизайн всего процесса.»

  здесь это прозвучало

• Видео12 мин

  Как выбирать способ тестирования гипотезы

  Проверяем доступ

  «Чтобы ускорить A/B-тестирование на продукте с небольшим трафиком, нужно максимально сузить область исследования: варьировать один параметр, смотреть на конкретный шаг воронки и искать сильные изменения.»

  здесь это прозвучало

• Видео13 мин

  Skyeng: ответы на вопросы

  Проверяем доступ

  «При выходе на новые рынки нельзя менять продукт и страну одновременно: нужно фиксировать одну переменную, чтобы эксперимент остался читаемым.»

  здесь это прозвучало