К содержимому
ProductSense АКАДЕМИЯ
ВойтиПопробовать бесплатно
Разобраться в теме Понять, что происходит Найти решение 
Библиотека
ПодборкиМикрокурсыКонференции
Тарифы

Академия ProductSense

бета-версия · Поддержка: @ps24supportbot

АкадемияКурсыТарифыПубличная офертаПолитика конфиденциальностиОбработка персональных данныхКарта сайта
Разобраться в теме12 разделов · 186 темПонять, что происходит12 опор · 288 ситуацийНайти решение14 работ · 508 приёмов458 материалов бесплатно из 3 060
  1. Понять, что происходит
  2. ·Откуда я это знаю
  3. ·Ситуация

В одном А/В-тесте проверяй строго одну гипотезу на одном сегменте, чтобы не запутаться в причинах изменения метрик

5 материалов · принцип действия · Откуда я это знаю

Как выглядит
На ревью A/B-теста команда спорит: новая кнопка подняла конверсию или переделанный алгоритм рекомендаций. Спорить бесполезно — в тесте одновременно поменяли оба.
Почему так работает
Это как диагностика у врача, когда ты одновременно начал пить три разных лекарства и поменял диету: стало лучше — но что именно помогло, узнать невозможно. Каждое дополнительное изменение в тесте умножает число возможных причин, и ты платишь за эксперимент, ответа от которого не получишь.
Как замечать
Перед запуском теста открой тикет и пересчитай изменения: сколько параметров в нём меняется по сравнению с текущей версией. Если два и больше — ты не сможешь сказать после теста, какой из них сдвинул метрику.
Где не работает
Малый трафик: если калькулятор выборки говорит, что на последовательную проверку гипотез уйдёт год, придётся рискнуть и проверить несколько изменений разом — иначе продукт не сдвинется с места.
Когда наоборот
Ты выходишь на новый рынок в Бразилии и хочешь сразу поменять под него оплату, контент и онбординг. Здесь ловить нечего: ты даже не поймёшь, что именно провалилось.

Понять человека ↔ измерить результат

Вскрывать истинную человеческую задачу, мотивацию и контекст, абстрагируясь от поверхностных метрик.

Оперировать объективными, стандартизированными и измеримыми индикаторами для принятия однозначного решения.

Где об этом говорят

  • Видео28 мин

    История о том, как крутой маркетолог может сделать все: три ключевые ошибки при запуске сложного продукта

    Проверяем доступ

    «В одном А/В-тесте нужно проверять строго одну гипотезу на одном сегменте и смотреть один пресет метрик, иначе невозможно понять причину изменения показателей.»

    здесь это прозвучало

  • Видео32 мин

    Как подобрать альтернативные товары, которые действительно купят (Анна Валяева, ecom.tech)

    Проверяем доступ

    «Проверку гипотез для UI и для подкапотного алгоритма нужно разделять через разные метрики и последовательные A/B-тесты, чтобы не смешивать их влияние.»

    здесь это звучит 2 раза

  • Видео1 ч 32 мин

    Как запустить growth процессы в команде (Антон Елфимов, Growth Academy)

    Проверяем доступ

    «Гипотеза роста должна предлагать изменение только одного этапа воронки за раз, а не редизайн всего процесса.»

    здесь это прозвучало

  • Видео12 мин

    Как выбирать способ тестирования гипотезы

    Проверяем доступ

    «Чтобы ускорить A/B-тестирование на продукте с небольшим трафиком, нужно максимально сузить область исследования: варьировать один параметр, смотреть на конкретный шаг воронки и искать сильные изменения.»

    здесь это прозвучало

  • Видео13 мин

    Skyeng: ответы на вопросы

    Проверяем доступ

    «При выходе на новые рынки нельзя менять продукт и страну одновременно: нужно фиксировать одну переменную, чтобы эксперимент остался читаемым.»

    здесь это прозвучало