Используй переключаемые A/B тесты, чтобы отделить реальный прирост от каннибализации и сетевых эффектов

59 материалов · приём действия · Разобраться в своих цифрах

Когда так бывает: после запуска не могу понять, рост это или просто старые клиенты перешли

Где это показывают

Урок3 мин
A/A- и A/A/B-тесты
2026
Проверяем доступ
«Если нет ресурсов на отдельную проверку системы, используйте формат теста с двумя контрольными группами и одной тестовой, чтобы совместить валидацию инфраструктуры с проверкой фичи.»
здесь это прозвучало
Урок13 мин
Q&A по A/B-тестам
2026
Проверяем доступ
«Перед запуском A/B-тестов нужно проверять систему распределения на искажения через AA-тесты, особенно отслеживая баланс маркетинговых каналов.»
здесь это прозвучало
Урок18 мин
Анализ результатов A/B-теста
2026
Проверяем доступ
«Если система сплитования сломана и группы оказались сильно неравнозначными по сегментам, самый надежный путь — починить платформу и перезапустить эксперимент.»
здесь это прозвучало
Урок7 мин
Мониторинг теста и проблема подглядывания
2026
Проверяем доступ
«Для операционных тестов нужны выделенные контролеры и чек-листы, чтобы новый сценарий не утек в контрольную группу до окончания эксперимента.»
здесь это звучит 2 раза
Выступление28 мин
От «нам это не нужно» до «как мы без этого жили»: пять стадий принятия ИИ в команде (Дмитрий Михель)
PeopleSense'26 — Конференция об управлении командами, процессами и собой · 2026
Проверяем доступ
«Чтобы измерить реальную пользу от обзвона или коммуникации, нужно уметь жертвовать частью базы под контрольную группу и замерять инкрементальную выручку.»
здесь это прозвучало
Урок14 мин
Понимание стратегических концептов
2026
Проверяем доступ
«При управлении разными бизнес-моделями верхнеуровневая стратегия должна явно задавать допустимый уровень каннибализации старого продукта новым.»
здесь это прозвучало
Урок10 мин
Раскатка гипотезы и обратные тесты
2026
Проверяем доступ
«Договоритесь о выделении неприкосновенной холд-когорты (5-20% пользователей), которой никогда не отдаются новые фичи, чтобы в долгосрочной перспективе сравнивать её с основной массой трафика.»
здесь это прозвучало
Видео27 мин
Лучшие практики при запуске кросс-промо в Telegram: как креативно подойти к формату (Катя Верлина, Flowwow)
Проверяем доступ
«Для чистоты аналитики разделяйте во времени платные каналы привлечения и крупные партнерские активности.»
здесь это прозвучало
Выступление
Стратегия и выбор монетизационной бизнес-модели для зрелых продуктов в условиях алого океана (Сергей Прокудин)
ProductSense’25 — Конференция по менеджменту продуктов · 2025
Проверяем доступ
«После успешного завершения A/B теста нужно оставлять контрольную группу (холдбэк), чтобы убедиться, что rollout нового функционала не привел к скрытым долгосрочным потерям.»
здесь это прозвучало
Выступление
Финансовые метрики для продакт-менеджеров: как поженить продукт и деньги (Никита Лебедев)
ProductSense’25 — Конференция по менеджменту продуктов · 2025
Проверяем доступ
«Используйте switchback-эксперименты (с переключением гео/времени), чтобы отличить реальный инкрементальный рост от каннибализации и сетевых эффектов.»
здесь это прозвучало
Видео18 мин
ML в задачах расширения рекламного инвентаря: как устроена pay-for-performance модель в Авито (Тимофей Попов, Авито)
Проверяем доступ
«При запуске новых монетизационных блоков критически важно использовать контрметрики здоровья поиска и A/B-тесты для контроля каннибализации.»
здесь это прозвучало
Видео30 мин
Как мы строили маркетинговую стратегию 2024 – неочевидные искажения команды (Саша Петров, Blue Sleep)
Проверяем доступ
«Нужно безжалостно отключать рекламные кампании, эффективность которых нельзя доказать инкрементальным анализом.»
здесь это прозвучало
Выступление
Маркетинг для продактов. Как взаимодействовать, чтобы не работать в стол (Анна Шерстнева)
ProductSense’24 — Конференция по менеджменту продуктов · 2024
Проверяем доступ
«Для корректной оценки продуктовых метрик при наплыве неоднородного трафика нужно изолировать когорты пользователей, пришедших с разных каналов.»
здесь это прозвучало
Выступление
Не создавай проблемы, а добавляй ценность. Учимся убирать ненужные функции (Алексей Синицын)
ProductSense’24 — Конференция по менеджменту продуктов · 2024
Проверяем доступ
«Для безопасного удаления функций запустите параллельно упрощенную и полную версии продукта с возможностью переключения между ними.»
здесь это прозвучало
Подкаст54 мин
О конверсии, фреймворке для работы с конверсией, узких местах, противоречиях и экспериментах
Подкаст · 2024
Проверяем доступ
«До глубокой аналитики и дорогих исследований нужно руками пройти критические сценарии пользователя на мобильных устройствах и устранить очевидные баги и UX-трения.»
здесь это прозвучало
Видео15 мин
Прямая оптимизация добавленных целевых действий в Яндекс Рекламе (Алексей Поспелов, Яндекс Реклама)
Проверяем доступ
«Чтобы убедиться, что рекламный канал не ворует конверсии из других источников, нужно сверять его данные со сквозной аналитикой рекламодателя.»
здесь это прозвучало
Выступление
Ставим на пользовательский опыт: стратегия и тактика неденежных метрик (Галина Ширанкова)
ProductSense’24 — Конференция по менеджменту продуктов · 2024
Проверяем доступ
«Для продуктов с сильным эффектом инерционности и долгим периодом адаптации классические A/B-тесты не покажут эффекта, нужно использовать отключение фичи или глобальные контрольные группы.»
здесь это прозвучало
Выступление
Техника безопасности при запуске крупной фичи: баланс между быстрыми метриками и прыжком веры (Алексей Сенников)
ProductSense’24 — Конференция по менеджменту продуктов · 2024
Проверяем доступ
«При параллельном запуске нескольких А/В-тестов обязательно фиксируйте их последовательность в простой таблице, иначе вы не сможете локализовать причину падения метрик.»
здесь это прозвучало
Подкаст47 мин
О работе продактом на стороне агентства, продактах одной кнопки, «своем» и «чужом» продуктах
Подкаст · 2023
Проверяем доступ
«Когда между подрядчиком и заказчиком возникает спор о том, чья экспертиза точнее, фокус нужно смещать на А/В-тестирование гипотез уже после релиза.»
здесь это прозвучало
Выступление
Укрощая сложность цифрового продукта (Андрей Шапиро)
ProductSense’23 — Конференция по менеджменту продуктов · 2023
Проверяем доступ
«Перед запуском A/B тестов заполняйте формуляр дизайна эксперимента, последовательно связывая гипотезу с метриками и элементами интерфейса.»
здесь это прозвучало

Где это показывают

A/A- и A/A/B-тесты

Q&A по A/B-тестам

Анализ результатов A/B-теста

Мониторинг теста и проблема подглядывания

От «нам это не нужно» до «как мы без этого жили»: пять стадий принятия ИИ в команде (Дмитрий Михель)

Понимание стратегических концептов

Раскатка гипотезы и обратные тесты

Лучшие практики при запуске кросс-промо в Telegram: как креативно подойти к формату (Катя Верлина, Flowwow)

Стратегия и выбор монетизационной бизнес-модели для зрелых продуктов в условиях алого океана (Сергей Прокудин)

Финансовые метрики для продакт-менеджеров: как поженить продукт и деньги (Никита Лебедев)

ML в задачах расширения рекламного инвентаря: как устроена pay-for-performance модель в Авито (Тимофей Попов, Авито)

Как мы строили маркетинговую стратегию 2024 – неочевидные искажения команды (Саша Петров, Blue Sleep)

Маркетинг для продактов. Как взаимодействовать, чтобы не работать в стол (Анна Шерстнева)

Не создавай проблемы, а добавляй ценность. Учимся убирать ненужные функции (Алексей Синицын)

О конверсии, фреймворке для работы с конверсией, узких местах, противоречиях и экспериментах

Прямая оптимизация добавленных целевых действий в Яндекс Рекламе (Алексей Поспелов, Яндекс Реклама)

Ставим на пользовательский опыт: стратегия и тактика неденежных метрик (Галина Ширанкова)

Техника безопасности при запуске крупной фичи: баланс между быстрыми метриками и прыжком веры (Алексей Сенников)

О работе продактом на стороне агентства, продактах одной кнопки, «своем» и «чужом» продуктах

Укрощая сложность цифрового продукта (Андрей Шапиро)