Классический A/B-тест бесполезен, если поведение пользователей из тестовой группы влияет на контрольную

4 материала · принцип мышления · Откуда я это знаю

Как выглядит: На A/B-тесте одной группы аккаунтов метрика растёт, раскатываешь фичу на всех — и выручка по продукту стоит на месте или падает.
Почему так работает: Это как кухня, где два повара делят одну кастрюлю: если один солит, еда меняется у обоих. Пользователи из теста общаются с пользователями из контроля, и изоляция групп рассыпается.
Как замечать: Открой отчёт по тесту и найди метрику у контрольной группы за период эксперимента. Если контрольная группа изменила поведение — твой тест ловит чужой эффект, а не чистый результат фичи.
Где не работает: Не работает для продуктов, где люди не пересекаются друг с другом — например, личный блокнот без функции поделиться.
Когда наоборот: Если у тебя есть изолированные гео-рынки (например, вся Чехия в тесте, вся Словакия в контроле) — классическое сравнение сработает, потому что пользователи из разных стран между собой не общаются.

Понять человека ↔ измерить результат

Вскрывать истинную человеческую задачу, мотивацию и контекст, абстрагируясь от поверхностных метрик.

Оперировать объективными, стандартизированными и измеримыми индикаторами для принятия однозначного решения.

Где об этом говорят

Видео6 мин
Badoo: ответы на вопросы
Проверяем доступ
«Классический A/B-тест бесполезен, если поведение пользователей из тестовой группы влияет на пользователей из контрольной.»
здесь это прозвучало
Видео15 мин
Разбор ошибок, тестов в экосистеме с сетевым эффектом (Антон Бондаренко, Badoo)
Проверяем доступ
«В продуктах, где пользователи напрямую взаимодействуют друг с другом, полагаться только на классические A/B-тесты на уровне отдельных аккаунтов опасно, так как они искажают реальную картину.»
здесь это прозвучало
Видео1 ч 25 мин
Управляем данными самостоятельно (Данила Леньков, Авито и Георгий Фандеев, Авито)
Проверяем доступ
«Если сравнивать группы по использованию фичи, активные от природы пользователи могут оказаться в группе её сторонников просто потому, что они вообще активнее остальных.»
здесь это прозвучало
Подкаст50 мин
Об этапах запуска фич и продуктов, метриках и роли Product Marketing Manager с Татьяной Авлочинской
Подкаст · 2020
Проверяем доступ
«Нейминг фичи и её ценообразование нужно продумывать комплексно на старте, так как эти артефакты проникнут во все системы — от UI до скриптов продаж.»
здесь это прозвучало

Где об этом говорят

Badoo: ответы на вопросы

Разбор ошибок, тестов в экосистеме с сетевым эффектом (Антон Бондаренко, Badoo)

Управляем данными самостоятельно (Данила Леньков, Авито и Георгий Фандеев, Авито)

Об этапах запуска фич и продуктов, метриках и роли Product Marketing Manager с Татьяной Авлочинской