Классический A/B-тест бесполезен, если поведение пользователей из тестовой группы влияет на контрольную

4 материала · принцип мышления · Откуда я это знаю

Как выглядит: На A/B-тесте одной группы аккаунтов метрика растёт, раскатываешь фичу на всех — и выручка по продукту стоит на месте или падает.
Почему так работает: Это как кухня, где два повара делят одну кастрюлю: если один солит, еда меняется у обоих. Пользователи из теста общаются с пользователями из контроля, и изоляция групп рассыпается.
Как замечать: Открой отчёт по тесту и найди метрику у контрольной группы за период эксперимента. Если контрольная группа изменила поведение — твой тест ловит чужой эффект, а не чистый результат фичи.
Где не работает: Не работает для продуктов, где люди не пересекаются друг с другом — например, личный блокнот без функции поделиться.
Когда наоборот

Где об этом говорят