Когда оценка эффекта через синтетический контроль не может заменить классический А/Б-тест?

Классический А/Б-тест всегда строится на контрольной группе, у которой нет доступа к тестируемому функционалу. Она нужна для сравнения с тестовой группой и замера эффекта. Но что делать, если в силу ограничений создать такую группу невозможно, а эффект оценивать все равно нужно?

Синтетический «контроль», построенный методом сопоставления по оценке склонности (Propensity Score Matching, PSM), помогает решить эту проблему — но имеет много ограничений и требует сложной валидации.

Разберем:

• Как создать «контрольную группу» без классического А/Б-теста.
• Может ли метод стать полноценной заменой классическим А/Б-тестам — и как определить, насколько требовательным он окажется в вашем случае.
• Для какой аудитории — продавцов или покупателей — метод подходит лучше.

После доклада участники:

• Поймут, как работает метод и в чем его ограничения, — на реальных примерах и в сравнении с классическим А/Б-тестом.
• Смогут оценить трудозатраты и риски применения метода.
• Увидят плюсы, которые помогают выйти из ситуации, когда классический А/Б-тест провести невозможно.

Доклад будет полезен:

• Тем, кто регулярно проверяет много гипотез и сталкивался с ограничениями, которые накладывают А/Б-тесты.