Часть 2 Ошибки в проведении экспериментов (Андрей Менде, Booking)
Целевая метрика, которая гарантированно растёт от добавления фичи, обесценивает эксперимент. То же относится к метрикам, не связанным с бизнес-целями компании — деньгами, конверсией, ростом аудитории. Если фича реально не влияет на эти показатели, честнее признать это и заняться тем, что влияет. Вторая ошибка возникает при интерпретации неудачного теста: команда ищет позитивные изменения среди десятков нецелевых метрик и подгоняет гипотезу под случайные всплески. При оценке 100 метрик около 10 дадут ложноположительные срабатывания — это статистический шум, а не инсайт. Выводы делаются только на основе заранее заявленной гипотезы; случайные наблюдения проверяются новыми экспериментами.
- Выбирать целевую метрику, которая напрямую транслируется в бизнес-цель — деньги, конверсию, рост аудитории
- Не подгонять гипотезу под неожиданные всплески в нецелевых метриках после провала теста
- Проверять случайно найденные инсайты новыми отдельно поставленными экспериментами