Q&A c Виталием Черемисиновым

Высокая дисперсия и длинный хвост метрики создают шум, который маскирует низкие эффекты изменений. Эта проблема актуальна для продуктов любого масштаба, а не только для малого бизнеса, поэтому при анализе применяются методы трансформации величин — логарифмы, степени, корни. Без участия сильного аналитика запускать эксперименты рискованно: возможны ошибки в сплитовании и некорректная интерпретация статистики, онлайнового калькулятора p-value недостаточно. В узком B2B с низким потоком клиентов A/B-тесты не работают и их заменяет CustDev. Компании с эталонной культурой тестирования — Netflix, Microsoft, Uber, Booking, Meta (Facebook), а из российских — Яндекс, Skyeng, Учи.ру.

• Учитывать дисперсию и хвост метрики: шум скрывает низкие эффекты в данных
• Оценивать ROI платформ автоматизации через сэкономленные часы команды
• Выбирать метод исследования по трафику: CustDev вместо тестов в узком B2B