А/В-тесты в Яндекс.Браузере. Большой продукт - большая ответственность

Подходы к A/B-тестированию и сбору аналитики в продуктах с многомиллионной аудиторией. На примере Яндекс.Браузера и AppMetrica — ошибки при отправке событий (например, логирование перевода до подтверждения бэкенда), важность расчёта выборки до запуска теста, проектирования карты событий. Кейсы: интеграция Алисы, виджеты на главном экране и их влияние на каннибализацию трафика. Переход от готовых интерфейсов аналитики к сырым логам по мере роста продукта.

• Избегать логирования событий до фактического завершения действия (пример с переводами в банке)
• Рассчитывать минимальный размер выборки для A/B-теста до запуска эксперимента
• Проектировать карту событий и профиль пользователя на этапе дизайна, до разработки