Вводи период «карантина» перед стартом A/B-теста, чтобы отфильтровать искажения от адаптации команды к новым условиям.

Когда так бывает

результаты тестов скачут, и мы не можем отличить эффект от шума

Где это показывают

• Выступление

  Восстание машин отменяется: как мы нашли баланс между автоматизацией и человечными продажами (Диана Франчук)

  ProductSense’23 — Конференция по менеджменту продуктов · 2023

  Проверяем доступ

  «Перед началом официального замера метрик A/B-теста вводите двухнедельный период «карантина», во время которого сотрудники адаптируются к новым условиям.»

  здесь это прозвучало

• Видео30 мин

  North Star Metric: как определить стратегию роста (Дмитрий Смирнов, Ozon)

  Проверяем доступ

  «Отфильтровывайте аномальные всплески и учитывайте сезонность, сравнивая прогресс год к году.»

  здесь это прозвучало

• Видео58 мин

  Как запускать больше A/B-тестов на ограниченном трафике

  Проверяем доступ

  «Внезапные локальные пики трафика из внешних промо-кампаний нужно сглаживать стратификацией, чтобы они не зашумляли результаты A/B-теста.»

  здесь это прозвучало

• Видео35 мин

  Как построить experiment-driven культуру в компании

  Проверяем доступ

  «Регулярные AA-тесты нужны как гигиена системы сплитования для выявления технических багов и скрытых смещений до запуска реальных экспериментов.»

  здесь это прозвучало