Как строить план действий по результатам экспериментов (Андрей Менде, Booking)
Решение после A/B-теста — это не только выбор между версиями А и Б, но и управление целой линией гипотез. Пока одни эксперименты идут, другие нужно готовить; на сбор данных уходит 1-3 недели, и загрузка команды разработки требует отдельного планирования, чтобы никто не простаивал. Решение по тесту принимается на уровне всей гипотезы: продолжать тестировать идею иначе, закрыть или масштабировать. Успешную механику переносят на другие этапы воронки — вероятность повторного успеха при этом возрастает с базовых 10% до 30-40%.
- Планировать загрузку разработки на 1-3 недели сбора данных и закладывать время на зачистку кода
- Управлять целыми линиями гипотез: менять метод тестирования идеи до полного отказа от неё
- Переносить успешную механику на другие этапы воронки для роста success rate до 30-40%