КАК ПРОВЕСТИ ВАЛИДНЫЙ
A/B-ТЕСТ: ДИЗАЙН, ЗАПУСК И АНАЛИЗ
Микрокурс поможет научиться:
— прогнозировать прибыльность фичи
— анализировать данные
— готовить и проводить A/B тесты
— проверять достоверность с помощью Python, Google Colab и библиотек аналитики
— правильно интерпретировать результаты
Формат
9 модулей, 3 часа видео. Структурированные и сжатые материалы на профессиональные темы. Без воды.
Кому будет полезно
Менеджерам продуктов, аналитикам, исследователям, UX-редакторам, маркетологам и всем, кто стремится улучшить метрики продукта или найти способ повысить конверсию.
Когда
Можно начать в любое время.
Темп прохождения — индивидуальный.

ЧТО БУДЕМ ИЗУЧАТЬ

1
Для чего и где используют A/B-тесты
Вы узнаете, где применяются сплит-тесты и каковы границы их применимости, когда целесообразно тестировать гипотезы в А/В-тестах, как валидировать гипотезы и выбирать самые сильные с помощью матмоделирования.
2
Как спроектировать
A/B-тест
Вы узнаете, как устроена подготовка любого эксперимента: дизайн — проблема, гипотезы, метрики; правила формулирования гипотез; ошибки первого и второго рода; множественные тесты. Упражнение на подсчет размера выборки в Google Colab.
3
Как устроены A/A-
и A/A/B-тесты
Вы узнаете, в чем главное ограничение A/B-тестов; с какой целью нужно запускать эксперименты, где тестовая и контрольная группы ведут себя одинаково; как проверять распределения пользователей и снижать вероятность ошибки.
4
Мониторинг теста. проблема подглядывания
Вы узнаете, почему важно следить за внедрением эксперимента, как контролировать метрики теста, наблюдать изменения в динамике и нет ли критичных багов, которые изменят общий результат.
5
Анализ результатов
A/B-теста
Вы узнаете, что такое отложенное окно конверсии; какие ошибки можно допустить, если поспешно принять решение по итогам эксперимента; как смотреть различия в выборках; как использовать Python для анализа результатов теста: библиотеки Pandas и Seaborn для анализа данных и их визуализации.
6
Принятие решений на основе A/B-теста
Вы узнаете, что такое статистический критерий, как его выбрать, и как он поможет выявить сходство и различие между выборками; как с помощью библиотеки Pandas конфигурировать выборки и накладывать условия. Внутри модуля — пошаговый алгоритм работы с инструментом.
7
Раскатка гипотезы и обратные тесты
Вы узнаете, как планировать раскатку фичи и как отслеживать результаты: с какой периодичностью и зачем проводить обратные тесты и что при этом тестировать; какую роль в любом эксперименте играют неприкасаемые пользователи.
8
Q&A-сессия по теме
A/B-тестов
Вы узнаете, на что еще обратить внимание в рамках темы: какие инструменты помогают сегментировать пользователей; как оценить равномерность распределения и понять, что с системой сплит-тестирования что-то не так; можно ли обойтись без статистического критерия.
9
Дополнительные материалы
Вы узнаете, какие дополнительные материалы изучить, чтобы глубже прокачаться в теме, и сможете потренироваться на практических заданиях.

ЭКСПЕРТЫ МИКРОКУРСА

Шагане Мирзоян
Product Analytics Lead в Sbermarket
Руководит командой продуктовой аналитики в СберМаркет, которая занимается дизайном метрик и событий для мониторинга поведения пользователей на сайте и в мобильном приложении, оценкой эффективности гипотез. В прошлом — аналитик в Skyeng и product manager в Мета.
Владимир Баяндин
Head of education Skypro
Занимался оптимизацией конверсионных воронок, автоматизацией продаж, верификацией гипотез в диджитал-продуктах и операционных процессах. Читает лекции по продуктовой аналитике в «Нетологии», выступает на конференциях.
ЧТО ТАКОЕ МИКРОКУРС
ВИДЕОЛЕКЦИИ ПО 5−15 МИНУТ
Структурированные и сжатые материалы на профессиональные темы. Без воды.
ПОНЯТНАЯ ПОДАЧА МАТЕРИАЛА
Если для изучения темы нужны дополнительные знания, мы расскажем, где найти нужную информацию и покажем последовательность изучения, которая быстрее всего приведет к результату.
ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ
В финале микрокурса вас ждут задания для самостоятельного выполнения, чтобы закрепить изученный материал, а также список специально отобранных материалов для дополнительного изучения.
С ЭТИМ КУРСОМ МЫ РЕКОМЕНДУЕМ
Полный список микрокурсов в подписке смотрите по ссылке.
Каждый месяц добавляем новые.

НАШИ ЭКСПЕРТЫ ИЗ КОМПАНИЙ

ПЕРВЫЙ МОДУЛЬ БЕСПЛАТНО

Модуль 1. Для чего и где используют A/B-тесты

«A/B-тесты — это долго и дорого, а тестировать нужно только самые сильные гипотезы. За надежность A/B-тестов приходится платить: трафиком, затратами на разработку и временем. Перед тем, как выбрать этот инструмент, проверьте: достаточно ли пользователей в продукте, чтобы результаты наблюдения стали статзначимыми и подходили для принятия решений. Этот пункт расстраивает менеджеров продуктов из B2B и тех, чьи продукты запустились совсем недавно — им больше подойдут качественные исследования, но и они узнают много полезного в этом модуле: как рассчитать и на каких объемах целесообразно использовать A/B-тестирование».

В полной версии микрокурса 9 модулей, прямо сейчас можно попробовать первый модуль.
Подписываясь, вы соглашаетесь с политикой приватности.