Проектирование A/B-тестов: дополнительные материалы и задания для самостоятельной работы

В этом модуле вы узнаете, какие дополнительные материалы изучить, чтобы глубже прокачаться в теме, и сможете потренироваться на практических заданиях.

Дополнительные материалы

• Как не надо анализировать A/B-тесты. Проблема подглядывания
• A/B-тесты в операционных процессах Skyeng
• Что будет, если использовать параметрический критерий на ненормально распределенной выборке
• Множественные эксперименты: теория и практика
• Как оценить, сколько можно заработать на фиче
• Непараметрические методы для A/B-тестов. Считаем деньги
• DIY. Гайд по методам продуктовых исследований: качественные, количественные, UX-исследования
• Подкаст make sense о математическом мышлении, статистике и A/B-тестировании с Виталием Черемисиновым
• Как подготовиться к А/В-тестированию
• Как проводить A/B-тесты на операционке, когда на результаты влияет человеческий фактор?
• A/B testing: 10 common mistakes we all make
• Ошибки в дизайне A/B тестов, которые я думала, что никогда не совершу
• A/B-тесты в Яндекс.Браузере. Большой продукт – большая ответственность
• Кейс: как определять качество системы A/B-тестирования

Задания для самостоятельной работы

Задание 1. По аналогии с примером из раздела «Когда применять A/B-тесты» составьте математическую модель для оценки новых фич в продукте, который вы развиваете. Выберете одну гипотезу из бэклога вашего продукта и смоделируйте профит, который будет получен после успешной раскатки. Формат результата: таблица в Google Sheets (открыть доступ по ссылке) с математической моделью, заполненными константами и рассчитанным профитом одной фичи.

Задание 2. Проанализируйте выданные вам данные с результатами A/B-теста и примите решение по итогам эксперимента:

• Перейдите в документ Google Colab
• Создайте копию блокнота на диске.

• Переименуйте созданный файл по этому алгоритму: «Фамилия Имя - Product Mindset - final task - var Х.ipynb»

Формат результата: блокнот Google Colab с аргументацией принятого решения и кодом для анализа предоставленного дата-сета.

Ответы на домашние задания

https://kinescope.io/embed/muUDaHu8p2hS8VRGaozqtz

https://kinescope.io/embed/iGPm73irtCMUz63T7wWcNC

https://kinescope.io/embed/uJ5fcBwtJus83HwfR4pbt4