Принятие решений на основе экспериментов и данных давно стало стандартом в менеджменте продуктов. Однако, сам факт проведения эксперимента не защищает вас от ошибки. Если эксперимент спроектирован неправильно, опираться на его результаты нельзя. В рамках мастер-класса обсуждаем: какие типовые ошибки есть в процессе анализа экспериментов, как эти ошибки искать и на что они влияют. Материалы и книги, которые позволят лучше разобраться в статистике и A/B-тестах Презентация с материалами мастер-класса Подборка материалов для погружения в эксперименты Материалы и книги, которые позволят лучше разобраться в статистике и A/B-тестах. Книги 1. Сара Бослаф: Статистика для всех. Прекрасно подойдет для ознакомления с основами математической статистики. Очень много простых примеров и «бытовой» слог. Если вы еще не погружались в основы математической статистики, но очень хотите — книга точно для вас. → В Читай-город → В Laribint.ru 2. Ron Kohavi: Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Рон отвечал в Microsoft за платформу a/b тестов и написал с командой огромное количество полезных материалов, которые помогают аналитикам со всего мира делать свои эксперименты круче и точнее. За одну только популяризацию CUPED ему можно сказать отдельное спасибо. На Amazon.com 3. Михаил Лагутин: Наглядная математическая статистика. В книге подробно расписана теория математической статистики и приведены практические примеры. Книга точно не подойдет человеку, который только решил в нее погрузиться. Но если уже есть уверенная база — точно будет полезно. На Ozon.ru Блоги и статьи 1. Блог от команды Рона Кохави по экспериментам Microsoft. 2. Блог компании NEFLIX. В блоге много статей про технологии, которые компания использует в своей работе. Самый любимый цикл статей — про платформу экспериментов NEFLIX. 3. Блог Airbnb Engineering & Data Science. И статья о том, как Airbnb организовывает свою базу знаний по data science и разработке. 4. Блог Uber Engineering. Статья о том, как UBER подходит к A/B-тестам. 5. Блог EXPF. Много материалов по математической статистике,A/B-тестам и методам для проведения экспериментов. Лекции «Как искать и прорабатывать метрики для продукта». Лекция Виталия Черемисинова из главы ProductSense Stories Гипотезы. Прошла 5 августа 2020. «АБ-тесты для взрослых: без калькуляторов и смс». Провели Владимир Баяндин, Sbermarket и Шагане Мирзоян, Skyeng, 5 августа 2020.
