11 материалов · приём действия · Управлять разработкой и доставкой
Урок3 мин«Приходя в новый продукт или начиная работу с новой платформой для тестирования, первым делом нужно запускать проверочный эксперимент без изменений для валидации инфраструктуры.»
здесь это прозвучало
Выступление«При оценке эффективности ML-модели на исторических данных используйте метод отложенной выборки: часть данных пустите на обучение, а часть оставьте в «черном ящике» для проверки.»
здесь это прозвучало
Выступление«Перед запуском A/B-тестов на реальных пользователях ML-модели необходимо проверять через оффлайн-метрики (evals).»
здесь это прозвучало
Выступление«Использование экспертных интервью с увлеченными сотрудниками внутри компании помогает выявить грубые ошибки алгоритма в узких предметных областях до запуска в производство.»
здесь это прозвучало
Видео38 мин«Перед настройкой ИИ под бизнес-задачу необходимо собрать качественный датасет из прошлых успешных решений.»
здесь это прозвучало
Выступление«Использование триггерных метрик на аномалии (всплески регистраций, отправок SMS и обращений к API) позволяет отлавливать системный фрод до того, как он нанесет непоправимый урон.»
здесь это звучит 2 раза
Видео48 мин«Прежде чем использовать математическую модель для тестирования гипотез, нужно убедиться, что базовый прогноз метрик сходится с фактическими историческими данными.»
здесь это прозвучало
Выступление«Перед запуском сложной фичи в продакшн всегда проводите офлайн-эксперимент на исторических данных.»
здесь это прозвучало
Видео36 мин«Когда продукт дорогой и сложный, экспертная консультация перед покупкой эффективнее скриптовых продаж и позволяет маленькой команде закрывать крупные сделки.»
здесь это прозвучало
Видео2 мин«На этапе внутренней разработки orientируйтесь на Data Science метрики, а при раскатке в продакшен оценивайте успех через бизнес-метрики в А/В-тестах.»
здесь это прозвучало
Видео28 мин«Перед стартом ИИ-проекта нужно проверить, можно ли точно сформулировать цель в математическом виде, измерять прогресс обучения и собрать достаточно данных.»
здесь это прозвучало
