Воркшоп. Анализ данных в масштабе: как большие данные меняют флоу аналитика (Дмитрий Кириллов, Яндекс)

Большие данные из интернета поступают из недоверенных источников: нет жёсткого контроля на входе, в отличие от классических БД. Принцип garbage in, garbage out означает, что ошибки на этапе сбора и подготовки — множитель в трекере, системный фрод, аномалии — обесценивают всю дальнейшую аналитику и ML. Поэтому в новых продуктах и фичах основные усилии уходят на разведочный анализ данных, предобработку и внедрение процессов Data Governance. Аналитик выступает методологом контура обратной связи для управления продуктом, а лица, принимающие решения, должны понимать эту механику, чтобы адекватно оценивать сроки.

• Разобраться, почему 80% времени уходит на очистку сырых данных и поиск аномалий
• Применять Data Governance и EDA для контроля недоверенных источников
• Оценить, как ошибки на входе разрушают ML-модели и продуктовые решения

Трек: Hard Skills

2024