Big Data, Data Engineering и программирование

Парадигма Hadoop и PySpark с запросами по часам уступает место колоночным СУБД — ClickHouse и Vertica, сокращающим время ответа до real-time. Современный подход к данным строится на широких обогащённых таблицах-витринах с десятками колонок, что убирает постоянные JOIN'ы и позволяет аналитикам работать через BI-системы напрямую, а не в Jupyter с Pandas. Навыки программирования и построение ETL-процессов дают карьерный рычаг в сторону Data Engineer или CDO. При этом роль аналитика зависит от размера компании: в стартапе — поиск продуктовых инсайтов, в корпорации — инфраструктурное связующее звено для десятков команд.

• Сравнить Hadoop и ClickHouse по скорости запросов
• Построить широкую витрину для работы через BI без JOIN'ов
• Оценить карьерный трек аналитика в стартапе и корпорации