Хватит использовать Pandas, пора переходить на Spark + Scala!

Почему data-специалистам стоит задуматься о переходе с Pandas на Spark и Scala? В чём преимущества этого дуэта и так ли сложно в итоге на него переучиться? Разбираем по полочкам.

https://nuancesprog.ru/p/8613

@nuancesprog #статьи #Apache #Scala #Spark

Создадим простой, но функциональный конвейер, подробно рассмотрим каждый его компонент: от настройки Kafka для потоковой передачи данных и оркестрации задач с Airflow до обработки данных со Spark и их сохранения в PostgreSQL. Сделаем акцент на практическом применении инструментов с Docker.

https://nsprg.ru/vg9qWm

VK: https://nsprg.ru/v2KNqO

@nuancesprog #Kafka #Spark #Airflow #PostgreSQL #Docker