Компания: Genue
З/П: от 4000 $
Тип занятоcти: #Удаленка
Локация: -
Позиция: #Senior

Основные обязанности:
- Управление данными и скрапинг: обработка больших наборов данных путем разработки эффективных конвейеров данных, включая скрапинг данных из различных источников (API, сторонние инструменты скрапинга), с упором на извлечение повторно используемых элементов из различных торговых площадок и консолидацию данных для дальнейшего анализа.
- Автоматизация Airflow: использование Apache Airflow для планирования заданий Python для регулярной очистки, оптимизации и задач по скрапингу данных. Хотя предыдущий опыт работы с Airflow предпочтителен, для быстрого повышения квалификации достаточно хороших навыков Python.
 
Стек:  
#Python #ApacheAirflow #GoogleCloudPlatform #Nextjs