#Вакансия #dataengineer #senior #гибрид #удаленнаяработа #офис

Должность: Senior DATA ENGINEER
Работодатель: сервис ЦИАН
Опыт: не менее 3 лет
Формат работы: офис (Москва/Санкт-Петербург), гибрид, удаленка (только РФ)
Заработная плата: обсуждается

Задачи:
- Работа над платформенным решением по обработке данных для внутренних проектов;
- Injection data (raw/parsed layers). Загружаем данные из kafka во внутреннее хранилище для пользователей;
- Airflow интеграция. Своя библиотека для унификации работы с airflow;
- Feature store. Развиваем свой для улучшения метрики ttm проектных команд (ds);
- Другие активности: data catalog, functional testing tool, миграция в k8s;
- Обработка данных и сбор статистики для продуктов команд;
- Подготовка данных для ML;
- Разработка streaming pipeline для продуктовых команд;
- Поддержка решения в PROD;
- Поддержка уже существующих решений.

Необходимые навыки:
- Hadoop от 3-х лет;
- HDFS (какие типы нод за что отвечают, как работает Erasure Coding);
- Spark 3, Python 3.9/3.10, Airflow 2.5, NoSQL DB (Redis, Cassandra), Kafka, Scala (есть небольшой процент задач по Spark Streaming).

Мы предлагаем:
- ДМС с первых дней работы (стоматология, госпитализация, полис ВЗР);
- Ежегодная компенсация спорта;
- 5 day off в год помимо основного отпуска.

Контакты: Юлия @jkomaroff_hr