Data Engineer
Компания: EMCD
Зарплата: по договоренности
Тип занятости: #Удаленка
Локация: #Любая
Позиция: #Senior
EMCD разрабатывает экосистему, основанную на одном из 10 крупнейших майнинговых пулов мира. Предоставляет криптоинвесторам надежный майнинг-пул, безопасный кошелек, сбережения до 14% через Coinhold и быстрый P2P-обмен. Более 200,000 пользователей. Сайт: emcd.io
Обязанности
— Проектировать масштабируемые дата-решения с использованием современных технологий.
— Разрабатывать пайплайны для загрузки, обработки и хранения данных.
— Автоматизировать и улучшать внутренние процессы на Google Cloud Platform (GCP).
— Работать с аналитиками и data science для обеспечения доступности и документирования данных.
Требования
— 4+ года опыта в data engineering.
— 3+ года работы с SQL и 2+ года с Python.
— 1+ год работы с GCP или AWS.
— Опыт с Airflow, BigQuery, Snowflake, Redshift или аналогичными инструментами.
— Опыт работы с DBT.
— Знание Kafka или Pub/Sub — будет плюсом.
Что компания предлагает
— Удалённая работа из любой точки мира.
— 28 дней отпуска + 12 бонусных дней.
— 100% оплата больничных.
— 100% оплата корпоративного обучения.
Контакт для связи: @AlesyaPS
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/11
Стек технологий: #SQL #Python #GCP #Airflow #BigQuery #DBT #Kafka
Компания: EMCD
Зарплата: по договоренности
Тип занятости: #Удаленка
Локация: #Любая
Позиция: #Senior
EMCD разрабатывает экосистему, основанную на одном из 10 крупнейших майнинговых пулов мира. Предоставляет криптоинвесторам надежный майнинг-пул, безопасный кошелек, сбережения до 14% через Coinhold и быстрый P2P-обмен. Более 200,000 пользователей. Сайт: emcd.io
Обязанности
— Проектировать масштабируемые дата-решения с использованием современных технологий.
— Разрабатывать пайплайны для загрузки, обработки и хранения данных.
— Автоматизировать и улучшать внутренние процессы на Google Cloud Platform (GCP).
— Работать с аналитиками и data science для обеспечения доступности и документирования данных.
Требования
— 4+ года опыта в data engineering.
— 3+ года работы с SQL и 2+ года с Python.
— 1+ год работы с GCP или AWS.
— Опыт с Airflow, BigQuery, Snowflake, Redshift или аналогичными инструментами.
— Опыт работы с DBT.
— Знание Kafka или Pub/Sub — будет плюсом.
Что компания предлагает
— Удалённая работа из любой точки мира.
— 28 дней отпуска + 12 бонусных дней.
— 100% оплата больничных.
— 100% оплата корпоративного обучения.
Контакт для связи: @AlesyaPS
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/11
Стек технологий: #SQL #Python #GCP #Airflow #BigQuery #DBT #Kafka
Data Engineer
Компания: Selectel
Зарплата: по договоренности
Тип занятости: #Гибрид
Локация: #СанктПетербург #Москва
Позиция: #Middle
Мы — продуктовая IT-компания, предоставляем клиентам инфраструктурные решения: свое облако, платформенные сервисы в облаке, а также выделенные серверы — у нас 6 собственных дата-центров.
Обязанности
— Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников
— Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow
— Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных
— Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга
— Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных
— Взаимодействие с BI разработчиками и аналитиками
Требования
— Опыт работы с реляционными (PostgreSQL) и аналитическими (ClickHouse) базами данных
— Опыт разработки на Python, особенно в сфере написания ELT пайплайнов и разработки DAG’ов Airflow
— Уверенное знание SQL и опыт оптимизации запросов
— Понимание принципов построения DWH
— Базовые знания Linux, Docker, Git, CI/CD
Что компания предлагает
— Гибкий график работы
— Развитие профессиональных навыков
— Работа в стабильной продуктовой компании с собственной инфраструктурой
Контакт для связи: @apolinque
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/15
Стек технологий: #Python #Airflow #PostgreSQL #ClickHouse #SQL #DWH #Linux #Docker #Git #CICD
Компания: Selectel
Зарплата: по договоренности
Тип занятости: #Гибрид
Локация: #СанктПетербург #Москва
Позиция: #Middle
Мы — продуктовая IT-компания, предоставляем клиентам инфраструктурные решения: свое облако, платформенные сервисы в облаке, а также выделенные серверы — у нас 6 собственных дата-центров.
Обязанности
— Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников
— Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow
— Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных
— Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга
— Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных
— Взаимодействие с BI разработчиками и аналитиками
Требования
— Опыт работы с реляционными (PostgreSQL) и аналитическими (ClickHouse) базами данных
— Опыт разработки на Python, особенно в сфере написания ELT пайплайнов и разработки DAG’ов Airflow
— Уверенное знание SQL и опыт оптимизации запросов
— Понимание принципов построения DWH
— Базовые знания Linux, Docker, Git, CI/CD
Что компания предлагает
— Гибкий график работы
— Развитие профессиональных навыков
— Работа в стабильной продуктовой компании с собственной инфраструктурой
Контакт для связи: @apolinque
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/15
Стек технологий: #Python #Airflow #PostgreSQL #ClickHouse #SQL #DWH #Linux #Docker #Git #CICD
Senior Data Engineer / DWH Architect
Компания: Хантфлоу
Зарплата: 300-400 тыс. руб.
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Москва
Позиция: #Senior
Хантфлоу — компания в области HRTech, предоставляющая передовые решения для автоматизации рекрутинга. Наш продукт помогает компаниям эффективно закрывать вакансии, сокращая время на поиск и отбор кандидатов.
Обязанности
— Построение архитектуры DWH
— Проектирование и реализация процессов загрузки данных из множества OLTP PostgreSQL-инстансов в DWH
— Разработка и поддержка ETL/ELT пайплайнов
— Интеграция дополнительных источников данных
— Настройка и автоматизация мониторинга
Требования
— Опыт работы DE 3+ года
— Продвинутое владение SQL
— Знание технологий: Python, Git, Docker, Airflow
— Опыт построения ETL/ELT пайплайнов
— Опыт настройки мониторинга
Что компания предлагает
— Рабочий MacBook Pro
— Обучение за счет компании
— Расширенная программа ДМС (после испытательного срока)
— Компенсация интернета или проезда
— 12 дней «без больничного» в год
Контакт для связи: koptelov@huntflow.ru, @meacca (Telegram)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/37
Стек технологий: #Python #PostgreSQL #Clickhouse #Git #Docker #Airflow #dbt
Компания: Хантфлоу
Зарплата: 300-400 тыс. руб.
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Москва
Позиция: #Senior
Хантфлоу — компания в области HRTech, предоставляющая передовые решения для автоматизации рекрутинга. Наш продукт помогает компаниям эффективно закрывать вакансии, сокращая время на поиск и отбор кандидатов.
Обязанности
— Построение архитектуры DWH
— Проектирование и реализация процессов загрузки данных из множества OLTP PostgreSQL-инстансов в DWH
— Разработка и поддержка ETL/ELT пайплайнов
— Интеграция дополнительных источников данных
— Настройка и автоматизация мониторинга
Требования
— Опыт работы DE 3+ года
— Продвинутое владение SQL
— Знание технологий: Python, Git, Docker, Airflow
— Опыт построения ETL/ELT пайплайнов
— Опыт настройки мониторинга
Что компания предлагает
— Рабочий MacBook Pro
— Обучение за счет компании
— Расширенная программа ДМС (после испытательного срока)
— Компенсация интернета или проезда
— 12 дней «без больничного» в год
Контакт для связи: koptelov@huntflow.ru, @meacca (Telegram)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/37
Стек технологий: #Python #PostgreSQL #Clickhouse #Git #Docker #Airflow #dbt
Data-engineer
Компания: 7RedLines
Зарплата: 130 000 – 160 000 ₽ на руки
Тип занятости: #Удаленка
Локация: #Удаленно
Позиция: #Middle
Обязанности
— Миграция старой логики ХД и разработка нового ХД с целью организации более структурированного хранения данных по слоям
— Миграция логики BI-отчетности
— Внедрение подхода data mesh
Требования
— Опыт разработки в MSSQL Server (обязательно)
— Опыт разработки в Report Designer (обязательно)
— Глубокое знание SQL и опыт работы с реляционными СУБД (MSSQL, PostgreSQL)
— Опыт программирования на T-SQL и PLpgSQL
— Базовые навыки работы в cmd и bash
— Знание Python 3.* и модулей для работы с данными
— Опыт создания потоков данных на Apache Airflow и Kafka
— Понимание подходов к разработке корпоративных хранилищ данных
— Опыт разработки витрин для BI-приложений
— Знание основ безопасности данных (персональные данные, шифрование, доступы)
— Понимание принципов DevOps (CI/CD, Docker, Kubernetes)
— Навыки работы с git
Будет плюсом:
— Знание NoSQL систем
— Опыт с SSIS и SSRS
— Понимание подходов Data Governance и Data Mesh
— Организация хранилищ данных для ML систем
— Опыт в построении real-time и near real-time data-решений
— Работа с BI-системами QlikSense и FineBI
— Опыт интеграции и получения данных из 1C
Что компания предлагает
— Оформление по ТК РФ
— Удаленный формат работы
— График 5/2
Контакт для связи:
Тг: @HR7RedLines
Эл.почта: i.filimonova@7rlines.com
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/39
Стек технологий: #MSSQL #PostgreSQL #Python #Airflow #Kafka #Docker #Kubernetes #Git #T-SQL #PLpgSQL
Компания: 7RedLines
Зарплата: 130 000 – 160 000 ₽ на руки
Тип занятости: #Удаленка
Локация: #Удаленно
Позиция: #Middle
Обязанности
— Миграция старой логики ХД и разработка нового ХД с целью организации более структурированного хранения данных по слоям
— Миграция логики BI-отчетности
— Внедрение подхода data mesh
Требования
— Опыт разработки в MSSQL Server (обязательно)
— Опыт разработки в Report Designer (обязательно)
— Глубокое знание SQL и опыт работы с реляционными СУБД (MSSQL, PostgreSQL)
— Опыт программирования на T-SQL и PLpgSQL
— Базовые навыки работы в cmd и bash
— Знание Python 3.* и модулей для работы с данными
— Опыт создания потоков данных на Apache Airflow и Kafka
— Понимание подходов к разработке корпоративных хранилищ данных
— Опыт разработки витрин для BI-приложений
— Знание основ безопасности данных (персональные данные, шифрование, доступы)
— Понимание принципов DevOps (CI/CD, Docker, Kubernetes)
— Навыки работы с git
Будет плюсом:
— Знание NoSQL систем
— Опыт с SSIS и SSRS
— Понимание подходов Data Governance и Data Mesh
— Организация хранилищ данных для ML систем
— Опыт в построении real-time и near real-time data-решений
— Работа с BI-системами QlikSense и FineBI
— Опыт интеграции и получения данных из 1C
Что компания предлагает
— Оформление по ТК РФ
— Удаленный формат работы
— График 5/2
Контакт для связи:
Тг: @HR7RedLines
Эл.почта: i.filimonova@7rlines.com
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/39
Стек технологий: #MSSQL #PostgreSQL #Python #Airflow #Kafka #Docker #Kubernetes #Git #T-SQL #PLpgSQL
🥴1
Data Engineer
Компания: Гарда Технологии
Зарплата: по договоренности
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Россия
Позиция: #Senior
Обязанности
— Проектирование схемы, ETL, тестирование хранилищ данных для продуктов компании
— Настройка и оптимизация конвейеров данных (Airflow, Python, SQL, ClickHouse)
— Разработка и внедрение стратегий резервного копирования
— Мониторинг системы оповещения
— Решение проблем в работе конвейеров, обеспечение качества данных
— Моделирование хранилищ данных и процессов обработки данных
Требования
— Навыки работы и тонкой настройки различных баз данных (SQL, ClickHouse)
— Понимание принципов работы Airflow и Kafka
— Понимание процесса непрерывной интеграции CI/CD
Будет плюсом:
— Понимание архитектуры и процесса обработки данных фреймворком Apache Hadoop
— Знание стандартов и best practice в области хранения данных
— Навыки работы с большим пулом различных баз данных (MSSQL, Oracle, PostgreSQL, ClickHouse, MongoDB, Greenplum, Apache Hive, NoSQL, S3 хранилища)
— Работа с системами виртуализации/контейнеризации
Что компания предлагает
— Работу в аккредитованной ИТ-компании
— Ежеквартальное и годовое премирование сотрудников (после испытательного срока)
— ДМС со стоматологией
— Компенсация расходов на спорт, ежемесячная компенсация питания после трех месяцев работы
— Возможность гибридной или удалённой работы, с гибким началом рабочего дня
Контакт для связи: @nadja_chh
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/41
Стек технологий: #Airflow #Python #SQL #ClickHouse #Kafka #CI/CD #Hadoop #MSSQL #Oracle #PostgreSQL #MongoDB #Greenplum #ApacheHive #NoSQL #S3
Компания: Гарда Технологии
Зарплата: по договоренности
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Россия
Позиция: #Senior
Обязанности
— Проектирование схемы, ETL, тестирование хранилищ данных для продуктов компании
— Настройка и оптимизация конвейеров данных (Airflow, Python, SQL, ClickHouse)
— Разработка и внедрение стратегий резервного копирования
— Мониторинг системы оповещения
— Решение проблем в работе конвейеров, обеспечение качества данных
— Моделирование хранилищ данных и процессов обработки данных
Требования
— Навыки работы и тонкой настройки различных баз данных (SQL, ClickHouse)
— Понимание принципов работы Airflow и Kafka
— Понимание процесса непрерывной интеграции CI/CD
Будет плюсом:
— Понимание архитектуры и процесса обработки данных фреймворком Apache Hadoop
— Знание стандартов и best practice в области хранения данных
— Навыки работы с большим пулом различных баз данных (MSSQL, Oracle, PostgreSQL, ClickHouse, MongoDB, Greenplum, Apache Hive, NoSQL, S3 хранилища)
— Работа с системами виртуализации/контейнеризации
Что компания предлагает
— Работу в аккредитованной ИТ-компании
— Ежеквартальное и годовое премирование сотрудников (после испытательного срока)
— ДМС со стоматологией
— Компенсация расходов на спорт, ежемесячная компенсация питания после трех месяцев работы
— Возможность гибридной или удалённой работы, с гибким началом рабочего дня
Контакт для связи: @nadja_chh
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/41
Стек технологий: #Airflow #Python #SQL #ClickHouse #Kafka #CI/CD #Hadoop #MSSQL #Oracle #PostgreSQL #MongoDB #Greenplum #ApacheHive #NoSQL #S3
Data Engineer (Senior)
Компания: Российская сеть розничных магазинов
Зарплата: по договоренности
Тип занятости: #Удаленка
Локация: #РФ #РБ
Позиция: #Senior
Разработка и поддержка инфраструктуры данных для крупной розничной сети. Проект продолжительностью 3 месяца с возможностью продления.
Обязанности
— Миграция из Managed Service в собственные Kubernetes
— Разработка модулей и скриптов данных для пилота
— Разработка скриптов для повышения качества данных
— Разработка CI/CD конвейеров (1 DevOps/1 DE)
— Разработка модулей для Alluxio (0,5 DevOps)
— I&D. Разработка модулей для поддержки промышленной системы (0,5 DevOps)
— Разработка модулей межсервисного шифрования (0,5 DevOps)
— Разработка общего метахранилища (0,5 DevOps)
— I&D. Разработка мониторинга сервисов и инфраструктуры (0,5 DevOps)
Требования
— Опыт работы с Apache (Spark, Hive, Airflow)
— Знание Yandex Cloud
— Владение Python и SQL
— Опыт работы с Linux и Docker
— Понимание streaming-технологий
Что компания предлагает
— Удаленный формат работы
— Возможность продления проекта
— Участие в масштабных задачах по обработке данных
Контакт для связи: @grosssoft1600, +7 999 689 1600 (Екатерина, IT-recruiter)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/47
Стек технологий: #Apache #Spark #Hive #Airflow #YandexCloud #Python #SQL #Linux #Docker #Streaming
Компания: Российская сеть розничных магазинов
Зарплата: по договоренности
Тип занятости: #Удаленка
Локация: #РФ #РБ
Позиция: #Senior
Разработка и поддержка инфраструктуры данных для крупной розничной сети. Проект продолжительностью 3 месяца с возможностью продления.
Обязанности
— Миграция из Managed Service в собственные Kubernetes
— Разработка модулей и скриптов данных для пилота
— Разработка скриптов для повышения качества данных
— Разработка CI/CD конвейеров (1 DevOps/1 DE)
— Разработка модулей для Alluxio (0,5 DevOps)
— I&D. Разработка модулей для поддержки промышленной системы (0,5 DevOps)
— Разработка модулей межсервисного шифрования (0,5 DevOps)
— Разработка общего метахранилища (0,5 DevOps)
— I&D. Разработка мониторинга сервисов и инфраструктуры (0,5 DevOps)
Требования
— Опыт работы с Apache (Spark, Hive, Airflow)
— Знание Yandex Cloud
— Владение Python и SQL
— Опыт работы с Linux и Docker
— Понимание streaming-технологий
Что компания предлагает
— Удаленный формат работы
— Возможность продления проекта
— Участие в масштабных задачах по обработке данных
Контакт для связи: @grosssoft1600, +7 999 689 1600 (Екатерина, IT-recruiter)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/47
Стек технологий: #Apache #Spark #Hive #Airflow #YandexCloud #Python #SQL #Linux #Docker #Streaming
Data Engineer
Компания: ГК Рост
Зарплата: по договоренности
Тип занятости: #Гибрид
Локация: #Москва
Позиция: #Middle #Senior
Лидер российского рынка овощей защищенного грунта. Численность сотрудников холдинга – более 12,500 человек.
Обязанности
— Анализ систем источников данных для ETL/ELT процессов (Api, DB, JSON, CSV...)
— Разработка и поддержка ETL/ELT процессов из различных источников (Airflow)
— Сбор, анализ и формализация требований к разрабатываемым решениям (модели данных, витрины данных для аналитики)
— Разработка и поддержка моделей и витрин данных (DBT)
— Обеспечение качества данных (чистота, точность, целостность, полнота)
— Формирование технической документации (ELT/ETL процессы и алгоритмы)
— Улучшение архитектуры данных, внедрение новых технологий обработки и хранения
— Описание объектов данных в дата-каталоге, поддержка актуального состояния
Требования
— Опыт проектирования, разработки и запуска ETL процессов (Airflow)
— Опыт проектирования и разработки баз данных OLTP, OLAP (MS SQL)
— Знание SQL (сложные запросы, оконные функции, оптимизация), Python
— Навыки работы с GitLab, настройка CI/CD пайплайнов
— Понимание работы BI-инструментов (Power BI)
Что компания предлагает
— Официальное оформление в ООО "УК ""РОСТ"
— График работы: 40 часов в неделю (гибридный формат)
— Комфортабельное рабочее место, корпоративная мобильная связь
— Добровольное медицинское страхование
— Конкурентоспособная заработная плата
— Обучение и развитие за счет компании
— Отпуск 28 календарных дней
— Офис: м. Киевская, БЦ "Атлантик"
Контакт для связи: @AlexandraKononenko
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/48
Стек технологий: #MSSQL #SSAS #PowerBI #Airflow #DBT #GitLab #Docker #Linux #SQL #Python
Компания: ГК Рост
Зарплата: по договоренности
Тип занятости: #Гибрид
Локация: #Москва
Позиция: #Middle #Senior
Лидер российского рынка овощей защищенного грунта. Численность сотрудников холдинга – более 12,500 человек.
Обязанности
— Анализ систем источников данных для ETL/ELT процессов (Api, DB, JSON, CSV...)
— Разработка и поддержка ETL/ELT процессов из различных источников (Airflow)
— Сбор, анализ и формализация требований к разрабатываемым решениям (модели данных, витрины данных для аналитики)
— Разработка и поддержка моделей и витрин данных (DBT)
— Обеспечение качества данных (чистота, точность, целостность, полнота)
— Формирование технической документации (ELT/ETL процессы и алгоритмы)
— Улучшение архитектуры данных, внедрение новых технологий обработки и хранения
— Описание объектов данных в дата-каталоге, поддержка актуального состояния
Требования
— Опыт проектирования, разработки и запуска ETL процессов (Airflow)
— Опыт проектирования и разработки баз данных OLTP, OLAP (MS SQL)
— Знание SQL (сложные запросы, оконные функции, оптимизация), Python
— Навыки работы с GitLab, настройка CI/CD пайплайнов
— Понимание работы BI-инструментов (Power BI)
Что компания предлагает
— Официальное оформление в ООО "УК ""РОСТ"
— График работы: 40 часов в неделю (гибридный формат)
— Комфортабельное рабочее место, корпоративная мобильная связь
— Добровольное медицинское страхование
— Конкурентоспособная заработная плата
— Обучение и развитие за счет компании
— Отпуск 28 календарных дней
— Офис: м. Киевская, БЦ "Атлантик"
Контакт для связи: @AlexandraKononenko
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/48
Стек технологий: #MSSQL #SSAS #PowerBI #Airflow #DBT #GitLab #Docker #Linux #SQL #Python
Data Engineer
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, ищет Data Engineer. Мы развиваем мультифункциональную платформу, которая объединяет финансовые, сервисные и бизнес-решения и которой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных, работая в тесной связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для их последующей интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов для контроля и поддержания качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL для написания сложных и производительных запросов (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Релокационный пакет.
— Работу в офисе в Ташкенте или гибридный формат по договоренности.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
— Яркая корпоративная культура и кафетерий бенефитов.
Контакт для связи: @haas_mari
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/54
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #ApacheSpark #ApacheFlink #Airbyte
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, ищет Data Engineer. Мы развиваем мультифункциональную платформу, которая объединяет финансовые, сервисные и бизнес-решения и которой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных, работая в тесной связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для их последующей интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов для контроля и поддержания качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL для написания сложных и производительных запросов (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Релокационный пакет.
— Работу в офисе в Ташкенте или гибридный формат по договоренности.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
— Яркая корпоративная культура и кафетерий бенефитов.
Контакт для связи: @haas_mari
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/54
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #ApacheSpark #ApacheFlink #Airbyte
SQL Analyst (Middle+)
Компания: [Название компании]
Зарплата: 280 000–300 000 ₽
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Middle
Банковский проект (инвесты, аналитика). Оформление: ИП / самозанятость.
Обязанности
— Разработка SQL-запросов и аналитических витрин
— Работа с хранилищами данных (PostgreSQL, Oracle, MS SQL, Greenplum, Vertica)
— Участие в ETL процессах (Airflow, Informatica Power Center)
— Построение отчётности и визуализаций (PowerBI, Tableau)
— Работа с Hadoop и большими объёмами данных
— Оптимизация SQL-запросов, построение моделей данных
— Участие в улучшении аналитической инфраструктуры банка
Требования
— 2+ года опыта работы с SQL и DWH
— Опыт построения SQL-запросов и аналитических витрин
— Знание PostgreSQL, Oracle, MS SQL, Greenplum, Vertica
— Опыт работы с ETL (Airflow, Informatica Power Center)
— Навыки работы с Hadoop и большими данными
— Умение работать с BI-инструментами: PowerBI, Tableau
— Умение писать оптимизированный SQL, знание PL/SQL
Что компания предлагает
— Удалённый формат работы (фулл-тайм)
— Проект в банковской сфере
— Возможность работы с современными технологиями
Контакт для связи: @skeldafn (код BD-1005)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/61
Стек технологий: #PostgreSQL #Oracle #MSSQL #Greenplum #Vertica #Airflow #Informatica #PowerBI #Tableau #Hadoop
Компания: [Название компании]
Зарплата: 280 000–300 000 ₽
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Middle
Банковский проект (инвесты, аналитика). Оформление: ИП / самозанятость.
Обязанности
— Разработка SQL-запросов и аналитических витрин
— Работа с хранилищами данных (PostgreSQL, Oracle, MS SQL, Greenplum, Vertica)
— Участие в ETL процессах (Airflow, Informatica Power Center)
— Построение отчётности и визуализаций (PowerBI, Tableau)
— Работа с Hadoop и большими объёмами данных
— Оптимизация SQL-запросов, построение моделей данных
— Участие в улучшении аналитической инфраструктуры банка
Требования
— 2+ года опыта работы с SQL и DWH
— Опыт построения SQL-запросов и аналитических витрин
— Знание PostgreSQL, Oracle, MS SQL, Greenplum, Vertica
— Опыт работы с ETL (Airflow, Informatica Power Center)
— Навыки работы с Hadoop и большими данными
— Умение работать с BI-инструментами: PowerBI, Tableau
— Умение писать оптимизированный SQL, знание PL/SQL
Что компания предлагает
— Удалённый формат работы (фулл-тайм)
— Проект в банковской сфере
— Возможность работы с современными технологиями
Контакт для связи: @skeldafn (код BD-1005)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/61
Стек технологий: #PostgreSQL #Oracle #MSSQL #Greenplum #Vertica #Airflow #Informatica #PowerBI #Tableau #Hadoop
Data engineer
Компания: Excdev
Зарплата: от 230 до 270 тысяч рублей на руки
Тип занятости: #Удаленка
Локация: #Любой_город
Позиция: #Middle
Возможность работать из любой точки мира. Динамичная работа в команде профессионалов.
Обязанности
— Разработка и поддержка ETL/ELT процессов (Airflow, автоматизация загрузки данных, оптимизация).
— Работа с базами данных (ClickHouse, PostgreSQL): проектирование, оптимизация запросов, настройка репликации.
— Витринизация данных и подготовка аналитики (Tableau, OLAP-структуры).
— Интеграция и работа с API (Kafka/RabbitMQ, стриминговая обработка).
— Автоматизация и DevOps-практики (Docker/Kubernetes, CI/CD, мониторинг).
— Взаимодействие с аналитиками и бизнес-командами (сбор требований, дизайн моделей данных).
— Обеспечение качества и безопасности данных (валидация, ролевая модель, тестирование).
Требования
— Высшее образование в IT, математике или смежных областях.
— Опыт работы с ETL/ELT (Apache Airflow) от 2 лет.
— Уверенные знания SQL, опыт с ClickHouse и PostgreSQL.
— Опыт разработки BI-решений (Tableau).
— Знание API-интеграции и Kafka/RabbitMQ.
— Опыт работы с Docker/Kubernetes и DevOps-практиками.
— Коммуникативные навыки, ответственность, внимание к деталям.
Что компания предлагает
— Удаленный формат работы из любой точки мира.
— Гибкий график (5/2, 10:00–19:00 МСК).
— Работа в профессиональной команде.
Контакт для связи: @VLT_recruiter
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/85
Стек технологий: #Airflow #ClickHouse #PostgreSQL #Tableau #Kafka #RabbitMQ #Docker #Kubernetes #SQL
Компания: Excdev
Зарплата: от 230 до 270 тысяч рублей на руки
Тип занятости: #Удаленка
Локация: #Любой_город
Позиция: #Middle
Возможность работать из любой точки мира. Динамичная работа в команде профессионалов.
Обязанности
— Разработка и поддержка ETL/ELT процессов (Airflow, автоматизация загрузки данных, оптимизация).
— Работа с базами данных (ClickHouse, PostgreSQL): проектирование, оптимизация запросов, настройка репликации.
— Витринизация данных и подготовка аналитики (Tableau, OLAP-структуры).
— Интеграция и работа с API (Kafka/RabbitMQ, стриминговая обработка).
— Автоматизация и DevOps-практики (Docker/Kubernetes, CI/CD, мониторинг).
— Взаимодействие с аналитиками и бизнес-командами (сбор требований, дизайн моделей данных).
— Обеспечение качества и безопасности данных (валидация, ролевая модель, тестирование).
Требования
— Высшее образование в IT, математике или смежных областях.
— Опыт работы с ETL/ELT (Apache Airflow) от 2 лет.
— Уверенные знания SQL, опыт с ClickHouse и PostgreSQL.
— Опыт разработки BI-решений (Tableau).
— Знание API-интеграции и Kafka/RabbitMQ.
— Опыт работы с Docker/Kubernetes и DevOps-практиками.
— Коммуникативные навыки, ответственность, внимание к деталям.
Что компания предлагает
— Удаленный формат работы из любой точки мира.
— Гибкий график (5/2, 10:00–19:00 МСК).
— Работа в профессиональной команде.
Контакт для связи: @VLT_recruiter
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/85
Стек технологий: #Airflow #ClickHouse #PostgreSQL #Tableau #Kafka #RabbitMQ #Docker #Kubernetes #SQL
❤1
Data Engineer
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, развивает мультифункциональную платформу, объединяющую финансовые, сервисные и бизнес-решения. Платформой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных в связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов контроля качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Работу в офисе или гибридный формат.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы в офисе.
— Яркую корпоративную культуру и кафетерий бенефитов.
Контакт для связи: @spetrushkin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/87
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #MSQL #ApacheSpark #ApacheFlink #Airbyte #DataLake #DWH
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, развивает мультифункциональную платформу, объединяющую финансовые, сервисные и бизнес-решения. Платформой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных в связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов контроля качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Работу в офисе или гибридный формат.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы в офисе.
— Яркую корпоративную культуру и кафетерий бенефитов.
Контакт для связи: @spetrushkin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/87
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #MSQL #ApacheSpark #ApacheFlink #Airbyte #DataLake #DWH
Data инженер
Компания: Top Selection
Зарплата: 350-420K
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Senior
Мы в поиске Data инженера на проектную занятость. Долгосрочный проект с оформлением по ИП.
Обязанности
— Разработка и оптимизация сложных SQL-запросов
— Оркестрация ETL-пайплайнов с помощью Airflow
— Работа с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop)
— Разработка и поддержка решений на Apache Spark (Spark DataFrames, Spark SQL)
— Взаимодействие с инструментом dbt
— Работа с банковской предметной областью
Требования
— Опыт работы с SQL на уровне оптимизированных сложных запросов
— Понимание принципов функционирования традиционных СУБД и MPP-баз данных
— Опыт программирования на Python, Java или Scala
— Опыт оркестрации ETL-пайплайнов (Airflow)
— Умение работать с Hadoop (HDFS, YARN, HIVE, Sqoop)
— Владение Apache Spark (Spark DataFrames, Spark SQL)
— Опыт работы с банковской предметной областью
— Желательно: опыт с Kafka, Trino, Kubernetes, Helm, CI/CD
Что компания предлагает
— Долгосрочный проект
— Удаленный формат работы
— Конкурентную ставку
Контакт для связи: @aliiS_a
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/95
Стек технологий: #Python #Trino #dbt #Airflow #Spark #Hadoop #Hive #Postgres #Greenplum #Kubernetes #Gitlab
Компания: Top Selection
Зарплата: 350-420K
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Senior
Мы в поиске Data инженера на проектную занятость. Долгосрочный проект с оформлением по ИП.
Обязанности
— Разработка и оптимизация сложных SQL-запросов
— Оркестрация ETL-пайплайнов с помощью Airflow
— Работа с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop)
— Разработка и поддержка решений на Apache Spark (Spark DataFrames, Spark SQL)
— Взаимодействие с инструментом dbt
— Работа с банковской предметной областью
Требования
— Опыт работы с SQL на уровне оптимизированных сложных запросов
— Понимание принципов функционирования традиционных СУБД и MPP-баз данных
— Опыт программирования на Python, Java или Scala
— Опыт оркестрации ETL-пайплайнов (Airflow)
— Умение работать с Hadoop (HDFS, YARN, HIVE, Sqoop)
— Владение Apache Spark (Spark DataFrames, Spark SQL)
— Опыт работы с банковской предметной областью
— Желательно: опыт с Kafka, Trino, Kubernetes, Helm, CI/CD
Что компания предлагает
— Долгосрочный проект
— Удаленный формат работы
— Конкурентную ставку
Контакт для связи: @aliiS_a
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/95
Стек технологий: #Python #Trino #dbt #Airflow #Spark #Hadoop #Hive #Postgres #Greenplum #Kubernetes #Gitlab
Data-инженер
Компания: Не указано
Зарплата: от 300 000 до 350 000 ₽
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Алматы
Позиция: #Senior
Мы строим платформу данных нового поколения с нуля. Наши цели: построить надёжную и масштабируемую архитектуру, внедрить лучшие практики работы с данными, развивать современный DataOps-подход.
Обязанности
— Проектирование и создание масштабируемой платформы данных с нуля
— Разработка хранилища данных на базе ClickHouse
— Построение отказоустойчивых ETL/ELT пайплайнов
— Внедрение процессов Data Quality и Data Observability
— Развитие и внедрение DataOps-подходов
— Менторство, код-ревью, развитие команды
— Участие в архитектурных решениях вместе с аналитиками, разработчиками и DevOps-инженерами
Требования
— 5+ лет опыта в Data Engineering
— Экспертиза в ClickHouse (архитектура, шардинг, репликация, оптимизация)
— Отличное знание SQL, Python
— Опыт работы с dbt, Kafka, Kafka Connect, Debezium
— Навыки работы с Airflow или аналогами
— Опыт в CI/CD
— Понимание DataOps, проектирования хранилищ данных
— Навыки командной работы и коммуникации
Что компания предлагает
— Гибкий формат: удалёнка или офис в Алматы
— Современный стек и лучшие практики
— Работа с миллионной аудиторией пользователей
— Возможность видеть реальный результат своей работы
Контакт для связи: @islam14_hr
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/97
Стек технологий: #ClickHouse #PostgreSQL #MySQL #Linux #IaC #Ansible #Prometheus #Grafana #Bash #DevOps #Python #Kafka #Airflow #dbt
Компания: Не указано
Зарплата: от 300 000 до 350 000 ₽
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Алматы
Позиция: #Senior
Мы строим платформу данных нового поколения с нуля. Наши цели: построить надёжную и масштабируемую архитектуру, внедрить лучшие практики работы с данными, развивать современный DataOps-подход.
Обязанности
— Проектирование и создание масштабируемой платформы данных с нуля
— Разработка хранилища данных на базе ClickHouse
— Построение отказоустойчивых ETL/ELT пайплайнов
— Внедрение процессов Data Quality и Data Observability
— Развитие и внедрение DataOps-подходов
— Менторство, код-ревью, развитие команды
— Участие в архитектурных решениях вместе с аналитиками, разработчиками и DevOps-инженерами
Требования
— 5+ лет опыта в Data Engineering
— Экспертиза в ClickHouse (архитектура, шардинг, репликация, оптимизация)
— Отличное знание SQL, Python
— Опыт работы с dbt, Kafka, Kafka Connect, Debezium
— Навыки работы с Airflow или аналогами
— Опыт в CI/CD
— Понимание DataOps, проектирования хранилищ данных
— Навыки командной работы и коммуникации
Что компания предлагает
— Гибкий формат: удалёнка или офис в Алматы
— Современный стек и лучшие практики
— Работа с миллионной аудиторией пользователей
— Возможность видеть реальный результат своей работы
Контакт для связи: @islam14_hr
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/97
Стек технологий: #ClickHouse #PostgreSQL #MySQL #Linux #IaC #Ansible #Prometheus #Grafana #Bash #DevOps #Python #Kafka #Airflow #dbt
DWH разработчик
Компания: ООО ИТМ (Магнит)
Зарплата: от 250 000 до 400 000 руб.
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Middle #Senior
Мы строим экосистему «Магнита», автоматизируем 45 распределительных центров, прогнозируем спрос, интегрируем передовые конфигурации ERP, а также создаем продукты для персонализации клиентского опыта. Наше Корпоративное Хранилище Данных одно из крупнейших в России с общим объемом данных более 1 ПБ и насчитывающее более 200 источников данных. Один из вызовов, который перед нами стоит в ближайшее время, - это большой проект миграции Хранилища в Облако.
Обязанности
— Писать SQL запросы
— Разрабатывать ETL-процессы по загрузке данных в Хранилище
— Развивать существующие и создавать новые интеграций с источниками
— Разрабатывать витрины данных
Требования
— Опыт профильной разработки хранилищ данных от 2х лет
— Опыт работы с реляционными БД (Teradata, Oracle, Impala, MSSQL, PostgreSQL, Greenplum)
— Опыт построения ETL-процессов на промышленных инструментах
— Опыт оптимизации SQL-запросов и ETL-процессов
— Знание методов моделирования данных звезда, снежинка, DataVault
Что компания предлагает
— Трудоустройство в аккредитованную ИТ-компанию
— Возможность работать удаленно/гибридно/в офисном режиме
— Прозрачные цели, четкие ожидания, здравый смысл в процессах
— Возможность профессиональной реализации через оплачиваемое внешнее обучение, корпоративные курсы
— Возможность миграции между проектами
— ДМС со стоматологией и льготными условиями для членов семьи
— Корпоративные скидки от компаний-партнеров
Контакт для связи: @stanislav_muhin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/101
Стек технологий: #Teradata #Informatica #Oracle #S3 #Impala #Airflow #Spark
Компания: ООО ИТМ (Магнит)
Зарплата: от 250 000 до 400 000 руб.
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Middle #Senior
Мы строим экосистему «Магнита», автоматизируем 45 распределительных центров, прогнозируем спрос, интегрируем передовые конфигурации ERP, а также создаем продукты для персонализации клиентского опыта. Наше Корпоративное Хранилище Данных одно из крупнейших в России с общим объемом данных более 1 ПБ и насчитывающее более 200 источников данных. Один из вызовов, который перед нами стоит в ближайшее время, - это большой проект миграции Хранилища в Облако.
Обязанности
— Писать SQL запросы
— Разрабатывать ETL-процессы по загрузке данных в Хранилище
— Развивать существующие и создавать новые интеграций с источниками
— Разрабатывать витрины данных
Требования
— Опыт профильной разработки хранилищ данных от 2х лет
— Опыт работы с реляционными БД (Teradata, Oracle, Impala, MSSQL, PostgreSQL, Greenplum)
— Опыт построения ETL-процессов на промышленных инструментах
— Опыт оптимизации SQL-запросов и ETL-процессов
— Знание методов моделирования данных звезда, снежинка, DataVault
Что компания предлагает
— Трудоустройство в аккредитованную ИТ-компанию
— Возможность работать удаленно/гибридно/в офисном режиме
— Прозрачные цели, четкие ожидания, здравый смысл в процессах
— Возможность профессиональной реализации через оплачиваемое внешнее обучение, корпоративные курсы
— Возможность миграции между проектами
— ДМС со стоматологией и льготными условиями для членов семьи
— Корпоративные скидки от компаний-партнеров
Контакт для связи: @stanislav_muhin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/101
Стек технологий: #Teradata #Informatica #Oracle #S3 #Impala #Airflow #Spark
❤1
Архитектор DWH
Компания: —
Зарплата: обсуждается индивидуально
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Москва #Питер #Сочи #Екатеринбург #Ростов-на-Дону
Позиция: #Senior
Обязанности
— Построение архитектуры DWH / Data Lake/ LakeHouse для высоконагруженных сервисов и больших хранилищ (500 тб+): ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT), etc
— Выбор форматов хранения: Parquet, ORC, Avro, JSON, таблицы MergeTree, Replicated, ReplacingMergeTree etc
— Участие в проектировании схем витрин под требования BI/DS/etc
— Проектирование слоёв: RAW → STG → ODS → DM → Marts
— Формирование архитектур ETL/ELT процессов с использованием Airflow / Spark
— Организация потоковой передачи данных из прод-сервисов (Kafka)
— Настройка data quality checks и алертинга
— Формирование CI/CD пайплайнов для данных (git + tests + deploy)
— Архитектурный надзор команд, валидация предлагаемых изменений, подготовка рекомендаций со стороны архитектуры
— Документирование решений и применяемых подходов
— Консультирование команд по стандартам, регламентам и архитектурным особенностям
— Участие в формировании, защите и реализации Data-стратегии функциональной области
Требования
— Опыт работы Lead Data Engineer /Архитектор DWH / DataOps от 3х лет
— Знание ClickHouse на уровне архитектора (MergeTree / Replacing / Collapsing)
— Понимание архитектуры DataLake / LakeHouse
— Опыт построения пайплайнов: batch, micro-batch, stream
— Опыт работы с Airflow или аналогами
— Знание SQL уровня проектирования витрин и оптимизации
— Опыт настройки каталога данных: DataHub, OpenMetadata
— Опыт управления метаданными, версионированием схем
— Опыт с облачной инфраструктурой
— Хорошие знания *nix
— Знание технологий: Docker, Kubernetes
Контакт для связи: @fr_rec
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/126
Стек технологий: #ClickHouse #S3 #DataLake #Kafka #Airflow #Spark #Parquet #ORC #Avro #JSON #Docker #Kubernetes #DataHub #OpenMetadata #Git
Компания: —
Зарплата: обсуждается индивидуально
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Москва #Питер #Сочи #Екатеринбург #Ростов-на-Дону
Позиция: #Senior
Обязанности
— Построение архитектуры DWH / Data Lake/ LakeHouse для высоконагруженных сервисов и больших хранилищ (500 тб+): ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT), etc
— Выбор форматов хранения: Parquet, ORC, Avro, JSON, таблицы MergeTree, Replicated, ReplacingMergeTree etc
— Участие в проектировании схем витрин под требования BI/DS/etc
— Проектирование слоёв: RAW → STG → ODS → DM → Marts
— Формирование архитектур ETL/ELT процессов с использованием Airflow / Spark
— Организация потоковой передачи данных из прод-сервисов (Kafka)
— Настройка data quality checks и алертинга
— Формирование CI/CD пайплайнов для данных (git + tests + deploy)
— Архитектурный надзор команд, валидация предлагаемых изменений, подготовка рекомендаций со стороны архитектуры
— Документирование решений и применяемых подходов
— Консультирование команд по стандартам, регламентам и архитектурным особенностям
— Участие в формировании, защите и реализации Data-стратегии функциональной области
Требования
— Опыт работы Lead Data Engineer /Архитектор DWH / DataOps от 3х лет
— Знание ClickHouse на уровне архитектора (MergeTree / Replacing / Collapsing)
— Понимание архитектуры DataLake / LakeHouse
— Опыт построения пайплайнов: batch, micro-batch, stream
— Опыт работы с Airflow или аналогами
— Знание SQL уровня проектирования витрин и оптимизации
— Опыт настройки каталога данных: DataHub, OpenMetadata
— Опыт управления метаданными, версионированием схем
— Опыт с облачной инфраструктурой
— Хорошие знания *nix
— Знание технологий: Docker, Kubernetes
Контакт для связи: @fr_rec
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/126
Стек технологий: #ClickHouse #S3 #DataLake #Kafka #Airflow #Spark #Parquet #ORC #Avro #JSON #Docker #Kubernetes #DataHub #OpenMetadata #Git