Spark Data Engineer (Senior) / Автор учебных материалов
Компания: Standard Data
Зарплата: 30 000 – 50 000 руб. за тему (лекция + семинар + ДЗ), 10 000 – 20 000 руб. за вебинар
Тип занятости: #Удаленка
Локация: #Удаленно
Позиция: #Senior
Standard Data проектирует и реализует образовательные решения для крупных компаний в сфере ИИ, дата-инжиниринга и веб-разработки.
Обязанности
— Разработка учебных материалов: лекции, семинары, ДЗ, проекты по Spark (Structured Streaming, Kafka, оптимизации и др.).
— Проведение онлайн-вебинаров (2 раза в неделю по 2 часа).
— Создание тестов и практических заданий.
Требования
— Опыт работы Data Engineer от 5 лет, включая оптимизацию ETL/высоконагруженных приложений.
— Глубокое знание: Scala 3, Spark, Kafka, Hadoop, Oozie, Yarn.
— Опыт с Spark Structured Streaming (трансформации, агрегации, оконные функции).
Будет плюсом:
— DevOps-навыки (Jenkins).
— Знание Spark MLlib.
Что компания предлагает
— Гибкие ставки (зависит от опыта и результатов собеседования).
— Удаленный формат работы.
— Возможность создать качественный образовательный продукт.
Контакт для связи: t.me/KaterinkaGl
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/21
Стек технологий: #Spark #Scala3 #Kafka #Hadoop #Oozie #Yarn #Jenkins #MLib
Компания: Standard Data
Зарплата: 30 000 – 50 000 руб. за тему (лекция + семинар + ДЗ), 10 000 – 20 000 руб. за вебинар
Тип занятости: #Удаленка
Локация: #Удаленно
Позиция: #Senior
Standard Data проектирует и реализует образовательные решения для крупных компаний в сфере ИИ, дата-инжиниринга и веб-разработки.
Обязанности
— Разработка учебных материалов: лекции, семинары, ДЗ, проекты по Spark (Structured Streaming, Kafka, оптимизации и др.).
— Проведение онлайн-вебинаров (2 раза в неделю по 2 часа).
— Создание тестов и практических заданий.
Требования
— Опыт работы Data Engineer от 5 лет, включая оптимизацию ETL/высоконагруженных приложений.
— Глубокое знание: Scala 3, Spark, Kafka, Hadoop, Oozie, Yarn.
— Опыт с Spark Structured Streaming (трансформации, агрегации, оконные функции).
Будет плюсом:
— DevOps-навыки (Jenkins).
— Знание Spark MLlib.
Что компания предлагает
— Гибкие ставки (зависит от опыта и результатов собеседования).
— Удаленный формат работы.
— Возможность создать качественный образовательный продукт.
Контакт для связи: t.me/KaterinkaGl
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/21
Стек технологий: #Spark #Scala3 #Kafka #Hadoop #Oozie #Yarn #Jenkins #MLib
Senior Data Engineer
Компания: Enfint
Зарплата: по договоренности
Тип занятости: #Офис
Локация: #Dubai
Позиция: #Senior
Enfint is seeking a Senior Data Engineer to join their team in Dubai. The company offers an opportunity to work on cutting-edge technologies in a highly innovative environment.
Обязанности
— Building and maintaining data pipelines in production
— Working with structured, semi-structured, and unstructured data
— Developing ML pipelines for streaming/batch workflows
— Performing exploratory data analysis (EDA) and feature engineering
— Ensuring data quality and implementing imputation techniques
— Collaborating with the team on CI/CD and automation processes
Требования
— 5+ years of commercial experience in a data-driven leadership role
— 2+ years of hands-on experience with data pipelines and ML workflows
— Strong proficiency in Python and clean, maintainable code
— Expertise in Spark (PySpark), SQL/No-SQL DBMS, and Git
— Knowledge of testing frameworks and data validation
— Experience with Apache Airflow/Jenkins for scheduling
— Strong command of English (written and verbal)
Что компания предлагает
— Opportunity to work on cutting-edge technologies
— Dynamic and friendly work environment
— Relocation assistance (if needed)
— Comfortable office in a convenient location (Dubai)
— Medical insurance
Контакт для связи: @Liz_Kostina или ekostina@enfint.ai
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/22
Стек технологий: #Python #Spark #PySpark #Jupyter #SQL #NoSQL #Git #ApacheAirflow #Jenkins #EDA #MachineLearning
Компания: Enfint
Зарплата: по договоренности
Тип занятости: #Офис
Локация: #Dubai
Позиция: #Senior
Enfint is seeking a Senior Data Engineer to join their team in Dubai. The company offers an opportunity to work on cutting-edge technologies in a highly innovative environment.
Обязанности
— Building and maintaining data pipelines in production
— Working with structured, semi-structured, and unstructured data
— Developing ML pipelines for streaming/batch workflows
— Performing exploratory data analysis (EDA) and feature engineering
— Ensuring data quality and implementing imputation techniques
— Collaborating with the team on CI/CD and automation processes
Требования
— 5+ years of commercial experience in a data-driven leadership role
— 2+ years of hands-on experience with data pipelines and ML workflows
— Strong proficiency in Python and clean, maintainable code
— Expertise in Spark (PySpark), SQL/No-SQL DBMS, and Git
— Knowledge of testing frameworks and data validation
— Experience with Apache Airflow/Jenkins for scheduling
— Strong command of English (written and verbal)
Что компания предлагает
— Opportunity to work on cutting-edge technologies
— Dynamic and friendly work environment
— Relocation assistance (if needed)
— Comfortable office in a convenient location (Dubai)
— Medical insurance
Контакт для связи: @Liz_Kostina или ekostina@enfint.ai
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/22
Стек технологий: #Python #Spark #PySpark #Jupyter #SQL #NoSQL #Git #ApacheAirflow #Jenkins #EDA #MachineLearning
SQL-разработчик (Senior)
Компания: Top Selection
Зарплата: 280.000 - 300.000 гросс
Тип занятости: #Удаленка #Fulltime
Локация: #Любая
Позиция: #Senior
Привет! Меня зовут Александр. Я представляю группу компаний Top Selection.
Мы занимаемся продуктовой разработкой и аутсорсингом IT персонала для рынка России, Европы и США.
В данный момент мы в поисках SQL-разработчика.
🔥Проект: Совершенствование системы автозаказа и пополнения.
Создание оптимального баланса по уровню запасов и их доступности в сети, достигнув улучшения следующих показателей: товарный запас, доступность, интенсификация труда.
Обязанности
— Репликация и кластеризация PostgreSQL
— Сложная нормализация данных
— Написание и оптимизация сложных SQL-запросов для извлечения, преобразования и агрегирования данных в Spark
— Работа с Spark DataFrames
— Подключение и обработка данных из различных источников (HDFS, Hive, JSON, Parquet и др.)
— Оптимизация SQL-запросов для повышения производительности
— Работа с распределенными системами (Hadoop, Spark)
Требования
— Опыт работы с PostgreSQL (репликация, кластеризация)
— Умение выполнять сложную нормализацию данных
— Навык написания и оптимизации сложных SQL-запросов в Spark
— Опыт работы с Spark DataFrames
— Знание различных источников данных (HDFS, Hive, JSON, Parquet и др.)
— Понимание принципов оптимизации SQL-запросов для больших данных
— Опыт работы с распределенными системами (Hadoop, Spark)
— Знание принципов распределенной обработки данных
Что компания предлагает
— Удаленный формат работы
— Оформление по ИП
— Работа над интересным продуктовым проектом
— Возможность работы с международными рынками
Контакт для связи: @AleksandrLuzgin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/33
Стек технологий: #SQL #PostgreSQL #Spark #Hadoop #HDFS #Hive #JSON #Parquet
Компания: Top Selection
Зарплата: 280.000 - 300.000 гросс
Тип занятости: #Удаленка #Fulltime
Локация: #Любая
Позиция: #Senior
Привет! Меня зовут Александр. Я представляю группу компаний Top Selection.
Мы занимаемся продуктовой разработкой и аутсорсингом IT персонала для рынка России, Европы и США.
В данный момент мы в поисках SQL-разработчика.
🔥Проект: Совершенствование системы автозаказа и пополнения.
Создание оптимального баланса по уровню запасов и их доступности в сети, достигнув улучшения следующих показателей: товарный запас, доступность, интенсификация труда.
Обязанности
— Репликация и кластеризация PostgreSQL
— Сложная нормализация данных
— Написание и оптимизация сложных SQL-запросов для извлечения, преобразования и агрегирования данных в Spark
— Работа с Spark DataFrames
— Подключение и обработка данных из различных источников (HDFS, Hive, JSON, Parquet и др.)
— Оптимизация SQL-запросов для повышения производительности
— Работа с распределенными системами (Hadoop, Spark)
Требования
— Опыт работы с PostgreSQL (репликация, кластеризация)
— Умение выполнять сложную нормализацию данных
— Навык написания и оптимизации сложных SQL-запросов в Spark
— Опыт работы с Spark DataFrames
— Знание различных источников данных (HDFS, Hive, JSON, Parquet и др.)
— Понимание принципов оптимизации SQL-запросов для больших данных
— Опыт работы с распределенными системами (Hadoop, Spark)
— Знание принципов распределенной обработки данных
Что компания предлагает
— Удаленный формат работы
— Оформление по ИП
— Работа над интересным продуктовым проектом
— Возможность работы с международными рынками
Контакт для связи: @AleksandrLuzgin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/33
Стек технологий: #SQL #PostgreSQL #Spark #Hadoop #HDFS #Hive #JSON #Parquet
Data Engineer (Senior)
Компания: Российская сеть розничных магазинов
Зарплата: по договоренности
Тип занятости: #Удаленка
Локация: #РФ #РБ
Позиция: #Senior
Разработка и поддержка инфраструктуры данных для крупной розничной сети. Проект продолжительностью 3 месяца с возможностью продления.
Обязанности
— Миграция из Managed Service в собственные Kubernetes
— Разработка модулей и скриптов данных для пилота
— Разработка скриптов для повышения качества данных
— Разработка CI/CD конвейеров (1 DevOps/1 DE)
— Разработка модулей для Alluxio (0,5 DevOps)
— I&D. Разработка модулей для поддержки промышленной системы (0,5 DevOps)
— Разработка модулей межсервисного шифрования (0,5 DevOps)
— Разработка общего метахранилища (0,5 DevOps)
— I&D. Разработка мониторинга сервисов и инфраструктуры (0,5 DevOps)
Требования
— Опыт работы с Apache (Spark, Hive, Airflow)
— Знание Yandex Cloud
— Владение Python и SQL
— Опыт работы с Linux и Docker
— Понимание streaming-технологий
Что компания предлагает
— Удаленный формат работы
— Возможность продления проекта
— Участие в масштабных задачах по обработке данных
Контакт для связи: @grosssoft1600, +7 999 689 1600 (Екатерина, IT-recruiter)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/47
Стек технологий: #Apache #Spark #Hive #Airflow #YandexCloud #Python #SQL #Linux #Docker #Streaming
Компания: Российская сеть розничных магазинов
Зарплата: по договоренности
Тип занятости: #Удаленка
Локация: #РФ #РБ
Позиция: #Senior
Разработка и поддержка инфраструктуры данных для крупной розничной сети. Проект продолжительностью 3 месяца с возможностью продления.
Обязанности
— Миграция из Managed Service в собственные Kubernetes
— Разработка модулей и скриптов данных для пилота
— Разработка скриптов для повышения качества данных
— Разработка CI/CD конвейеров (1 DevOps/1 DE)
— Разработка модулей для Alluxio (0,5 DevOps)
— I&D. Разработка модулей для поддержки промышленной системы (0,5 DevOps)
— Разработка модулей межсервисного шифрования (0,5 DevOps)
— Разработка общего метахранилища (0,5 DevOps)
— I&D. Разработка мониторинга сервисов и инфраструктуры (0,5 DevOps)
Требования
— Опыт работы с Apache (Spark, Hive, Airflow)
— Знание Yandex Cloud
— Владение Python и SQL
— Опыт работы с Linux и Docker
— Понимание streaming-технологий
Что компания предлагает
— Удаленный формат работы
— Возможность продления проекта
— Участие в масштабных задачах по обработке данных
Контакт для связи: @grosssoft1600, +7 999 689 1600 (Екатерина, IT-recruiter)
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/47
Стек технологий: #Apache #Spark #Hive #Airflow #YandexCloud #Python #SQL #Linux #Docker #Streaming
Архитектор данных (Data Architect)
Компания: FinTech
Зарплата: по договоренности
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Senior
Крупная финтех-компания ищет Архитектора данных.
Обязанности
— Разработка стратегии доменов данных.
— Проектирование шаблонов логических моделей данных для информационных и функциональных областей.
— Создание корпоративных моделей данных с учетом технических и архитектурных ограничений.
— Доработка и актуализация моделей новых сущностей и атрибутов.
— Разработка правил использования данных в информационных системах.
— Проектирование концептуальной архитектуры и архитектуры решений для контура управления данными.
— Разработка методологий и правил использования данных.
— Инициирование предложений по выделению логических слоев данных.
— Контроль целостности и актуальности моделей данных.
— Поддержка актуальной документации и глоссария.
Требования
— Опыт работы архитектором платформы данных от 3-х лет.
— Опыт в разработке логических моделей данных информационной системы.
— Опыт формирования процессов управления данными, контрактов на данные, а также разработки дата-продуктов.
— Понимание принципов формирования UML-диаграмм классов, потоков данных, последовательностей.
— Понимание и опыт формирования ER-диаграмм.
— Знание Sparx Enterprise Architect или аналогичных CASE-средств проектирования.
— Знание методик и подходов проектирования архитектуры хранилищ данных (on-premise и cloud-native).
— Знание принципов архитектурных паттернов работы ML-Ops конвейера.
— Практический опыт построения системы исполнения моделей машинного обучения.
— Знание принципов построения хранилищ данных (Inmon, Kimball, DataVault и т.п.).
— Глубокие знания в области технологий сбора, хранения и обработки данных (Datalake, DWH, Data Lakehouse, Data Streaming).
— Понимание принципов построения интеграционных процессов.
— Опыт работы с: Object Storage S3, Hadoop, Kubernetes, Spark, Impala, Iceberg, Kafka, MS SQL Server, PostgreSQL, Clickhouse.
— Глубокие знания SQL и Python.
Что компания предлагает
— Работу в офисе в Ташкенте или гибридный формат по договоренности.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Заботу о здоровье: фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
— Яркую корпоративную культуру и кафетерий бенефитов.
Контакт для связи: @spetrushkin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/70
Стек технологий: #S3 #Hadoop #Kubernetes #Spark #Impala #Iceberg #Kafka #MSSQLServer #PostgreSQL #Clickhouse #SQL #Python
Компания: FinTech
Зарплата: по договоренности
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Senior
Крупная финтех-компания ищет Архитектора данных.
Обязанности
— Разработка стратегии доменов данных.
— Проектирование шаблонов логических моделей данных для информационных и функциональных областей.
— Создание корпоративных моделей данных с учетом технических и архитектурных ограничений.
— Доработка и актуализация моделей новых сущностей и атрибутов.
— Разработка правил использования данных в информационных системах.
— Проектирование концептуальной архитектуры и архитектуры решений для контура управления данными.
— Разработка методологий и правил использования данных.
— Инициирование предложений по выделению логических слоев данных.
— Контроль целостности и актуальности моделей данных.
— Поддержка актуальной документации и глоссария.
Требования
— Опыт работы архитектором платформы данных от 3-х лет.
— Опыт в разработке логических моделей данных информационной системы.
— Опыт формирования процессов управления данными, контрактов на данные, а также разработки дата-продуктов.
— Понимание принципов формирования UML-диаграмм классов, потоков данных, последовательностей.
— Понимание и опыт формирования ER-диаграмм.
— Знание Sparx Enterprise Architect или аналогичных CASE-средств проектирования.
— Знание методик и подходов проектирования архитектуры хранилищ данных (on-premise и cloud-native).
— Знание принципов архитектурных паттернов работы ML-Ops конвейера.
— Практический опыт построения системы исполнения моделей машинного обучения.
— Знание принципов построения хранилищ данных (Inmon, Kimball, DataVault и т.п.).
— Глубокие знания в области технологий сбора, хранения и обработки данных (Datalake, DWH, Data Lakehouse, Data Streaming).
— Понимание принципов построения интеграционных процессов.
— Опыт работы с: Object Storage S3, Hadoop, Kubernetes, Spark, Impala, Iceberg, Kafka, MS SQL Server, PostgreSQL, Clickhouse.
— Глубокие знания SQL и Python.
Что компания предлагает
— Работу в офисе в Ташкенте или гибридный формат по договоренности.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Заботу о здоровье: фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
— Яркую корпоративную культуру и кафетерий бенефитов.
Контакт для связи: @spetrushkin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/70
Стек технологий: #S3 #Hadoop #Kubernetes #Spark #Impala #Iceberg #Kafka #MSSQLServer #PostgreSQL #Clickhouse #SQL #Python
Data инженер
Компания: Top Selection
Зарплата: 350-420K
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Senior
Мы в поиске Data инженера на проектную занятость. Долгосрочный проект с оформлением по ИП.
Обязанности
— Разработка и оптимизация сложных SQL-запросов
— Оркестрация ETL-пайплайнов с помощью Airflow
— Работа с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop)
— Разработка и поддержка решений на Apache Spark (Spark DataFrames, Spark SQL)
— Взаимодействие с инструментом dbt
— Работа с банковской предметной областью
Требования
— Опыт работы с SQL на уровне оптимизированных сложных запросов
— Понимание принципов функционирования традиционных СУБД и MPP-баз данных
— Опыт программирования на Python, Java или Scala
— Опыт оркестрации ETL-пайплайнов (Airflow)
— Умение работать с Hadoop (HDFS, YARN, HIVE, Sqoop)
— Владение Apache Spark (Spark DataFrames, Spark SQL)
— Опыт работы с банковской предметной областью
— Желательно: опыт с Kafka, Trino, Kubernetes, Helm, CI/CD
Что компания предлагает
— Долгосрочный проект
— Удаленный формат работы
— Конкурентную ставку
Контакт для связи: @aliiS_a
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/95
Стек технологий: #Python #Trino #dbt #Airflow #Spark #Hadoop #Hive #Postgres #Greenplum #Kubernetes #Gitlab
Компания: Top Selection
Зарплата: 350-420K
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Senior
Мы в поиске Data инженера на проектную занятость. Долгосрочный проект с оформлением по ИП.
Обязанности
— Разработка и оптимизация сложных SQL-запросов
— Оркестрация ETL-пайплайнов с помощью Airflow
— Работа с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop)
— Разработка и поддержка решений на Apache Spark (Spark DataFrames, Spark SQL)
— Взаимодействие с инструментом dbt
— Работа с банковской предметной областью
Требования
— Опыт работы с SQL на уровне оптимизированных сложных запросов
— Понимание принципов функционирования традиционных СУБД и MPP-баз данных
— Опыт программирования на Python, Java или Scala
— Опыт оркестрации ETL-пайплайнов (Airflow)
— Умение работать с Hadoop (HDFS, YARN, HIVE, Sqoop)
— Владение Apache Spark (Spark DataFrames, Spark SQL)
— Опыт работы с банковской предметной областью
— Желательно: опыт с Kafka, Trino, Kubernetes, Helm, CI/CD
Что компания предлагает
— Долгосрочный проект
— Удаленный формат работы
— Конкурентную ставку
Контакт для связи: @aliiS_a
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/95
Стек технологий: #Python #Trino #dbt #Airflow #Spark #Hadoop #Hive #Postgres #Greenplum #Kubernetes #Gitlab
DWH разработчик
Компания: ООО ИТМ (Магнит)
Зарплата: от 250 000 до 400 000 руб.
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Middle #Senior
Мы строим экосистему «Магнита», автоматизируем 45 распределительных центров, прогнозируем спрос, интегрируем передовые конфигурации ERP, а также создаем продукты для персонализации клиентского опыта. Наше Корпоративное Хранилище Данных одно из крупнейших в России с общим объемом данных более 1 ПБ и насчитывающее более 200 источников данных. Один из вызовов, который перед нами стоит в ближайшее время, - это большой проект миграции Хранилища в Облако.
Обязанности
— Писать SQL запросы
— Разрабатывать ETL-процессы по загрузке данных в Хранилище
— Развивать существующие и создавать новые интеграций с источниками
— Разрабатывать витрины данных
Требования
— Опыт профильной разработки хранилищ данных от 2х лет
— Опыт работы с реляционными БД (Teradata, Oracle, Impala, MSSQL, PostgreSQL, Greenplum)
— Опыт построения ETL-процессов на промышленных инструментах
— Опыт оптимизации SQL-запросов и ETL-процессов
— Знание методов моделирования данных звезда, снежинка, DataVault
Что компания предлагает
— Трудоустройство в аккредитованную ИТ-компанию
— Возможность работать удаленно/гибридно/в офисном режиме
— Прозрачные цели, четкие ожидания, здравый смысл в процессах
— Возможность профессиональной реализации через оплачиваемое внешнее обучение, корпоративные курсы
— Возможность миграции между проектами
— ДМС со стоматологией и льготными условиями для членов семьи
— Корпоративные скидки от компаний-партнеров
Контакт для связи: @stanislav_muhin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/101
Стек технологий: #Teradata #Informatica #Oracle #S3 #Impala #Airflow #Spark
Компания: ООО ИТМ (Магнит)
Зарплата: от 250 000 до 400 000 руб.
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Middle #Senior
Мы строим экосистему «Магнита», автоматизируем 45 распределительных центров, прогнозируем спрос, интегрируем передовые конфигурации ERP, а также создаем продукты для персонализации клиентского опыта. Наше Корпоративное Хранилище Данных одно из крупнейших в России с общим объемом данных более 1 ПБ и насчитывающее более 200 источников данных. Один из вызовов, который перед нами стоит в ближайшее время, - это большой проект миграции Хранилища в Облако.
Обязанности
— Писать SQL запросы
— Разрабатывать ETL-процессы по загрузке данных в Хранилище
— Развивать существующие и создавать новые интеграций с источниками
— Разрабатывать витрины данных
Требования
— Опыт профильной разработки хранилищ данных от 2х лет
— Опыт работы с реляционными БД (Teradata, Oracle, Impala, MSSQL, PostgreSQL, Greenplum)
— Опыт построения ETL-процессов на промышленных инструментах
— Опыт оптимизации SQL-запросов и ETL-процессов
— Знание методов моделирования данных звезда, снежинка, DataVault
Что компания предлагает
— Трудоустройство в аккредитованную ИТ-компанию
— Возможность работать удаленно/гибридно/в офисном режиме
— Прозрачные цели, четкие ожидания, здравый смысл в процессах
— Возможность профессиональной реализации через оплачиваемое внешнее обучение, корпоративные курсы
— Возможность миграции между проектами
— ДМС со стоматологией и льготными условиями для членов семьи
— Корпоративные скидки от компаний-партнеров
Контакт для связи: @stanislav_muhin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/101
Стек технологий: #Teradata #Informatica #Oracle #S3 #Impala #Airflow #Spark
❤1
Архитектор DWH
Компания: —
Зарплата: обсуждается индивидуально
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Москва #Питер #Сочи #Екатеринбург #Ростов-на-Дону
Позиция: #Senior
Обязанности
— Построение архитектуры DWH / Data Lake/ LakeHouse для высоконагруженных сервисов и больших хранилищ (500 тб+): ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT), etc
— Выбор форматов хранения: Parquet, ORC, Avro, JSON, таблицы MergeTree, Replicated, ReplacingMergeTree etc
— Участие в проектировании схем витрин под требования BI/DS/etc
— Проектирование слоёв: RAW → STG → ODS → DM → Marts
— Формирование архитектур ETL/ELT процессов с использованием Airflow / Spark
— Организация потоковой передачи данных из прод-сервисов (Kafka)
— Настройка data quality checks и алертинга
— Формирование CI/CD пайплайнов для данных (git + tests + deploy)
— Архитектурный надзор команд, валидация предлагаемых изменений, подготовка рекомендаций со стороны архитектуры
— Документирование решений и применяемых подходов
— Консультирование команд по стандартам, регламентам и архитектурным особенностям
— Участие в формировании, защите и реализации Data-стратегии функциональной области
Требования
— Опыт работы Lead Data Engineer /Архитектор DWH / DataOps от 3х лет
— Знание ClickHouse на уровне архитектора (MergeTree / Replacing / Collapsing)
— Понимание архитектуры DataLake / LakeHouse
— Опыт построения пайплайнов: batch, micro-batch, stream
— Опыт работы с Airflow или аналогами
— Знание SQL уровня проектирования витрин и оптимизации
— Опыт настройки каталога данных: DataHub, OpenMetadata
— Опыт управления метаданными, версионированием схем
— Опыт с облачной инфраструктурой
— Хорошие знания *nix
— Знание технологий: Docker, Kubernetes
Контакт для связи: @fr_rec
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/126
Стек технологий: #ClickHouse #S3 #DataLake #Kafka #Airflow #Spark #Parquet #ORC #Avro #JSON #Docker #Kubernetes #DataHub #OpenMetadata #Git
Компания: —
Зарплата: обсуждается индивидуально
Тип занятости: #Удаленка #Офис #Гибрид
Локация: #Москва #Питер #Сочи #Екатеринбург #Ростов-на-Дону
Позиция: #Senior
Обязанности
— Построение архитектуры DWH / Data Lake/ LakeHouse для высоконагруженных сервисов и больших хранилищ (500 тб+): ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT), etc
— Выбор форматов хранения: Parquet, ORC, Avro, JSON, таблицы MergeTree, Replicated, ReplacingMergeTree etc
— Участие в проектировании схем витрин под требования BI/DS/etc
— Проектирование слоёв: RAW → STG → ODS → DM → Marts
— Формирование архитектур ETL/ELT процессов с использованием Airflow / Spark
— Организация потоковой передачи данных из прод-сервисов (Kafka)
— Настройка data quality checks и алертинга
— Формирование CI/CD пайплайнов для данных (git + tests + deploy)
— Архитектурный надзор команд, валидация предлагаемых изменений, подготовка рекомендаций со стороны архитектуры
— Документирование решений и применяемых подходов
— Консультирование команд по стандартам, регламентам и архитектурным особенностям
— Участие в формировании, защите и реализации Data-стратегии функциональной области
Требования
— Опыт работы Lead Data Engineer /Архитектор DWH / DataOps от 3х лет
— Знание ClickHouse на уровне архитектора (MergeTree / Replacing / Collapsing)
— Понимание архитектуры DataLake / LakeHouse
— Опыт построения пайплайнов: batch, micro-batch, stream
— Опыт работы с Airflow или аналогами
— Знание SQL уровня проектирования витрин и оптимизации
— Опыт настройки каталога данных: DataHub, OpenMetadata
— Опыт управления метаданными, версионированием схем
— Опыт с облачной инфраструктурой
— Хорошие знания *nix
— Знание технологий: Docker, Kubernetes
Контакт для связи: @fr_rec
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.me/it_match_sql/126
Стек технологий: #ClickHouse #S3 #DataLake #Kafka #Airflow #Spark #Parquet #ORC #Avro #JSON #Docker #Kubernetes #DataHub #OpenMetadata #Git