#вакансия #vacancy #DataEngineer #MLOps #python #C++ #Senior #AWS #Kubernetes #k8s #PyTorch #Linux #ML #Spark #CICD #ApacheAirflow
Вакансия: MLOps/Data Engineer
Компания: Уже более 10 лет успешно занимаемся высокочастотной алгоритмической торговлей (HFT). Работаем в 7 странах на крупнейших фондовых и криптовалютных биржах от Чикаго до Токио, где наша деятельность охватывает торговлю акциями, облигациями, фьючерсами, опционами, валютой и всеми производными цифровых активов. В цифрах это: 20+ дата-центров, 2000+ торговых стратегий, которые применяем на 3000+ инструментах, где в среднем совершаем 150 млн сделок с оборотом сотни млрд $ в месяц.
Офисы компании расположены в городах Санкт-Петербург, Лимасол (Кипр) и Савона (Италия).
Уровень зп: 400 000 руб net;
Формат: Гибкий график, г. Санкт-Петербург
Занятость: полная занятость, 5/2;
📍Какие задачи предстоит решать:
• Разработка, развитие и поддержка пайплайна для регулярного обучения-валидации-деплоя моделей;
• Поддержка и развитие слоя выгрузки данных из самописного хранилища в Python для обучения моделей (С++ и Python);
• Настраивать необходимую под задачи инфраструктуру (AWS) и заниматься DevOps-поддержкой ML-разработки;
• Помощь в проведении исследовний — внедрение тулов для ML Experiment Tracking;
• Миграция существующих моделей из Python в С++ и оптимизация перфоманса моделей в проде (борьба за 10-ки мкс).
🖇Наши ожидания :
• Питонист уровня анаконда, который умеет в дата-инженерию и MLOps;
• Знание классических алгоритмов и структур данных;
• Опыт написания оберток Python к С++ или встраивания в С++;
• Опыт с PyTorch, AWS, Airflow, Kubernetes и Spark.
Будет преимуществом:
• Знание Linux на продвинутом уровне;
• Интерес к нашей кухне.
🧸Что готовы предложить:
• Отсутствие формализма и бюрократии, широкий спектр нетривиальных задач и возможностей для реализации собственных идей;
• Нет жестких сроков и чрезмерного прессинга сверху - мы не контролируем рабочий процесс, но создаем условия, чтобы каждый был заинтересован в результате;
• Набор бенефитов, поддержку релокации, оплачиваемые командировки в Европейский офис и не только;
• Современное оборудование и ПО в производстве, новое железо и все необходимое для продуктивной работы.
Отправляйте свое CV: @Madam_Sophie
Вакансия: MLOps/Data Engineer
Компания: Уже более 10 лет успешно занимаемся высокочастотной алгоритмической торговлей (HFT). Работаем в 7 странах на крупнейших фондовых и криптовалютных биржах от Чикаго до Токио, где наша деятельность охватывает торговлю акциями, облигациями, фьючерсами, опционами, валютой и всеми производными цифровых активов. В цифрах это: 20+ дата-центров, 2000+ торговых стратегий, которые применяем на 3000+ инструментах, где в среднем совершаем 150 млн сделок с оборотом сотни млрд $ в месяц.
Офисы компании расположены в городах Санкт-Петербург, Лимасол (Кипр) и Савона (Италия).
Уровень зп: 400 000 руб net;
Формат: Гибкий график, г. Санкт-Петербург
Занятость: полная занятость, 5/2;
📍Какие задачи предстоит решать:
• Разработка, развитие и поддержка пайплайна для регулярного обучения-валидации-деплоя моделей;
• Поддержка и развитие слоя выгрузки данных из самописного хранилища в Python для обучения моделей (С++ и Python);
• Настраивать необходимую под задачи инфраструктуру (AWS) и заниматься DevOps-поддержкой ML-разработки;
• Помощь в проведении исследовний — внедрение тулов для ML Experiment Tracking;
• Миграция существующих моделей из Python в С++ и оптимизация перфоманса моделей в проде (борьба за 10-ки мкс).
🖇Наши ожидания :
• Питонист уровня анаконда, который умеет в дата-инженерию и MLOps;
• Знание классических алгоритмов и структур данных;
• Опыт написания оберток Python к С++ или встраивания в С++;
• Опыт с PyTorch, AWS, Airflow, Kubernetes и Spark.
Будет преимуществом:
• Знание Linux на продвинутом уровне;
• Интерес к нашей кухне.
🧸Что готовы предложить:
• Отсутствие формализма и бюрократии, широкий спектр нетривиальных задач и возможностей для реализации собственных идей;
• Нет жестких сроков и чрезмерного прессинга сверху - мы не контролируем рабочий процесс, но создаем условия, чтобы каждый был заинтересован в результате;
• Набор бенефитов, поддержку релокации, оплачиваемые командировки в Европейский офис и не только;
• Современное оборудование и ПО в производстве, новое железо и все необходимое для продуктивной работы.
Отправляйте свое CV: @Madam_Sophie
#Moscow #Москва #DataEngineer #ДатаИнженер #DE #Python #Spark #Airflow #Офис
Всем привет!
Ищем Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре;
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @baiev_rodion93
Всем привет!
Ищем Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре;
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @baiev_rodion93
#вакансия #remote #удаленка #fulltime #backend #python #middle #senior #spark
Компания: Rubbles
Вакансия: Senior/Middle Data Scientist
Формат работы: remote из любой точки мира / Офис МСК
Занятость: полная
Зарплатная вилка: 250 000 - 400 000 rub
📌 О компании:
Компания Rubbles (SBDA Group) занимается анализом данных и машинным обучением. Решаем много задач из разных индустрий: системы таргетирования персональных коммуникаций в банках, ритейле и телекоме, системы предсказания спроса на товары в ритейле, поисковые системы по товарам в онлайн-магазинах, системы предсказания поломок оборудования для промышленности и многое другое.
Сейчас в поиске Дата Сайнтиста на проект для крупного ритейла.
📌 Основные задачи:
• Моделирование и обработка данных на Python для извлечения бизнес-ценности из данных;
• Глубокое обсуждение задач и методов их решения совместно с коллегами и бизнес-заказчиками;
• Построение воспроизводимых и переиспользуемых решений для работы с данными и моделями;
• Если будет хватать опыта — курирование или руководство командой.
📌 Основные требования:
• Опыт автоматизации пайплайнов работы с данными (Airflow и др.) и навыки devops (Docker, Kubernetes и др.).
• Опыт работы с Spark, Pyspark, Pandas, SQL, Hive и др.;
• Опыт использования ml библиотек на Python (бустинг, нейронные сети и др.) и понимание особенностей реализации различных аспектов алгоритмов в коде;
• Опыт работы на позиции, связанной с промышленной разработкой;
• Понимание методов машинного обучения с точки зрения математики и умение адаптировать их под конкретные задачи;
• Опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде;
📌 Наше предложение:
• Возможность работы удаленно, за пределами РФ;
• Участие в быстром росте компании, работающей на перспективном AI рынке;
• Поддержка кандидата в профессиональном и карьерном росте;
• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
• ДМС по всей России со стоматологией (РФ).
cv можно направить сюда @morevaliddevelopers
Компания: Rubbles
Вакансия: Senior/Middle Data Scientist
Формат работы: remote из любой точки мира / Офис МСК
Занятость: полная
Зарплатная вилка: 250 000 - 400 000 rub
📌 О компании:
Компания Rubbles (SBDA Group) занимается анализом данных и машинным обучением. Решаем много задач из разных индустрий: системы таргетирования персональных коммуникаций в банках, ритейле и телекоме, системы предсказания спроса на товары в ритейле, поисковые системы по товарам в онлайн-магазинах, системы предсказания поломок оборудования для промышленности и многое другое.
Сейчас в поиске Дата Сайнтиста на проект для крупного ритейла.
📌 Основные задачи:
• Моделирование и обработка данных на Python для извлечения бизнес-ценности из данных;
• Глубокое обсуждение задач и методов их решения совместно с коллегами и бизнес-заказчиками;
• Построение воспроизводимых и переиспользуемых решений для работы с данными и моделями;
• Если будет хватать опыта — курирование или руководство командой.
📌 Основные требования:
• Опыт автоматизации пайплайнов работы с данными (Airflow и др.) и навыки devops (Docker, Kubernetes и др.).
• Опыт работы с Spark, Pyspark, Pandas, SQL, Hive и др.;
• Опыт использования ml библиотек на Python (бустинг, нейронные сети и др.) и понимание особенностей реализации различных аспектов алгоритмов в коде;
• Опыт работы на позиции, связанной с промышленной разработкой;
• Понимание методов машинного обучения с точки зрения математики и умение адаптировать их под конкретные задачи;
• Опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде;
📌 Наше предложение:
• Возможность работы удаленно, за пределами РФ;
• Участие в быстром росте компании, работающей на перспективном AI рынке;
• Поддержка кандидата в профессиональном и карьерном росте;
• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
• ДМС по всей России со стоматологией (РФ).
cv можно направить сюда @morevaliddevelopers
#вакансия #data_engineer #senior #middle+ #Data #fulltime #hadoop #spark
Вакансия: Data Engineer
Компания: FESCO (транспортно-логистическая группа компаний)
Формат работы: удалённый
Вилка: от 200 до 280 тыс.руб на руки + квартальное премирование
Компания занимает лидирующее положение в сфере контейнерных перевозок через Дальний Восток РФ в/из стран Азии, путем 🚚 🚊 ⛴️ ✈️, а также является крупнейшим портовым контейнерным оператором.
📝 О проекте: мы преобразовываем работу с данными и выстраиваем с нуля корпоративную дата-платформу, которая объединит данные всего бизнеса, установит стандарты управления и позволит обеспечить доступ к data-driven решениям всем сотрудникам. При построении платформы мы нацеливаемся на применение гибкой архитектуры (Data lakehouse) и open-source технологий.
Технологический стек: MS SQL, MySQL, Java, Scala, REST, API, REST API, SOAP, Python, PostgreSQL, Hadoop, HDFS, S3, Spark, Airflow
Нам понадобится твоя помощь в:
✔️ Изучении текущей инфраструктуры и оптимизации сбора и обработки данных, поступающих из различных источников
✔️ Проектировании архитектуры хранилища
✔️ Реализации, организации и поддержке объектов на всех слоях хранилища
✔️ Разработке ETL-пайплайнов
✔️ Разработке и доработке интеграционных элементов, коннекторов, внутренних сервисов
✔️ Организации мониторинга работы хранилища и качества данных
✔️ Управлении доступом к данным, разработке и поддержке ролевой модели
✔️ Поддержке аналитиков в вопросах оптимизации и документирования со стороны платформы
Мы ожидаем от тебя:
✔️ Комплексное понимание архитектуры аналитических решений
✔️ Понимание работы различных СУБД (SQL/NoSQL, OLTP/OLAP) и современной IT-инфраструктуры (Infrastructure as code, контейнеризация, облачные решения)
✔️ Понимание особенностей распределенного хранения и обработки данных
✔️ Уверенное знание хотя бы одного языка программирования (Python, Java)
✔️ Углубленное знание SQL
✔️ Понимание подходов к организации процессов разработки (CI/CD, DevOps)
✔️ Понимание принципов data governance, основ управления качеством данных, подхода "данные, как продукт"
Мы предлагаем:
✔️ Возможность полностью удаленного формата работы;
✔️ Официальное оформление, социальный пакет;
✔️ Квартальную премию по результатам работы;
✔️ ДМС, включая стоматологию;
✔️ График работы фулл-тайм, 5/2
✔️ ЗП вилка 200-280 т.р. на руки (без учета премирования).
Подробнее в tg: @AChernykh_Recruiter или по почте achernykh@fesco.com
Вакансия: Data Engineer
Компания: FESCO (транспортно-логистическая группа компаний)
Формат работы: удалённый
Вилка: от 200 до 280 тыс.руб на руки + квартальное премирование
Компания занимает лидирующее положение в сфере контейнерных перевозок через Дальний Восток РФ в/из стран Азии, путем 🚚 🚊 ⛴️ ✈️, а также является крупнейшим портовым контейнерным оператором.
📝 О проекте: мы преобразовываем работу с данными и выстраиваем с нуля корпоративную дата-платформу, которая объединит данные всего бизнеса, установит стандарты управления и позволит обеспечить доступ к data-driven решениям всем сотрудникам. При построении платформы мы нацеливаемся на применение гибкой архитектуры (Data lakehouse) и open-source технологий.
Технологический стек: MS SQL, MySQL, Java, Scala, REST, API, REST API, SOAP, Python, PostgreSQL, Hadoop, HDFS, S3, Spark, Airflow
Нам понадобится твоя помощь в:
✔️ Изучении текущей инфраструктуры и оптимизации сбора и обработки данных, поступающих из различных источников
✔️ Проектировании архитектуры хранилища
✔️ Реализации, организации и поддержке объектов на всех слоях хранилища
✔️ Разработке ETL-пайплайнов
✔️ Разработке и доработке интеграционных элементов, коннекторов, внутренних сервисов
✔️ Организации мониторинга работы хранилища и качества данных
✔️ Управлении доступом к данным, разработке и поддержке ролевой модели
✔️ Поддержке аналитиков в вопросах оптимизации и документирования со стороны платформы
Мы ожидаем от тебя:
✔️ Комплексное понимание архитектуры аналитических решений
✔️ Понимание работы различных СУБД (SQL/NoSQL, OLTP/OLAP) и современной IT-инфраструктуры (Infrastructure as code, контейнеризация, облачные решения)
✔️ Понимание особенностей распределенного хранения и обработки данных
✔️ Уверенное знание хотя бы одного языка программирования (Python, Java)
✔️ Углубленное знание SQL
✔️ Понимание подходов к организации процессов разработки (CI/CD, DevOps)
✔️ Понимание принципов data governance, основ управления качеством данных, подхода "данные, как продукт"
Мы предлагаем:
✔️ Возможность полностью удаленного формата работы;
✔️ Официальное оформление, социальный пакет;
✔️ Квартальную премию по результатам работы;
✔️ ДМС, включая стоматологию;
✔️ График работы фулл-тайм, 5/2
✔️ ЗП вилка 200-280 т.р. на руки (без учета премирования).
Подробнее в tg: @AChernykh_Recruiter или по почте achernykh@fesco.com
#вакансия #job #vacancy #remote #fulltime #Spark #Python
Вакансия: Senior Data Engineer
Компания: constructor.io (~150 человек)
Финансы: примерно 90-110K$ в год + опционы
Локация: полная удаленка
О нас: Мы делаем headless платформу, которая предоставляет API для поиска, брауз и рекомендации для американского и европейского екоммерса. Среди крупных клиентов - Sephora, Petco, Victoria’s Secret, Target, GOAT, home24.
Команда: Data Platform Team — мы занимаемся платформой данных для аналитики и машинного обучения. Эффективно парсим сотни терабайт данных, серваем аналитику в продакшн, строим инфраструктуру для обработки данных, считаем деньги, делаем для коллег работу с данными и вычисления удобнее, деплоим слои хранения, которые используются ML командами в продакшене. Каждый день мы деплоим инфру в AWS через CDK, запускаем, разрабатываем и дебажим Spark пайплайны в Databricks, придумываем как лучше писать на Python в репозитории дата команд, пробуем новые технологии для улучшения платформы.
Что нужно:
Работать над качеством и моделированием данных. Придумывать и реализовывать таблицы и модели вычисления для эффективного доступа к данным, реализовывать пайплайны и модули стандартной библиотеки для работы с ними. Работать над системой мониторинга над качеством данных. Дизайнить и претворять в жизнь инфраструктурные компоненты, которые улучшают работу платформы и интегрируют платформу данных с машинным обучением и продакшн нагрузкой
Нужные скиллы: английский, Python, Spark, AWS или другое облако, SQL, Docker, проактивность, инициативность и любовь к своему делу.
Аплаиться сюда: https://apply.workable.com/constructor-1/j/E2F8197C91
Вопросы: @ivanychev
Вакансия: Senior Data Engineer
Компания: constructor.io (~150 человек)
Финансы: примерно 90-110K$ в год + опционы
Локация: полная удаленка
О нас: Мы делаем headless платформу, которая предоставляет API для поиска, брауз и рекомендации для американского и европейского екоммерса. Среди крупных клиентов - Sephora, Petco, Victoria’s Secret, Target, GOAT, home24.
Команда: Data Platform Team — мы занимаемся платформой данных для аналитики и машинного обучения. Эффективно парсим сотни терабайт данных, серваем аналитику в продакшн, строим инфраструктуру для обработки данных, считаем деньги, делаем для коллег работу с данными и вычисления удобнее, деплоим слои хранения, которые используются ML командами в продакшене. Каждый день мы деплоим инфру в AWS через CDK, запускаем, разрабатываем и дебажим Spark пайплайны в Databricks, придумываем как лучше писать на Python в репозитории дата команд, пробуем новые технологии для улучшения платформы.
Что нужно:
Работать над качеством и моделированием данных. Придумывать и реализовывать таблицы и модели вычисления для эффективного доступа к данным, реализовывать пайплайны и модули стандартной библиотеки для работы с ними. Работать над системой мониторинга над качеством данных. Дизайнить и претворять в жизнь инфраструктурные компоненты, которые улучшают работу платформы и интегрируют платформу данных с машинным обучением и продакшн нагрузкой
Нужные скиллы: английский, Python, Spark, AWS или другое облако, SQL, Docker, проактивность, инициативность и любовь к своему делу.
Аплаиться сюда: https://apply.workable.com/constructor-1/j/E2F8197C91
Вопросы: @ivanychev
#аналитик #аналитик_данных #вакансия #офис #SQL #Python #Data #Spark
Компания: Bell Integrator (ГК Softline)
Вакансия: Аналитик данных
Проект для крупного российского банка.
Формат работы: Офис в центре (1 минута от метро)
Локация: Москва
Занятость: полная
Контакты: @s_pero
Чем нужно заниматься:
✔️ Обратный инжиниринг ранее разработанных дата-продуктов и сервисов;
✔️ Гэп-анализ, работа с запросами на изменение, постановка задач на разработку;
✔️ Проектирование логической и физической моделей данных аналитического слоя ФОС;
✔️ Документирование алгоритмов, атрибутного состава сервисов и витрин данных;
✔️ Формирование предложений по реинжинирингу бизнес-процессов на основе понимания атрибутного состава и функционала АС/сервиса/витрин данных;
✔️ Разработка процедур контроля качества данных;
✔️ Подготовка прототипов витрин, создание алгоритмов загрузки данных в витрины;
✔️ Написание функций и хранимых процедур для преобразования и агрегации данных;
Что мы ожидаем:
✔️ Опыт работы на позиции системного аналитика от 2х лет;
✔️ Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации);
✔️ Умение разобраться в бизнес-требованиях, не всегда структурированных;
✔️ Умение разобраться в чужом коде, связи таблиц в СУБД;
✔️ Умение организовать и провести глубинное интервью;
✔️ Знание процессов жизненного цикла разработки ПО, понимание принципов Agile/Kanban.
Будет плюсом:
✔️ Знание стандартных структур данных python, понимание процессов ETL, ELT;
✔️ Знание Spark, PySpark, Hadoop, использование UDF, опыт работы с noSql базами.
Жду ваши отклики, пишите на @s_pero
Компания: Bell Integrator (ГК Softline)
Вакансия: Аналитик данных
Проект для крупного российского банка.
Формат работы: Офис в центре (1 минута от метро)
Локация: Москва
Занятость: полная
Контакты: @s_pero
Чем нужно заниматься:
✔️ Обратный инжиниринг ранее разработанных дата-продуктов и сервисов;
✔️ Гэп-анализ, работа с запросами на изменение, постановка задач на разработку;
✔️ Проектирование логической и физической моделей данных аналитического слоя ФОС;
✔️ Документирование алгоритмов, атрибутного состава сервисов и витрин данных;
✔️ Формирование предложений по реинжинирингу бизнес-процессов на основе понимания атрибутного состава и функционала АС/сервиса/витрин данных;
✔️ Разработка процедур контроля качества данных;
✔️ Подготовка прототипов витрин, создание алгоритмов загрузки данных в витрины;
✔️ Написание функций и хранимых процедур для преобразования и агрегации данных;
Что мы ожидаем:
✔️ Опыт работы на позиции системного аналитика от 2х лет;
✔️ Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации);
✔️ Умение разобраться в бизнес-требованиях, не всегда структурированных;
✔️ Умение разобраться в чужом коде, связи таблиц в СУБД;
✔️ Умение организовать и провести глубинное интервью;
✔️ Знание процессов жизненного цикла разработки ПО, понимание принципов Agile/Kanban.
Будет плюсом:
✔️ Знание стандартных структур данных python, понимание процессов ETL, ELT;
✔️ Знание Spark, PySpark, Hadoop, использование UDF, опыт работы с noSql базами.
Жду ваши отклики, пишите на @s_pero
#Вакансии, #Hadoop, #Python, #Spark, #Airflow #BigData
Компания: ГК Иннотех + совместительство в ПАО ВТБ
Позиции: 1. Разработчик BigData, 2. Системный аналитик (Витрины данных)
Формат работы: удаленный на территории РФ, по желанию выход в офисы в Москве, СПб и др. городах РФ
В кластер витрин требуются разработчики и аналитики. Работа с витринами Розничного кредитного конвейера ВТБ. Миграции на импортозамещенное хранилище, Arenadata Hadoop, инструменты devops.
Позиция: Разработчик BigData
Специализация: Hadoop, ETL, Python/Spark /контейнеры
Обязанности: Выполнение функциональных обязанностей в рамках реализации проектов ВТБ:
- реализация интеграций в гетерогенной среде с помощью Python/Spark
- ETL
- Работа с Airflow, написание кастомных операторов, формирование дагов
- Оптимизация дагов
- Оптимизация существующего кода
- Базовые знания работы Kerberos
- Разработка и поддержка платформы исполнения моделей.
Требования Опыт реализации интеграции в гетерогенных средах
- Понимание и опыт работы со средствами экосистемы технологий Hadoop;
- Знание Python (Spark)
- Знание Apache Airflow
- Знание Apache Kafka
- Знание Docker
- Опыт решения ETL/data engineering задач
Приветствуется - Приветствуется опыт работы с REST сервисами
- Разработка микросервисов для внутренних инфраструктурных задач;
- Опыт работы с Grafana, разработка мониторинга на Grafana;
- Опыт построения Devops-инфраструктуры:
- знание и опыт администрирования Linux-систем;
- опыт работы с Openshift\Kubernetes;
- понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО;
- опыт построения фреймворков с нуля
Позиция: Системный аналитик (Витрины данных)
Специализация Системный анализ
Обязанности - Сбор, анализ, формализация требований
- Подготовка технической документации
- Оценка трудоемкости работ
- Исследование источников данных
- Составление и доработка маппингов
- Построение прототипов витрин согласно бизнес-требованиям
- Проверка качества данных в прототипах
- Постановка задач разработчикам
- Участие в тестировании результатов
Требования - Опыт работы с хранилищами данных (DWH), витринами от одного года – факты, снежинки, звезды и т.д..
- Отличное знание SQL, большим плюсом будет опыт работы с Hadoop (Impala/Hive), Python
- Опыт разработки технической документации.
- Умение структурировать и описывать требования по их автоматизации,
- Умение профилировать источники данных, выявлять закономерности
- Участие в тестировании и в технической приемке разработанного функционала
Обсудить подробнее: @IvanZagrebin
Компания: ГК Иннотех + совместительство в ПАО ВТБ
Позиции: 1. Разработчик BigData, 2. Системный аналитик (Витрины данных)
Формат работы: удаленный на территории РФ, по желанию выход в офисы в Москве, СПб и др. городах РФ
В кластер витрин требуются разработчики и аналитики. Работа с витринами Розничного кредитного конвейера ВТБ. Миграции на импортозамещенное хранилище, Arenadata Hadoop, инструменты devops.
Позиция: Разработчик BigData
Специализация: Hadoop, ETL, Python/Spark /контейнеры
Обязанности: Выполнение функциональных обязанностей в рамках реализации проектов ВТБ:
- реализация интеграций в гетерогенной среде с помощью Python/Spark
- ETL
- Работа с Airflow, написание кастомных операторов, формирование дагов
- Оптимизация дагов
- Оптимизация существующего кода
- Базовые знания работы Kerberos
- Разработка и поддержка платформы исполнения моделей.
Требования Опыт реализации интеграции в гетерогенных средах
- Понимание и опыт работы со средствами экосистемы технологий Hadoop;
- Знание Python (Spark)
- Знание Apache Airflow
- Знание Apache Kafka
- Знание Docker
- Опыт решения ETL/data engineering задач
Приветствуется - Приветствуется опыт работы с REST сервисами
- Разработка микросервисов для внутренних инфраструктурных задач;
- Опыт работы с Grafana, разработка мониторинга на Grafana;
- Опыт построения Devops-инфраструктуры:
- знание и опыт администрирования Linux-систем;
- опыт работы с Openshift\Kubernetes;
- понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО;
- опыт построения фреймворков с нуля
Позиция: Системный аналитик (Витрины данных)
Специализация Системный анализ
Обязанности - Сбор, анализ, формализация требований
- Подготовка технической документации
- Оценка трудоемкости работ
- Исследование источников данных
- Составление и доработка маппингов
- Построение прототипов витрин согласно бизнес-требованиям
- Проверка качества данных в прототипах
- Постановка задач разработчикам
- Участие в тестировании результатов
Требования - Опыт работы с хранилищами данных (DWH), витринами от одного года – факты, снежинки, звезды и т.д..
- Отличное знание SQL, большим плюсом будет опыт работы с Hadoop (Impala/Hive), Python
- Опыт разработки технической документации.
- Умение структурировать и описывать требования по их автоматизации,
- Умение профилировать источники данных, выявлять закономерности
- Участие в тестировании и в технической приемке разработанного функционала
Обсудить подробнее: @IvanZagrebin