#вакансия #удаленка #Москва #Python3 #NLP #SQL #Django #Apache #Kafka
Формат работы: офис или удаленка
Москва/Кутузовский проспект
Занятость: полная
З/П: от 200к до 250к на руки.
Контакты: @baranov1980, +79037000555
Компания: системный интегратор, «белая» з/п, соц.пакет, уникальный проект и интересные задачи, сильный менеджмент и твой реальный рост как разработчика.
Python разработчик. Опыт: 3–5 лет Полная занятость, полный день
Задачи:
• Решение прикладных и продуктовых задач NLP на наших фреймворках (smart_app_ide, nlpf)
• Реализация продуктовой логики смартаппа
• Взаимодействие с другими сервисами посредством различных API
• Взаимодействие с заказчиками, аналитиками, специалистами Data Science
• Поддержка собственного микросервиса, участие в релизном процессе
Наши ожидания:
• Владение Python3 на уверенном уровне, достаточном для промышленного программирования
• Знание SQL (на уровне составления достаточно сложных запросов и базовой оптимизации запросов)
• Хорошие знания алгоритмов
• Умение писать тесты, знакомство с подходом TDD
• Самостоятельность, умение анализировать и структурировать требования, декомпозировать задачи
• Базовые математические знания: основы комбинаторики, системы счисления
• Понимание многопоточности, способов ей управлять и проблем, с этим связанных (синхронизации, локи, race condition и т.д.)
• Знание основных алгоритмов и структур данных, понимание асимптотической сложности
• Желание разбираться в продукте в целом, а не только в своем коде
• Умение конструктивно взаимодействовать в горизонтальных командах, состоящих из разработчиков, менеджеров, аналитиков, дизайнеров
• Готовность разрабатывать по методологиям Agile
Будет плюсом:
• Знание технологий NLP, основ Data Science
• Опыт работы с Django, реляционными БД (Postgres)
• Знание Javascript
• Знание Git, Docker
• Опыт работы с Apache Kafka
• Знание инструментов DevOps
Опыт работы в крупных компаниях
Формат работы: офис или удаленка
Москва/Кутузовский проспект
Занятость: полная
З/П: от 200к до 250к на руки.
Контакты: @baranov1980, +79037000555
Компания: системный интегратор, «белая» з/п, соц.пакет, уникальный проект и интересные задачи, сильный менеджмент и твой реальный рост как разработчика.
Python разработчик. Опыт: 3–5 лет Полная занятость, полный день
Задачи:
• Решение прикладных и продуктовых задач NLP на наших фреймворках (smart_app_ide, nlpf)
• Реализация продуктовой логики смартаппа
• Взаимодействие с другими сервисами посредством различных API
• Взаимодействие с заказчиками, аналитиками, специалистами Data Science
• Поддержка собственного микросервиса, участие в релизном процессе
Наши ожидания:
• Владение Python3 на уверенном уровне, достаточном для промышленного программирования
• Знание SQL (на уровне составления достаточно сложных запросов и базовой оптимизации запросов)
• Хорошие знания алгоритмов
• Умение писать тесты, знакомство с подходом TDD
• Самостоятельность, умение анализировать и структурировать требования, декомпозировать задачи
• Базовые математические знания: основы комбинаторики, системы счисления
• Понимание многопоточности, способов ей управлять и проблем, с этим связанных (синхронизации, локи, race condition и т.д.)
• Знание основных алгоритмов и структур данных, понимание асимптотической сложности
• Желание разбираться в продукте в целом, а не только в своем коде
• Умение конструктивно взаимодействовать в горизонтальных командах, состоящих из разработчиков, менеджеров, аналитиков, дизайнеров
• Готовность разрабатывать по методологиям Agile
Будет плюсом:
• Знание технологий NLP, основ Data Science
• Опыт работы с Django, реляционными БД (Postgres)
• Знание Javascript
• Знание Git, Docker
• Опыт работы с Apache Kafka
• Знание инструментов DevOps
Опыт работы в крупных компаниях
#bigdata #remote #java #kafka #hadoop
Город: Санкт-Петербург
Формат работы: офис/удаленка
Занятость: полная
Зп вилка: 120-250 к на руки
Мы – Cardsmobile, петербургская IT-компания, разработчик мобильного приложения «Кошелёк».
Мы развиваем мобильное приложение-агрегатор скидочных карт и купонов розничных магазинов. Сейчас у нас открыта вакансия Big Data Developer в только что стартовавший пилотный проект по внедрению потоковой обработки данных в рамках микросервисного архитектурного подхода. За основу взят Apache-стек, язык программирования Java.
Задачи:
• создавать потоки данных и организовывать их в конвеер (Kafka/Beam/Druid);
• создавать, отлаживать, настраивать и тестировать связи между компонентами;
• общаться с коллегами разработчиками, аналитиками, админами и менеджерами;
• работать самостоятельно, уметь выделять для себя задачи и расставлять приоритеты.
Ты сможешь:
• изучить и опробовать на практике передовые инструменты и подходы в работе с BigData;
• создать сложный и крайне необходимый нам продукт;
• вырасти до технического и идейного лидера проекта.
Со своей стороны предлагаем:
• участие в развитии полезного и популярного приложения, возможность сделать мир лучше;
• оформление по ТК РФ с первого дня работы, конкурентную белую зарплату, ДМС;
• оплату мобильной связи, частичную компенсацию оплаты питания;
• гибкий график работы, возможна удалённая работа;
• оплату профильных курсов и конференций;
• спорт четыре раза в неделю в офисе — йога и силовые тренировки;
• командные мероприятия и приятные коллеги;
• комфортный офис (5 минут от станции метро Чкаловская).
Более подробной информацией готова поделиться в ЛС @nshishova
Город: Санкт-Петербург
Формат работы: офис/удаленка
Занятость: полная
Зп вилка: 120-250 к на руки
Мы – Cardsmobile, петербургская IT-компания, разработчик мобильного приложения «Кошелёк».
Мы развиваем мобильное приложение-агрегатор скидочных карт и купонов розничных магазинов. Сейчас у нас открыта вакансия Big Data Developer в только что стартовавший пилотный проект по внедрению потоковой обработки данных в рамках микросервисного архитектурного подхода. За основу взят Apache-стек, язык программирования Java.
Задачи:
• создавать потоки данных и организовывать их в конвеер (Kafka/Beam/Druid);
• создавать, отлаживать, настраивать и тестировать связи между компонентами;
• общаться с коллегами разработчиками, аналитиками, админами и менеджерами;
• работать самостоятельно, уметь выделять для себя задачи и расставлять приоритеты.
Ты сможешь:
• изучить и опробовать на практике передовые инструменты и подходы в работе с BigData;
• создать сложный и крайне необходимый нам продукт;
• вырасти до технического и идейного лидера проекта.
Со своей стороны предлагаем:
• участие в развитии полезного и популярного приложения, возможность сделать мир лучше;
• оформление по ТК РФ с первого дня работы, конкурентную белую зарплату, ДМС;
• оплату мобильной связи, частичную компенсацию оплаты питания;
• гибкий график работы, возможна удалённая работа;
• оплату профильных курсов и конференций;
• спорт четыре раза в неделю в офисе — йога и силовые тренировки;
• командные мероприятия и приятные коллеги;
• комфортный офис (5 минут от станции метро Чкаловская).
Более подробной информацией готова поделиться в ЛС @nshishova
#Вакансия #Админитратор #Hadoop #Kafka #middle
Компания: #билайн
Локация: #москва #новосибирск #спб #воронеж #краснодар #рнд
Привет! Мы разыскиваем Админитратора Hadoop/Kafka
в любом городе РФ.
Возможна 100% удаленка.
Задачи:
Администрирование Hadoop/Kafka/Elasticsearch;
Развитие смежных технологий.
Ждем от тебя:
Linux administrator, высокого уровня. OS: Centos 6,7,8;
Знание одного из: Hadoop с упором на Spark, YARN / Kafka / Elasticsearch.
З/п: 170 - 260к
Наши проекты:
ELK для калькулятора/билинга потребления ресурсов кластера BigData;
ELK для проектных команд.
Плюс в перспективе развитие как DevOps/Administrator Bigdata и компонентов, таких как Hadoop, Hbase, Hive, ClickHouse, Casandra и т.д. стек очень большой и уникальный для каждого проекта.
Вопросы и резюме: YKononenko@icloud.com @Ykonon_12
Компания: #билайн
Локация: #москва #новосибирск #спб #воронеж #краснодар #рнд
Привет! Мы разыскиваем Админитратора Hadoop/Kafka
в любом городе РФ.
Возможна 100% удаленка.
Задачи:
Администрирование Hadoop/Kafka/Elasticsearch;
Развитие смежных технологий.
Ждем от тебя:
Linux administrator, высокого уровня. OS: Centos 6,7,8;
Знание одного из: Hadoop с упором на Spark, YARN / Kafka / Elasticsearch.
З/п: 170 - 260к
Наши проекты:
ELK для калькулятора/билинга потребления ресурсов кластера BigData;
ELK для проектных команд.
Плюс в перспективе развитие как DevOps/Administrator Bigdata и компонентов, таких как Hadoop, Hbase, Hive, ClickHouse, Casandra и т.д. стек очень большой и уникальный для каждого проекта.
Вопросы и резюме: YKononenko@icloud.com @Ykonon_12
#teamlead #Москва #DataPlatform #Hadoop #Spark #Kafka
Team Lead Data Platform в Актион-Технологии
Расположение: Москва
Формат: full-time, работа в офисе + удалёнка
Зарплатная вилка: 250-350 тысяч на руки
Кто мы?
Мы большой медиахолдинг с более, чем 25-летней историей, миллиардной выручкой, и гигантскими планами по развитию компании!
Мы разрабатываем полезные сервисы и продукты для 15 профессиональных аудиторий.
В 2020 году мы вошли в ТОП-10 EdTech компаний по мнению РБК.
И для этого нам не хватает только тебя - человека, которому полностью сможем доверить направление Data Platform
Что уже успели поделать:
- Мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных
- Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих
И на этом все не заканчивается, но для вводной о том, что мы не совсем дилетанты в работе с данными, пожалуй, достаточно)
И у нас еще много планов - будем развивать и масштабировать инфраструктуру, запускать потоковое получение данных и увеличивать количество подключенных источников и доверие к данным
Что планируем сделать
- Сбор данных real time - строим click-stream платформу
- Третий уровень хранилища, описав в нем все сущности, для работы аналитиков
- Структурировать хранилище, все сущности должны наименоваться по одному стандарту и быть понятными пользователям, удобными для навигации
- Доработать систему сверок, начать проливать данные, методически доведя расхождения до нуля
А еще у нас есть задачи на стыке DWH и ML
- подготовка данных для обучения разнообразных моделей (у нас тут громадьё планов)
- написание веб-сервисов для интеграции данных, полученных от ML с продуктами холдинга
Что для нас важно в тебе
- Базовые знания SQL
- Любой язык программирования (но лучше python))
- Опыт работы с системами контроля версий (Git)
- Умение организовать процесс загрузки, обработки и доставки обработанных данных конечным потребителям
- Высокий уровень самообучения
- Умение поддержать и дотюнить существующий процесс
Не обязательно, но будет очень здорово, если
- Знаешь Open Source фреймворки Big Data: (Hadoop, MapReduce, Spark & Spark Streaming, Hive, Kafka)
- Знаком с Apache Nifi и Apache Airflow
Что есть у нас и чем готовы делиться
- Белая, своевременная и конкурентоспособная заработная плата
- ДМС (включая стоматологию)
- Удобное место для работы и современное “железо” (хочешь с яблоком, хочешь без)
- Гибкий график. Начало работы с 8 до 11
- У нас не нужно приходить 5 дней в неделю в офис. Мы внутри команд сами определяем, когда туда приехать
- Профессиональный рост (у нас есть внутреннее обучение, возможность посещать конференции и митапы, мы спонсируем))
- Корпоративная библиотека (огромное количество профессиональной литературы - бери, читай, наслаждайся)
- Мы понимаем, что переезд - штука непростая, поэтому мы готовы всячески помочь уже сейчас) Мы оплатим билеты для тебя и твоего багажа, услуги риэлтора для поиска жилья и первый месяц арендной платы. Мы же команда)
Звучит здорово? Откликается?)
Напиши нам обязательно, давай обсудим)
Для этого нам всего-то нужно твое CV, а начать коммуникацию можем тут, Telegram - @brauerone
p.s. если ты еще не Team Lead, но уже готов и очень хочешь сделать следующий шаг, или ты из разработки, но очень хотел бы немного сменить направление - абсолютно точно пиши нам, мы готовы научить!)
Team Lead Data Platform в Актион-Технологии
Расположение: Москва
Формат: full-time, работа в офисе + удалёнка
Зарплатная вилка: 250-350 тысяч на руки
Кто мы?
Мы большой медиахолдинг с более, чем 25-летней историей, миллиардной выручкой, и гигантскими планами по развитию компании!
Мы разрабатываем полезные сервисы и продукты для 15 профессиональных аудиторий.
В 2020 году мы вошли в ТОП-10 EdTech компаний по мнению РБК.
И для этого нам не хватает только тебя - человека, которому полностью сможем доверить направление Data Platform
Что уже успели поделать:
- Мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных
- Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих
И на этом все не заканчивается, но для вводной о том, что мы не совсем дилетанты в работе с данными, пожалуй, достаточно)
И у нас еще много планов - будем развивать и масштабировать инфраструктуру, запускать потоковое получение данных и увеличивать количество подключенных источников и доверие к данным
Что планируем сделать
- Сбор данных real time - строим click-stream платформу
- Третий уровень хранилища, описав в нем все сущности, для работы аналитиков
- Структурировать хранилище, все сущности должны наименоваться по одному стандарту и быть понятными пользователям, удобными для навигации
- Доработать систему сверок, начать проливать данные, методически доведя расхождения до нуля
А еще у нас есть задачи на стыке DWH и ML
- подготовка данных для обучения разнообразных моделей (у нас тут громадьё планов)
- написание веб-сервисов для интеграции данных, полученных от ML с продуктами холдинга
Что для нас важно в тебе
- Базовые знания SQL
- Любой язык программирования (но лучше python))
- Опыт работы с системами контроля версий (Git)
- Умение организовать процесс загрузки, обработки и доставки обработанных данных конечным потребителям
- Высокий уровень самообучения
- Умение поддержать и дотюнить существующий процесс
Не обязательно, но будет очень здорово, если
- Знаешь Open Source фреймворки Big Data: (Hadoop, MapReduce, Spark & Spark Streaming, Hive, Kafka)
- Знаком с Apache Nifi и Apache Airflow
Что есть у нас и чем готовы делиться
- Белая, своевременная и конкурентоспособная заработная плата
- ДМС (включая стоматологию)
- Удобное место для работы и современное “железо” (хочешь с яблоком, хочешь без)
- Гибкий график. Начало работы с 8 до 11
- У нас не нужно приходить 5 дней в неделю в офис. Мы внутри команд сами определяем, когда туда приехать
- Профессиональный рост (у нас есть внутреннее обучение, возможность посещать конференции и митапы, мы спонсируем))
- Корпоративная библиотека (огромное количество профессиональной литературы - бери, читай, наслаждайся)
- Мы понимаем, что переезд - штука непростая, поэтому мы готовы всячески помочь уже сейчас) Мы оплатим билеты для тебя и твоего багажа, услуги риэлтора для поиска жилья и первый месяц арендной платы. Мы же команда)
Звучит здорово? Откликается?)
Напиши нам обязательно, давай обсудим)
Для этого нам всего-то нужно твое CV, а начать коммуникацию можем тут, Telegram - @brauerone
p.s. если ты еще не Team Lead, но уже готов и очень хочешь сделать следующий шаг, или ты из разработки, но очень хотел бы немного сменить направление - абсолютно точно пиши нам, мы готовы научить!)
#вакансия #NLP #Hadoop #Spark #Machinelearning #ML #СанктПетербург #СПБ #PyTorch #Kafka
Вакансия: Machine Learning Engineer
Локация: Санкт-Петербург
Компания: Mail.ru group
Юла
Высоконагруженный сервис объявлений, который обслуживается сотнями серверов в нескольких дата-центрах и ежедневно помогает миллионам пользователей.
Под капотом у Юлы современный стек технологий. Основа бэкенда и API реализована на PHP и Go, для управления данными и их хранения используется MongoDB, Tarantool и Redis, поисковая система работает на базе Elasticsearch. В качестве диспетчера сообщений настроен Apache Kafka, данные хранятся в Hadoop и Clickhouse.
Занятость: полная (удаленка или комбинированный формат)
Зарплатная вилка: высокая (зависит от уровня кандидата)
Для связи: tg: @Dreifys или почта d.fomichev@corp.mail.ru
Наш стек:
✅Языки: Python, Java, Scala;
✅Технологии которые часто используем в работе: PyTorch, DVC, MlFlow, Hadoop,Spark, Airflow, Kafka.
Примеры того, чем мы занимаемся:
☑️Модерацией в Юле;
☑️Детекцией ботов, мошенников, используя графовые, поведенческие данные и контентные признаки;
☑️Автоматизация восстановления профиля на основе распознавания лиц и жестов;
☑️Поиск дубликатов объявлений;
☑️ML инфраструктурой и процессами.
Требования:
🔸Уверенные навыки в программирования на Python и хотя бы одном статически типизированном языке;
🔸Хорошие знания базового ML;
🔸Представление о современном состоянии NLP, умение использовать базовые вещи(word2vec, cnn, эмбеддинги, faiss);
🔸Работа с современным BigData стеком (Hadoop/Spark/Airflow).
Будет плюсом:
🔺Опыт оптимизации DL решений на инференс;
🔺Уметь прочитать, а затем воспроизвести в коде статью;
🔺Опыт промышленной разработки на Java/Scala/Python;
🔺Опыт разработки промышленных AI сервисов;
🔺Опыт применения DevOps практик в контексте разработки ML моделей;
🔺Опыт применения ML в cybersecurity и общее представление об этой сфере.
Для связи:
tg: @dreifys или почта d.fomichev@corp.mail.ru
Вакансия: Machine Learning Engineer
Локация: Санкт-Петербург
Компания: Mail.ru group
Юла
Высоконагруженный сервис объявлений, который обслуживается сотнями серверов в нескольких дата-центрах и ежедневно помогает миллионам пользователей.
Под капотом у Юлы современный стек технологий. Основа бэкенда и API реализована на PHP и Go, для управления данными и их хранения используется MongoDB, Tarantool и Redis, поисковая система работает на базе Elasticsearch. В качестве диспетчера сообщений настроен Apache Kafka, данные хранятся в Hadoop и Clickhouse.
Занятость: полная (удаленка или комбинированный формат)
Зарплатная вилка: высокая (зависит от уровня кандидата)
Для связи: tg: @Dreifys или почта d.fomichev@corp.mail.ru
Наш стек:
✅Языки: Python, Java, Scala;
✅Технологии которые часто используем в работе: PyTorch, DVC, MlFlow, Hadoop,Spark, Airflow, Kafka.
Примеры того, чем мы занимаемся:
☑️Модерацией в Юле;
☑️Детекцией ботов, мошенников, используя графовые, поведенческие данные и контентные признаки;
☑️Автоматизация восстановления профиля на основе распознавания лиц и жестов;
☑️Поиск дубликатов объявлений;
☑️ML инфраструктурой и процессами.
Требования:
🔸Уверенные навыки в программирования на Python и хотя бы одном статически типизированном языке;
🔸Хорошие знания базового ML;
🔸Представление о современном состоянии NLP, умение использовать базовые вещи(word2vec, cnn, эмбеддинги, faiss);
🔸Работа с современным BigData стеком (Hadoop/Spark/Airflow).
Будет плюсом:
🔺Опыт оптимизации DL решений на инференс;
🔺Уметь прочитать, а затем воспроизвести в коде статью;
🔺Опыт промышленной разработки на Java/Scala/Python;
🔺Опыт разработки промышленных AI сервисов;
🔺Опыт применения DevOps практик в контексте разработки ML моделей;
🔺Опыт применения ML в cybersecurity и общее представление об этой сфере.
Для связи:
tg: @dreifys или почта d.fomichev@corp.mail.ru
#вакансия #удаленно #dataengineer #de #spark #databricks #kafka #
Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день)
Компания: Dodo Engineering
Локация: Remote
Должность: Data Engineer (middle+/senior/lead)
Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа).
Вилка: 350 000 - 500 000 р
Формат: ГПХ\ИП
О команде
Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев.
Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс.
Наш стек технологий:
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python.
Чем предстоит заниматься:
- Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом
- Оптимизация процессов в databricks для снижения затрат на compute и storage
- Развертывание и обслуживание data сервисов
Требования:
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming)
- Желателен опыт оптимизации аналитического кода
Отправить резюме и задать вопросы можно тут: @AKoronnova
👉 Не забудьте уточнить, что вы из @datasciencejobs
Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день)
Компания: Dodo Engineering
Локация: Remote
Должность: Data Engineer (middle+/senior/lead)
Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа).
Вилка: 350 000 - 500 000 р
Формат: ГПХ\ИП
О команде
Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев.
Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс.
Наш стек технологий:
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python.
Чем предстоит заниматься:
- Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом
- Оптимизация процессов в databricks для снижения затрат на compute и storage
- Развертывание и обслуживание data сервисов
Требования:
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming)
- Желателен опыт оптимизации аналитического кода
Отправить резюме и задать вопросы можно тут: @AKoronnova
👉 Не забудьте уточнить, что вы из @datasciencejobs
#вакансия
Data Engineer в VK Adtech, Москва
Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.
Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.
Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.
Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.
✍️ Отправить CV и по всем вопросам: https://t.me/olkony
#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior
Data Engineer в VK Adtech, Москва
Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.
Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.
Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.
Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.
✍️ Отправить CV и по всем вопросам: https://t.me/olkony
#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior
#вакансия #de #fintech #remote
Привет! Мы в поиске Data Engineer (middle+)
Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset
Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.
📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH
📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения
📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)
📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных
По всем вопросам обращаться: @odu_v_an
Привет! Мы в поиске Data Engineer (middle+)
Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset
Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.
📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH
📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения
📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)
📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных
По всем вопросам обращаться: @odu_v_an