#работа #вакансия #job #vacancy #fulltime #удаленка #офис #remote #SQL #DE #Python #PySpark #Airflow #Data
Data engineer в Aston на проект платформы, которая распределяет работу между сотнями исполнителей.
Требования:
-Опыт работы в роли Data Engineer от 2\3-х лет;
-Хорошее знание Python и SQL
-Практический опыт решения алгоритмических задач
Будет плюсом:
-Знание PySpark
-Опыт работы с Databricks из Airflow
-Опыт работы с Airflow
-Знание Bash, Docker
-Высшее математическое или физико-математическое образование
Условия:
- работа удаленно или в офисе, фултайм
- система менторства и адаптации (куратор, четкий план роста, своя школа архитекторов,
а также корпоративный обучающий портал для любого стека вашей специализации)
- возможность выбора/смены проекта
- медицинское страхование (+стоматология)
- возможность доп заработка через участие в активностях компании
- компенсация спорта и англ языка
- помощь в отсрочке (входим в РФ реестр ИТ-компаний)
- ЗП на руки 150-240к ₽ и более
Контакт для связи Ян @job_accelerator
Data engineer в Aston на проект платформы, которая распределяет работу между сотнями исполнителей.
Требования:
-Опыт работы в роли Data Engineer от 2\3-х лет;
-Хорошее знание Python и SQL
-Практический опыт решения алгоритмических задач
Будет плюсом:
-Знание PySpark
-Опыт работы с Databricks из Airflow
-Опыт работы с Airflow
-Знание Bash, Docker
-Высшее математическое или физико-математическое образование
Условия:
- работа удаленно или в офисе, фултайм
- система менторства и адаптации (куратор, четкий план роста, своя школа архитекторов,
а также корпоративный обучающий портал для любого стека вашей специализации)
- возможность выбора/смены проекта
- медицинское страхование (+стоматология)
- возможность доп заработка через участие в активностях компании
- компенсация спорта и англ языка
- помощь в отсрочке (входим в РФ реестр ИТ-компаний)
- ЗП на руки 150-240к ₽ и более
Контакт для связи Ян @job_accelerator
Всем привет!
Мы в Okko расширяем департамент анализа данных. Сейчас в команде больше 50 человек, мы продолжаем расти, совершенствуя работу с данными, в т.ч. рекомендательную систему. Поэтому ищем близких по духу людей, вместе с которыми создадим принципиально новый подход к зрительскому опыту.
Мы ждем Data Scientists, Data Analysts, Data Engineers, Python Developers и т.д. уровня middle+/senior. Можно выбрать направление – «Платформа экспериментов», «Рекомендации», «Поиск», «Монетизация», «Growth», «Контент», «Техническая команда».
Сделали страничку со всеми подробностями, там же можно откликнуться на понравившуюся вакансию: https://analytics.okko.tv/
Ждем твой отклик
#data #datascientists #dataanalysts #dataengineers #ds #da #de #ml #recsys #recommendations #search #datadriven #AB #growth #okko
Мы в Okko расширяем департамент анализа данных. Сейчас в команде больше 50 человек, мы продолжаем расти, совершенствуя работу с данными, в т.ч. рекомендательную систему. Поэтому ищем близких по духу людей, вместе с которыми создадим принципиально новый подход к зрительскому опыту.
Мы ждем Data Scientists, Data Analysts, Data Engineers, Python Developers и т.д. уровня middle+/senior. Можно выбрать направление – «Платформа экспериментов», «Рекомендации», «Поиск», «Монетизация», «Growth», «Контент», «Техническая команда».
Сделали страничку со всеми подробностями, там же можно откликнуться на понравившуюся вакансию: https://analytics.okko.tv/
Ждем твой отклик
#data #datascientists #dataanalysts #dataengineers #ds #da #de #ml #recsys #recommendations #search #datadriven #AB #growth #okko
analytics.okko.tv
Okko Analytics
Стань частью команды Okko
#вакансия #DWH #ETL #DE #middle #удаленка #job #remote
Data Engineer/ETL Engineer
Компания: ГК “Альфа”
Современная и развивающаяся компания, которая занимает лидирующие позиции на рынке грузовой и спецтехники.
Занимаемся продажей, ремонтом и обслуживанием коммерческого транспорта.
Уровень: middle
Вилка: 160-250 т.р gross
Формат: удаленно (только РФ)
Занятость: полная
Задачи:
- Реализация платформы данных и инструментария для работы продуктовых аналитиков, а также построение витрин данных;
- Построение надежных и оптимальных пайплайнов обработки данных;
- Интеграции с новыми источниками данных;
- Оптимизация вычислений.
Требования:
- Знание Python (pandas, numpy, jupyter notebook, PyCharm);
- Знание SQL (ClickHouse, MS SQL Server);
- Понимание принципов построения DWH;
- Опыт работы со стеком Big Data (Hadoop, Spark);
- Опыт работы с Airflow;
- Знание Git систем;
- Высшее техническое образование.
Условия:
- Официальное трудоустройство в соответствии с ТК РФ;
- Аккредитованная IT-компания;
- Предоставляется современная техника для работы;
- Корпоративная сотовая связь;
- Корпоративное обучение английскому языку;
- Скидки в популярные фитнес-центры и медицинские учреждения;
- Специальные условия обслуживания и кредитования в банках;
Контакты: tg @kaaimejou
Не забудь уточнить, что ты из @datasciencejobs
Data Engineer/ETL Engineer
Компания: ГК “Альфа”
Современная и развивающаяся компания, которая занимает лидирующие позиции на рынке грузовой и спецтехники.
Занимаемся продажей, ремонтом и обслуживанием коммерческого транспорта.
Уровень: middle
Вилка: 160-250 т.р gross
Формат: удаленно (только РФ)
Занятость: полная
Задачи:
- Реализация платформы данных и инструментария для работы продуктовых аналитиков, а также построение витрин данных;
- Построение надежных и оптимальных пайплайнов обработки данных;
- Интеграции с новыми источниками данных;
- Оптимизация вычислений.
Требования:
- Знание Python (pandas, numpy, jupyter notebook, PyCharm);
- Знание SQL (ClickHouse, MS SQL Server);
- Понимание принципов построения DWH;
- Опыт работы со стеком Big Data (Hadoop, Spark);
- Опыт работы с Airflow;
- Знание Git систем;
- Высшее техническое образование.
Условия:
- Официальное трудоустройство в соответствии с ТК РФ;
- Аккредитованная IT-компания;
- Предоставляется современная техника для работы;
- Корпоративная сотовая связь;
- Корпоративное обучение английскому языку;
- Скидки в популярные фитнес-центры и медицинские учреждения;
- Специальные условия обслуживания и кредитования в банках;
Контакты: tg @kaaimejou
Не забудь уточнить, что ты из @datasciencejobs
#работа #вакансия #удаленно #de #senior
Компания Excdev в поиске Senior Data Engineer/Data Analyst
Удаленный график работы из любой точки мира,зарплатная плата 200-300 тысяч рублей на руки.
Чем предстоит заниматься:
-Разработка хранилищ данных, витрин данных;
-Проектирование, разработка и поддержка ETL-процессов;
-Разработка визуализации данных и отчетности;
-Контроль качества загружаемых данных;
-Интеграция новых источников;
Наши ожидания от кандидата:
- Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области)
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов
- Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre
- Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности
- Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п.
Будет огромным плюсом:
- Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными.
- Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п.
- Опыт работы с Tableau, Google Looker или подобных им.
Контакт для связи: @valenti_sh
Не забудьте уточнить, что вы из @datasciencejobs
Компания Excdev в поиске Senior Data Engineer/Data Analyst
Удаленный график работы из любой точки мира,зарплатная плата 200-300 тысяч рублей на руки.
Чем предстоит заниматься:
-Разработка хранилищ данных, витрин данных;
-Проектирование, разработка и поддержка ETL-процессов;
-Разработка визуализации данных и отчетности;
-Контроль качества загружаемых данных;
-Интеграция новых источников;
Наши ожидания от кандидата:
- Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области)
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов
- Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre
- Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности
- Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п.
Будет огромным плюсом:
- Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными.
- Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п.
- Опыт работы с Tableau, Google Looker или подобных им.
Контакт для связи: @valenti_sh
Не забудьте уточнить, что вы из @datasciencejobs
#вакансия #DataEngineer #medtech #DE #удалённо
Вакансия: Data Engineer (Big Data)
Формат: удалённо на территории РФ
ЗП: до 230k net
Занятость: полная
еАптека – сервис для покупки лекарств и товаров для здоровья.
Наша команда разрабатывает, эксплуатирует и расширяет инфраструктуру Data Lake/Data Driven, позволяя Компании принимать обоснованные аналитические и технологические решения для высоконагруженных технологических процессов.
Чем предстоит заниматься:
- Управлять и настраивать инфраструктуру обработки данных для ML, аналитики и обслуживания пользователей;
- Разрабатывать процессы и интерфейсы обработки данных, полученных из исходных источников продукта (MSSQL, MySQL, PostgreSQL), S3 и API, обработка событий из Kafka;
- Настройка, оптимизация, обновление и контроль качества данных;
- Подготовка и настройка окружений для DS.
Наши технологии и необходимый опыт работы:
YC, S3, Spark, Kafka, Airflow, Debezium, Airbyte, Prometheus, Grafana, GitLab.
- Python на уровне middle+ или senior (будет плюсом Scala, Golang);
- k8s на уровне пользователя (будет преимуществом);
- Опыт обработки высоконагруженных потоков данных от 3х лет.
Что мы предлагаем:
- Работа в аккредитованной ИТ компании;
- График работы 5/2, с гибким началом рабочего дня с 8:00 - 10:00;
- Трудоустройство по ТК РФ;
- ДМС со стоматологией;
- Пополняемая коллекция профессиональной литературы, оплата посещения профильных конференций, системное обучение и Виртуальная и виртуальная школа Сбербанка;
- Современная техника;
- Корпоративные мероприятия и тимбилдинги.
📩 Контакт: @Uliana_eApteka
👉 Не забудьте уточнить, что вы из @datasciencejobs
Вакансия: Data Engineer (Big Data)
Формат: удалённо на территории РФ
ЗП: до 230k net
Занятость: полная
еАптека – сервис для покупки лекарств и товаров для здоровья.
Наша команда разрабатывает, эксплуатирует и расширяет инфраструктуру Data Lake/Data Driven, позволяя Компании принимать обоснованные аналитические и технологические решения для высоконагруженных технологических процессов.
Чем предстоит заниматься:
- Управлять и настраивать инфраструктуру обработки данных для ML, аналитики и обслуживания пользователей;
- Разрабатывать процессы и интерфейсы обработки данных, полученных из исходных источников продукта (MSSQL, MySQL, PostgreSQL), S3 и API, обработка событий из Kafka;
- Настройка, оптимизация, обновление и контроль качества данных;
- Подготовка и настройка окружений для DS.
Наши технологии и необходимый опыт работы:
YC, S3, Spark, Kafka, Airflow, Debezium, Airbyte, Prometheus, Grafana, GitLab.
- Python на уровне middle+ или senior (будет плюсом Scala, Golang);
- k8s на уровне пользователя (будет преимуществом);
- Опыт обработки высоконагруженных потоков данных от 3х лет.
Что мы предлагаем:
- Работа в аккредитованной ИТ компании;
- График работы 5/2, с гибким началом рабочего дня с 8:00 - 10:00;
- Трудоустройство по ТК РФ;
- ДМС со стоматологией;
- Пополняемая коллекция профессиональной литературы, оплата посещения профильных конференций, системное обучение и Виртуальная и виртуальная школа Сбербанка;
- Современная техника;
- Корпоративные мероприятия и тимбилдинги.
📩 Контакт: @Uliana_eApteka
👉 Не забудьте уточнить, что вы из @datasciencejobs
#вакансия #vacancy #DE #DWH #SQL #Python #fulltime #middle #senior #Tinkoff
Компания: Тинькофф
Вакансия: Data engineer
Грейд: Middle и Senior
Занятость: Full-Time
Локация: Россия, Беларусь, Казахстан, Армения (гибрид или удаленно — по договоренности)
Вилка: 150 000—400 000 ₽
Мы ищем в команду дата-инженера. В Тинькофф можно развиваться в одном из двух направлений — системном анализе или ETL-разработке. Или совмещать их, если интересны оба. У нас большое и продвинутое хранилище данных: это 8000 объектов, более 6 000 000 SQL-запросов в сутки, 800 ТБ в Greenplum и 110 ТБ в Clickhouse 🙂
🔸Вы будете:
- Участвовать в формировании модели данных
- Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
- Участвовать в проектах по развитию нашей Data Platform
- Писать скрипты SQL и Python, это опционально
- Прорабатывать интеграции с внешними системами для Data Platform
🔸Мы ждем от вас:
- Свободное владение SQL
- Опыт работы с базами данных в качестве аналитика или разработчика как минимум 2 года
- Понимание теории СУБД- и ETL-процессов
- Опыт проектирования объектов БД на основании бизнес-требований
🔸Мы предлагаем:
- Возможность работать в аккредитованной ИТ-компании
- Платформу обучения и развития «Тинькофф Апгрейд». Курсы, тренинги, вебинары и базы знаний по различным направлениям
- ДМС со стоматологией и страховку от несчастных случаев + льготное страхование вашим близким
- Частичную компенсацию затрат на спорт
- Три дополнительных дня отпуска в год
Резюме и вопросы: @angel_gilmutdinova
👉 Не забудьте уточнить, что вы из @datasciencejobs
Компания: Тинькофф
Вакансия: Data engineer
Грейд: Middle и Senior
Занятость: Full-Time
Локация: Россия, Беларусь, Казахстан, Армения (гибрид или удаленно — по договоренности)
Вилка: 150 000—400 000 ₽
Мы ищем в команду дата-инженера. В Тинькофф можно развиваться в одном из двух направлений — системном анализе или ETL-разработке. Или совмещать их, если интересны оба. У нас большое и продвинутое хранилище данных: это 8000 объектов, более 6 000 000 SQL-запросов в сутки, 800 ТБ в Greenplum и 110 ТБ в Clickhouse 🙂
🔸Вы будете:
- Участвовать в формировании модели данных
- Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
- Участвовать в проектах по развитию нашей Data Platform
- Писать скрипты SQL и Python, это опционально
- Прорабатывать интеграции с внешними системами для Data Platform
🔸Мы ждем от вас:
- Свободное владение SQL
- Опыт работы с базами данных в качестве аналитика или разработчика как минимум 2 года
- Понимание теории СУБД- и ETL-процессов
- Опыт проектирования объектов БД на основании бизнес-требований
🔸Мы предлагаем:
- Возможность работать в аккредитованной ИТ-компании
- Платформу обучения и развития «Тинькофф Апгрейд». Курсы, тренинги, вебинары и базы знаний по различным направлениям
- ДМС со стоматологией и страховку от несчастных случаев + льготное страхование вашим близким
- Частичную компенсацию затрат на спорт
- Три дополнительных дня отпуска в год
Резюме и вопросы: @angel_gilmutdinova
👉 Не забудьте уточнить, что вы из @datasciencejobs
#вакансия #удаленно #dataengineer #de #spark #databricks #kafka #
Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день)
Компания: Dodo Engineering
Локация: Remote
Должность: Data Engineer (middle+/senior/lead)
Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа).
Вилка: 350 000 - 500 000 р
Формат: ГПХ\ИП
О команде
Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев.
Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс.
Наш стек технологий:
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python.
Чем предстоит заниматься:
- Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом
- Оптимизация процессов в databricks для снижения затрат на compute и storage
- Развертывание и обслуживание data сервисов
Требования:
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming)
- Желателен опыт оптимизации аналитического кода
Отправить резюме и задать вопросы можно тут: @AKoronnova
👉 Не забудьте уточнить, что вы из @datasciencejobs
Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день)
Компания: Dodo Engineering
Локация: Remote
Должность: Data Engineer (middle+/senior/lead)
Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа).
Вилка: 350 000 - 500 000 р
Формат: ГПХ\ИП
О команде
Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев.
Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс.
Наш стек технологий:
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python.
Чем предстоит заниматься:
- Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом
- Оптимизация процессов в databricks для снижения затрат на compute и storage
- Развертывание и обслуживание data сервисов
Требования:
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming)
- Желателен опыт оптимизации аналитического кода
Отправить резюме и задать вопросы можно тут: @AKoronnova
👉 Не забудьте уточнить, что вы из @datasciencejobs
#вакансия #remote #middle #de #da #etl #postgresql #clickhouse #dbt
Компания Excdev в поиске Middle Data Engineer/Data Analyst
Удаленный график работы из любой точки мира,зарплатная плата 200-250 тысяч рублей на руки.
Задачи:
- Разработка хранилищ данных, витрин данных;
- Проектирование, разработка и поддержка ETL-процессов;
- Разработка визуализации данных и отчетности;
- Контроль качества загружаемых данных;
- Интеграция новых источников;
Вы идеальны, если:
- Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области)
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов
- Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre
- Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности
- Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п.
Будет огромным плюсом:
- Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными.
- Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п.
- Опыт работы с Tableau, Google Looker или подобных им.
Контакт для связи в тг: @valenti_sh
Компания Excdev в поиске Middle Data Engineer/Data Analyst
Удаленный график работы из любой точки мира,зарплатная плата 200-250 тысяч рублей на руки.
Задачи:
- Разработка хранилищ данных, витрин данных;
- Проектирование, разработка и поддержка ETL-процессов;
- Разработка визуализации данных и отчетности;
- Контроль качества загружаемых данных;
- Интеграция новых источников;
Вы идеальны, если:
- Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области)
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов
- Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre
- Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности
- Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п.
Будет огромным плюсом:
- Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными.
- Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п.
- Опыт работы с Tableau, Google Looker или подобных им.
Контакт для связи в тг: @valenti_sh
#вакансия
Data Engineer в VK Adtech, Москва
Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.
Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.
Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.
Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.
✍️ Отправить CV и по всем вопросам: https://t.me/olkony
#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior
Data Engineer в VK Adtech, Москва
Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.
Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.
Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.
Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.
✍️ Отправить CV и по всем вопросам: https://t.me/olkony
#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior
#вакансия #de #fintech #remote
Привет! Мы в поиске Data Engineer (middle+)
Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset
Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.
📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH
📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения
📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)
📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных
По всем вопросам обращаться: @odu_v_an
Привет! Мы в поиске Data Engineer (middle+)
Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset
Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.
📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH
📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения
📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)
📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных
По всем вопросам обращаться: @odu_v_an
#вакансия #DE #датаинженер #remote #fulltime #senior #удаленка
Data-инженер Senior
🚩Локация: любая
Формат работы: Удаленный
Занятость: полная
Срок привлечения: 3+ мес (с возможностью продления)
Оформление: ИП
💰ЗП: 350-400 К руб./мес.
📌 Обязательные требования
- Релевантный опыт работы не менее З-х лет;
- Знание принципов построения хранилищ данных;
- Понимание архитектур MPP систем;
- Опыт работы с экосистемой Hadoop навыки Data Engineer (HDFS,YARN,Spark,kafka,Nifi,Sqoop,flume и т.д.);
- Опыт работы с ELT-процессами;
- Опыт работы с системами контроля версий (git, Gitlab, Bitbucket);
- Знание SQL (DDL, DML, ANSI, PL), опыт оптимизации запросов;
- Опыт работы с Greenplum либо отличное знание PostgreSQL;
- Практический опыт работы с SAS DIS, Informatica PowerCenter;
- Опыт использования системам ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
- Навык работы с Git, Jira, Confluence.
☑️ Задачи на проекте
- Проектирование и разработка потоков данных на ETL, ELT инструментах;
- Имплементация кастомных трансформаций;
- Проектирование и построение прототипов, витрин
- Анализ производительности, масштабирование существующих систем;
- Оптимизация SQL запросов и структур баз данных;
- Разработка процедур на языке PL, pgSQL;
- Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов;
- Создание и актуализация базы знаний для пользователей DWH.
👌 За подробностями, прошу в лс.
Контакты: @tenedius
Data-инженер Senior
🚩Локация: любая
Формат работы: Удаленный
Занятость: полная
Срок привлечения: 3+ мес (с возможностью продления)
Оформление: ИП
💰ЗП: 350-400 К руб./мес.
📌 Обязательные требования
- Релевантный опыт работы не менее З-х лет;
- Знание принципов построения хранилищ данных;
- Понимание архитектур MPP систем;
- Опыт работы с экосистемой Hadoop навыки Data Engineer (HDFS,YARN,Spark,kafka,Nifi,Sqoop,flume и т.д.);
- Опыт работы с ELT-процессами;
- Опыт работы с системами контроля версий (git, Gitlab, Bitbucket);
- Знание SQL (DDL, DML, ANSI, PL), опыт оптимизации запросов;
- Опыт работы с Greenplum либо отличное знание PostgreSQL;
- Практический опыт работы с SAS DIS, Informatica PowerCenter;
- Опыт использования системам ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
- Навык работы с Git, Jira, Confluence.
☑️ Задачи на проекте
- Проектирование и разработка потоков данных на ETL, ELT инструментах;
- Имплементация кастомных трансформаций;
- Проектирование и построение прототипов, витрин
- Анализ производительности, масштабирование существующих систем;
- Оптимизация SQL запросов и структур баз данных;
- Разработка процедур на языке PL, pgSQL;
- Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов;
- Создание и актуализация базы знаний для пользователей DWH.
👌 За подробностями, прошу в лс.
Контакты: @tenedius