Data Engineer (lead)

Формат: классный офис в Москве/гибрид/удаленно;
Доход: 300-400К+ руб.;
Форма оформления: по ТК/ИП;

О нас: Мы занимаемся разработкой data-платформы, в рамках которой развиваются различные data-продукты:
• рекомендательные системы;
• сервисы аналитики и визуализации данных;
• ML-модели;
• иные решения для решения бизнес-задач.
Наша команда это 25 инженеров с сильнейшими компетенциями в ML, аналитике и работе с данными, и сейчас мы ищем классных ребят для дальнейшего роста.
У нас нет долгих согласований и бюрократии. Мы стремимся к быстрому внедрению в production, с последующей работой над улучшениями.

Что нужно будет делать:
• Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
• Обеспечивать SLA и качество данных;
• Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой; • Работать в команде и развивать отдел DE.

Будет классно, если у тебя:
• Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
• Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
• Опыт продуктовой разработки в технологических компаниях;
• Опыт постановки задач;
• Опыт наставничества;
• Отличные коммуникативные навыки.

Ты покоришь наши сердца и разум, если у тебя:
• Опыт работы с облаками, особенно, с Яндекс.Облаком;
• Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
• Опыт работы с моделями машинного обучения в продакшене;
• Опыт работы с базами данных для аналитики, особенно, с ClickHouse.

Мы предлагаем:
• Работу в аккредитованной IT компании с сильнейшей командой в разных масштабных проектах;
• Гибридный график работы 5/2, с 10:00 - 19:00;
• ДМС со стоматологией;
• В современном офисе в стиле Лофт с капсулой медитации, спортзалом, большой современной библиотекой и кабинетом для записи подкастов и треков;
• Комфортную кухню с холодильником, кофемашиной, тостером, микроволновкой и Magic Bullet;
• Холодильник с напитками (соки, энергетики, вода и т.д.) и едой (сыры, колбасы, сырки и м.ч.);
• Каждую пятницу совместные обеды с разными кухнями мира за счет компании.


За подробностями пиши: tg @naikava

@datascienceml_jobs - вакансии Data Science, Devops

Математика дата саентиста - здесь мы публикуем математические задачи и гайды для машинного обучения с упором на практику. Проверяем ваши знания, а затем на основе ошибок предлагаем статьи и уроки.

Если хочешь познать дзен и понимать как работают алгоритмы, а не просто импортировать их, подписывайся. Здесь реально учат.

@ds_math

🦖 Яндекс выложил в опенсорс исходный код YTsaurus — платформы для работы с большими данными

«Вайтизавр» развивали почти 10 лет — историю можно почитать на Хабре. Сегодня платформу использует большинство сервисов Яндекса. YTsaurus может многое: от аналитики до обучения сложных моделей с миллиардами параметров. В Яндексе рассказывают, что один из самых популярных сценариев — построение DWH.

Например, заказы Еды, Такси и Лавки поступают в key-value хранилище YTsaurus в сыром виде — это сотни терабайт в месяц. Дальше они обрабатываются разными инструментами внутри платформы, и на выходе получаются аналитические витрины, поверх которых производится аналитика и строятся различные визуализации в DataLens.

Помимо MapReduce, пользователям предлагается прокаченный SQL-язык, который может запускать огромные операции для обработки петабайтов данных, богатый набор встроенных функций и гибкие возможности параметризации.

🖥 Github: https://github.com/YTsaurus/YTsaurus
вакансии в YTsaurus

ai_machinelearning_big_data