Data & IT Career
1.04K subscribers
786 photos
47 videos
14 files
1.34K links
Карьера в дата-профессиях и в ИТ в общем

Tags:
#подборка #survey
#career #зп #CV
#skills
#опросы

По вакансиям: t.me/data_career/1576
Feedback: @black_titmouse

Branched from @data_events
See also @ml_career
tgstat.ru/channel/@data_career/stat/citation
Download Telegram
Forwarded from Ваня
#DE #python #sql #Sweden #удаленка

Ищу DE, который согласится работать с таким фриком как я к шведам в fishbrain.com. Будем клепать ELT, дорабатывать дата модели в обожаемом мной dbt, покрывать тестами, запилим гугловский стриминг, а в перерывах будем ходить на фику по гугл митс и рассказывать друг другу восхитительные истории. Работа удалённая, платят валютой.

Технологии
Python, SQL, облако преимущественно GCP, но есть немного AWS; BigQuery, Airflow, dbt. В компании английский язык и полный интернационал: шведы, славяне, турки, филиппинцы, американцы и другие.

Ништяки
Кайфовая культура. Бирюза, Servant Leadership, взаимоуважение и поддержка безо всякого унылого корпо-буллшита. Слово пацана даю. Собственно, это даже на найм влияет — много кандидатов с улицы отсеиваются именно по культуре — так что всё это не случайность.
Кайфовый стек. Последние/предпоследнии версии питона/эйрфлоу/дибити и всего, до чего мои руки уже дотянулись. Модели данных жирно обмазаны тестами. Для страждущих говнокод найдётся, но его реально мало.

Пишите уже короч в личку мне @skatromb. Описание вакансии тут.
Data Engineering Zoomcamp / Анонс бесплатного курс по ДЕ на английском
6/01 14:30
Спикер Алексей Григорьев.
Встреча будет минут на 30 на которой Алексей расскажет про себя и про Zoomcamp.
https://youtu.be/AjE8yVS43iE
#Запись в аудио: https://t.me/DE_events/877?comment=1545

https://t.me/rockyourdata/3923?comment=23166 #DE_course #free #course

https://t.me/data_career/730
#запись: https://t.me/data_career_chat/795

#DEZoomcamp #zoomcamp
The Big Book of Data Engineering.

Бесплатная книга от Databricks, в ней можно найти информацию о том, как:

✔️ Разработать аналитику реального времени в точке продаж

✔️ Построить кибербезопасный центр обработки данных (lakehouse)

✔️ Разблокировать потенциал медицинских данных

✔️ Организовать жизненный цикл обработки данных на платформе Databricks Lakehouse

Скачать

#de #databricks #lakehouse #book
Please open Telegram to view this post
VIEW IN TELEGRAM
The State of Data Engineering (но не в РФ). Часть 1.

Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных блоггеров на похожый опрос и решил посмотреть результаты. Результаты в большей степени релевантны для американского рынка, ~400 человек ответило, подавляющее большинство именно определяют себя как Data Engineer.

Смотрим картинки, мои комментарии, как всегда, особо и не нужны, и так все очевидно:

- Ходуб умер. Для аналитических платформ лидирует #BQ, затем #Snowflake, #Redshift и #Databricks. И это там, где была выбрана только одна платформа. У 41% респондентов >1 аналитической платформы.

- #Airflow или самоделка. Все остальные оркестраторы проигрывают очень много. Еще интересный пункт None, это видимо кто-то руками или по крону запускает 🤪

- Проблема найма. Ну тут ничего удивительного, найти нормального инженера все также сложно, вне зависимости от лейофов.

Там еще 2 части с ответами есть, до них доберемся на неделе.

Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part

@ohmydataengineer #survey #DE
https://t.me/ohmydataengineer/318
Небольшой отчет The State of Data Engineering 2022 о состоянии рынка работы с данными.

Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/

https://t.me/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Data & IT Career
Как раз о "проблеме времени билда" (в конце 5-го абзаца в моём посте реплайнутом) вышло у учителя по ведению канала: https://t.me/rockyourdata/4215 -> https://t.me/roma_reporting/562 #Яндекс, кстати, в защиту своих задач по лавкодингу и указывает на этот…
Секции маркет дата инженер.pdf
55 KB
Хе-хе, хорошо, когда телега, как "заметочник" +-хорошо настроена, как у меня - всё раскидано примерно по правильным каналам / чатам / топикам, помечено нужными тегами - всегда всё можно быстро найти 😁

Вот и мануал по сампо DE в ЯМ упомянутый, а в нём же ссылка на статью про алгосекции Яндекса с упомянутым аргументом, почему хорошему разработчику нужно уметь "кодить на бумажке"

#DE #Yandex #подготовка к собесам
#алгосы #SQL(по просьбам подписчиков))
Please open Telegram to view this post
VIEW IN TELEGRAM
Data & IT Career
Нашли понятный график по распределениям областей знаний и навыков для разных дата-специалистов Обратите внимание на неприоритетные для себя области
This media is not supported in your browser
VIEW IN TELEGRAM
Обратите внимание на #MLE vs #DS
А ведь и ещё помельче понарезать можно (#MLOps vs #MLE)🤓
С #DE то понятно вроде всё тут… хотя на пред работе все непересекающиеся кубики у первых двух на нём лежали (вот и зона #MLOps, как раз)
Про специализацию DE тут затрагивал уже…
В общем, продолжаем ресёрчить про #специализация 🔬🔪⚖️😁
🚀 Data Engineer с нуля до junior 😎

Через 3 недели будет открывается курс:

📚 25 разделов (начиная с 1 июля будет открываться 2 раздела каждую неделю)
Более 300 тестов
📝 7 заданий с индивидуальной проверкой преподавателей
💻 Более 40 заданий на написание кода
🎥 Более 500 минут видео лекций
🏆 И, наконец, 12 финальных заданий на выбор

Поступи на курс - курс на Stepik 👈
Регистрация бесплатная! 🆓🔥👈

Источник: https://t.me/dataexplorers/325

#free #course #DE


#upd!

‼️ Внимание! #Курс дорожает на глазах! Успей взять подешёвке!
- https://t.me/data_career/1780
Please open Telegram to view this post
VIEW IN TELEGRAM
Это уже какой-то #DE-заменитель или ещё нет? 😅


Cocoon automatic data transformation

Cocoon организует ваше хранилище данных с помощью агентов LLM, подготавливая его к анализу. Он подключается к вашим хранилищам данных для изучения ваших данных. Он помогает вам в интерактивном режиме создавать, тестировать и поддерживать ваши пайплайны.

Проект ещё совсем свежий и находится в стадии разработки.

Источник: https://t.me/dataexplorers/333


https://github.com/Cocoon-Data-Transformation/cocoon

https://300.ya.ru/1L7hrc5V #300ya #300yaru

#cocoon #LLM #LLMTool
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Data Engineering bootcamp
#источник: https://t.me/data_whisperer/408

Готовы апгрейднуть свой скилл-сет?

🗓️ Когда? 15 ноября дропаем 6-недельный фриварный интенсив!
🎬 Чекните видос с инфой

🧠 Программа курса:

🔥 Big Data стек: разберетесь с Apache Kafka, Flink, Spark - настоящий датаинжениринг-рок!

💾 Базы данных: Postgres

🏗️ Моделирование данных: Fact Data Modeling

🔄 Дата-оркестровка: Заджобите с Airflow и Data Quality - чтобы данные не лагали

🛠️ Дебаг пайплайнов: Научимся фиксить баги в потоках данных

📈 Визуализация данных: Tableau

📊 Аналитические паттерны: Growth accounting и проектирование кумулятивных таблиц

📚 Дополнительный ресурс:
Для углубленной подготовки автор рекомендует использовать The Data Engineering Handbook

📌 Что внутри Handbook:
📄 Whitepaper'ы по актуальным технологиям

💻 Технические блоги ведущих IT-компаний

🎥 Подборка YouTube каналов по Data Engineering
🎧 Тематические подкасты

Совет: Даже если вы не планируете проходить курс, в этом репозитории вы найдете много полезной информации.
Стань тем самым 10x инженером, о котором все говорят!
Let's rock this data world!

#summary / #timecodes:

00:00:07 Введение и структура курса
• Зак объявляет о запуске шестинедельного курса по Data Engineering.
• Курс включает более 45 видеоуроков и будет доступен всем.
• Первые две недели будут посвящены моделированию многомерных и графовых данных.

00:00:59 Моделирование фактов и разделение на треки
• Вторая неделя курса будет посвящена моделированию фактов.
• Будут рассмотрены традиционные модели данных и сложные типы данных.
• После второй недели курс разделится на треки для инженеров по инфраструктуре и аналитике.

00:01:57 Курс по аналитике
• Третья неделя курса по аналитике включает создание качественной спецификации конвейера и аудит данных.
• Четвертая неделя посвящена аналитическим паттернам, таким как учет роста.
• Пятая неделя включает лекции о KPI и экспериментах, а также о создании конвейеров для менеджеров по продукту.
• Шестая неделя посвящена передаче данных и визуализации для бизнеса.

00:02:56 Курс по инфраструктуре
• Третья неделя включает изучение PySpark и модульное тестирование заданий.
• Четвертая неделя посвящена Kafka и Apache Flink для обработки данных в реальном времени.
• Пятая неделя охватывает обслуживание конвейеров данных и инструкции по эксплуатации.
• Шестая неделя посвящена Apache Spark и различным типам соединений.

00:03:53 Домашние задания и завершение
• Каждую неделю будут домашние задания с возможностью получения обратной связи.
• Курс будет включать около 90 часов видео на YouTube с 15 ноября до конца года.
• Зак надеется создать один из лучших бесплатных курсов по Data Engineering и приглашает всех присоединиться.

#free #course #DE #DEfreeCourse #DECourse