Data Engineering Zoomcamp / Анонс бесплатного курс по ДЕ на английском
6/01 14:30
Спикер Алексей Григорьев.
Встреча будет минут на 30 на которой Алексей расскажет про себя и про Zoomcamp.
https://youtu.be/AjE8yVS43iE
#Запись в аудио: https://t.me/DE_events/877?comment=1545
https://t.me/rockyourdata/3923?comment=23166 #DE_course #free #course
https://t.me/data_career/730
#запись: https://t.me/data_career_chat/795
#DEZoomcamp #zoomcamp
6/01 14:30
Спикер Алексей Григорьев.
Встреча будет минут на 30 на которой Алексей расскажет про себя и про Zoomcamp.
https://youtu.be/AjE8yVS43iE
#Запись в аудио: https://t.me/DE_events/877?comment=1545
https://t.me/rockyourdata/3923?comment=23166 #DE_course #free #course
https://t.me/data_career/730
#запись: https://t.me/data_career_chat/795
#DEZoomcamp #zoomcamp
The Big Book of Data Engineering.
Бесплатная книга от Databricks, в ней можно найти информацию о том, как:
✔️ Разработать аналитику реального времени в точке продаж
✔️ Построить кибербезопасный центр обработки данных (lakehouse)
✔️ Разблокировать потенциал медицинских данных
✔️ Организовать жизненный цикл обработки данных на платформе Databricks Lakehouse
Скачать
#de #databricks #lakehouse #book
Бесплатная книга от Databricks, в ней можно найти информацию о том, как:
Скачать
#de #databricks #lakehouse #book
Please open Telegram to view this post
VIEW IN TELEGRAM
The State of Data Engineering (но не в РФ). Часть 1.
Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных блоггеров на похожый опрос и решил посмотреть результаты. Результаты в большей степени релевантны для американского рынка, ~400 человек ответило, подавляющее большинство именно определяют себя как Data Engineer.
Смотрим картинки, мои комментарии, как всегда, особо и не нужны, и так все очевидно:
- Ходуб умер. Для аналитических платформ лидирует #BQ, затем #Snowflake, #Redshift и #Databricks. И это там, где была выбрана только одна платформа. У 41% респондентов >1 аналитической платформы.
- #Airflow или самоделка. Все остальные оркестраторы проигрывают очень много. Еще интересный пункт None, это видимо кто-то руками или по крону запускает 🤪
- Проблема найма. Ну тут ничего удивительного, найти нормального инженера все также сложно, вне зависимости от лейофов.
Там еще 2 части с ответами есть, до них доберемся на неделе.
Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part
@ohmydataengineer #survey #DE
https://t.me/ohmydataengineer/318
Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных блоггеров на похожый опрос и решил посмотреть результаты. Результаты в большей степени релевантны для американского рынка, ~400 человек ответило, подавляющее большинство именно определяют себя как Data Engineer.
Смотрим картинки, мои комментарии, как всегда, особо и не нужны, и так все очевидно:
- Ходуб умер. Для аналитических платформ лидирует #BQ, затем #Snowflake, #Redshift и #Databricks. И это там, где была выбрана только одна платформа. У 41% респондентов >1 аналитической платформы.
- #Airflow или самоделка. Все остальные оркестраторы проигрывают очень много. Еще интересный пункт None, это видимо кто-то руками или по крону запускает 🤪
- Проблема найма. Ну тут ничего удивительного, найти нормального инженера все также сложно, вне зависимости от лейофов.
Там еще 2 части с ответами есть, до них доберемся на неделе.
Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part
@ohmydataengineer #survey #DE
https://t.me/ohmydataengineer/318
Небольшой отчет The State of Data Engineering 2022 о состоянии рынка работы с данными.
Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/
https://t.me/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/
https://t.me/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Data & IT Career
Как раз о "проблеме времени билда" (в конце 5-го абзаца в моём посте реплайнутом) вышло у учителя по ведению канала: https://t.me/rockyourdata/4215 -> https://t.me/roma_reporting/562 #Яндекс, кстати, в защиту своих задач по лавкодингу и указывает на этот…
Секции маркет дата инженер.pdf
55 KB
Хе-хе, хорошо, когда телега, как "заметочник" +-хорошо настроена, как у меня - всё раскидано примерно по правильным каналам / чатам / топикам, помечено нужными тегами - всегда всё можно быстро найти 😁
Вот и мануал по сампо DE в ЯМ упомянутый, а в нём же ссылка на статью про алгосекции Яндекса с упомянутым аргументом, почему хорошему разработчику нужно уметь "кодить на бумажке"
#DE #Yandex #подготовка к собесам
#алгосы #SQL(по просьбам подписчиков))
Вот и мануал по сампо DE в ЯМ упомянутый, а в нём же ссылка на статью про алгосекции Яндекса с упомянутым аргументом, почему хорошему разработчику нужно уметь "кодить на бумажке"
#DE #Yandex #подготовка к собесам
#алгосы #SQL(по просьбам подписчиков))
Please open Telegram to view this post
VIEW IN TELEGRAM
Data & IT Career
Нашли понятный график по распределениям областей знаний и навыков для разных дата-специалистов Обратите внимание на неприоритетные для себя области
This media is not supported in your browser
VIEW IN TELEGRAM
Обратите внимание на #MLE vs #DS
А ведь и ещё помельче понарезать можно (#MLOps vs #MLE)🤓
С #DE то понятно вроде всё тут… хотя на пред работе все непересекающиеся кубики у первых двух на нём лежали (вот и зона #MLOps, как раз)
Про специализацию DE тут затрагивал уже…
В общем, продолжаем ресёрчить про #специализация 🔬🔪⚖️😁
А ведь и ещё помельче понарезать можно (#MLOps vs #MLE)🤓
С #DE то понятно вроде всё тут… хотя на пред работе все непересекающиеся кубики у первых двух на нём лежали (вот и зона #MLOps, как раз)
Про специализацию DE тут затрагивал уже…
В общем, продолжаем ресёрчить про #специализация 🔬🔪⚖️😁
#Курс классный! Сам учился – могу рекомендовать с чистой совестью! 😁
(ссыла на #запись под постом)
https://t.me/newprolab_news/171 #Newprolab #DE #нереклама #рекомендую
(ссыла на #запись под постом)
https://t.me/newprolab_news/171 #Newprolab #DE #нереклама #рекомендую
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Новости Newprolab
⚡️10 МИНУТ И НАЧИНАЕМ⚡️
Последний вызов! Стартуем стрим «Что значит быть дата-инженером» через 10 минут. Поговорим о профессии, разберем инструменты дата-инженера, решим пару задач онлайн.
Напоминаем про бонус: разыграем 2 места на потоке «Data Engineer…
Последний вызов! Стартуем стрим «Что значит быть дата-инженером» через 10 минут. Поговорим о профессии, разберем инструменты дата-инженера, решим пару задач онлайн.
Напоминаем про бонус: разыграем 2 места на потоке «Data Engineer…
Продолжение сразу двух местных тем:
- https://t.me/data_career/1672 #NewProLab #курс #DE
- https://t.me/data_career/1583 #специализация
https://www.youtube.com/watch?v=fI141wn50RU
- https://t.me/data_career/1672 #NewProLab #курс #DE
- https://t.me/data_career/1583 #специализация
https://www.youtube.com/watch?v=fI141wn50RU
Через 3 недели будет открывается курс:
📚 25 разделов (начиная с 1 июля будет открываться 2 раздела каждую неделю)
✅ Более 300 тестов
📝 7 заданий с индивидуальной проверкой преподавателей
💻 Более 40 заданий на написание кода
🎥 Более 500 минут видео лекций
🏆 И, наконец, 12 финальных заданий на выбор
Поступи на курс - курс на Stepik
Регистрация бесплатная!
Источник: https://t.me/dataexplorers/325
#free #course #DE
#upd!
‼️ Внимание! #Курс дорожает на глазах! Успей взять подешёвке!
- https://t.me/data_career/1780
Please open Telegram to view this post
VIEW IN TELEGRAM
Это уже какой-то #DE-заменитель или ещё нет? 😅
Cocoon automatic data transformation
Cocoon организует ваше хранилище данных с помощью агентов LLM, подготавливая его к анализу. Он подключается к вашим хранилищам данных для изучения ваших данных. Он помогает вам в интерактивном режиме создавать, тестировать и поддерживать ваши пайплайны.
Проект ещё совсем свежий и находится в стадии разработки.
Источник: https://t.me/dataexplorers/333
https://github.com/Cocoon-Data-Transformation/cocoon
https://300.ya.ru/1L7hrc5V #300ya #300yaru
#cocoon #LLM #LLMTool
Cocoon automatic data transformation
Cocoon организует ваше хранилище данных с помощью агентов LLM, подготавливая его к анализу. Он подключается к вашим хранилищам данных для изучения ваших данных. Он помогает вам в интерактивном режиме создавать, тестировать и поддерживать ваши пайплайны.
Проект ещё совсем свежий и находится в стадии разработки.
Источник: https://t.me/dataexplorers/333
https://github.com/Cocoon-Data-Transformation/cocoon
https://300.ya.ru/1L7hrc5V #300ya #300yaru
#cocoon #LLM #LLMTool
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Data & IT Career
https://t.me/data_stepic/49
Please open Telegram to view this post
VIEW IN TELEGRAM