Data & IT Career
892 subscribers
728 photos
36 videos
14 files
1.21K links
Download Telegram
Data Engineering Zoomcamp / Анонс бесплатного курс по ДЕ на английском
6/01 14:30
Спикер Алексей Григорьев.
Встреча будет минут на 30 на которой Алексей расскажет про себя и про Zoomcamp.
https://youtu.be/AjE8yVS43iE
#Запись в аудио: https://t.me/DE_events/877?comment=1545

https://t.me/rockyourdata/3923?comment=23166 #DE_course #free #course

https://t.me/data_career/730
#запись: https://t.me/data_career_chat/795

#DEZoomcamp #zoomcamp
The Big Book of Data Engineering.

Бесплатная книга от Databricks, в ней можно найти информацию о том, как:

✔️ Разработать аналитику реального времени в точке продаж

✔️ Построить кибербезопасный центр обработки данных (lakehouse)

✔️ Разблокировать потенциал медицинских данных

✔️ Организовать жизненный цикл обработки данных на платформе Databricks Lakehouse

Скачать

#de #databricks #lakehouse #book
Please open Telegram to view this post
VIEW IN TELEGRAM
The State of Data Engineering (но не в РФ). Часть 1.

Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных блоггеров на похожый опрос и решил посмотреть результаты. Результаты в большей степени релевантны для американского рынка, ~400 человек ответило, подавляющее большинство именно определяют себя как Data Engineer.

Смотрим картинки, мои комментарии, как всегда, особо и не нужны, и так все очевидно:

- Ходуб умер. Для аналитических платформ лидирует #BQ, затем #Snowflake, #Redshift и #Databricks. И это там, где была выбрана только одна платформа. У 41% респондентов >1 аналитической платформы.

- #Airflow или самоделка. Все остальные оркестраторы проигрывают очень много. Еще интересный пункт None, это видимо кто-то руками или по крону запускает 🤪

- Проблема найма. Ну тут ничего удивительного, найти нормального инженера все также сложно, вне зависимости от лейофов.

Там еще 2 части с ответами есть, до них доберемся на неделе.

Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part

@ohmydataengineer #survey #DE
https://t.me/ohmydataengineer/318
Небольшой отчет The State of Data Engineering 2022 о состоянии рынка работы с данными.

Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/

https://t.me/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Data & IT Career
Как раз о "проблеме времени билда" (в конце 5-го абзаца в моём посте реплайнутом) вышло у учителя по ведению канала: https://t.me/rockyourdata/4215 -> https://t.me/roma_reporting/562 #Яндекс, кстати, в защиту своих задач по лавкодингу и указывает на этот…
Секции маркет дата инженер.pdf
55 KB
Хе-хе, хорошо, когда телега, как "заметочник" +-хорошо настроена, как у меня - всё раскидано примерно по правильным каналам / чатам / топикам, помечено нужными тегами - всегда всё можно быстро найти 😁

Вот и мануал по сампо DE в ЯМ упомянутый, а в нём же ссылка на статью про алгосекции Яндекса с упомянутым аргументом, почему хорошему разработчику нужно уметь "кодить на бумажке"

#DE #Yandex #подготовка к собесам
#алгосы #SQL(по просьбам подписчиков))
Please open Telegram to view this post
VIEW IN TELEGRAM
Data & IT Career
Нашли понятный график по распределениям областей знаний и навыков для разных дата-специалистов Обратите внимание на неприоритетные для себя области
This media is not supported in your browser
VIEW IN TELEGRAM
Обратите внимание на #MLE vs #DS
А ведь и ещё помельче понарезать можно (#MLOps vs #MLE)🤓
С #DE то понятно вроде всё тут… хотя на пред работе все непересекающиеся кубики у первых двух на нём лежали (вот и зона #MLOps, как раз)
Про специализацию DE тут затрагивал уже…
В общем, продолжаем ресёрчить про #специализация 🔬🔪⚖️😁
🚀 Data Engineer с нуля до junior 😎

Через 3 недели будет открывается курс:

📚 25 разделов (начиная с 1 июля будет открываться 2 раздела каждую неделю)
Более 300 тестов
📝 7 заданий с индивидуальной проверкой преподавателей
💻 Более 40 заданий на написание кода
🎥 Более 500 минут видео лекций
🏆 И, наконец, 12 финальных заданий на выбор

Поступи на курс - курс на Stepik 👈
Регистрация бесплатная! 🆓🔥👈

Источник: https://t.me/dataexplorers/325

#free #course #DE


#upd!

‼️ Внимание! #Курс дорожает на глазах! Успей взять подешёвке!
- https://t.me/data_career/1780
Please open Telegram to view this post
VIEW IN TELEGRAM
Это уже какой-то #DE-заменитель или ещё нет? 😅


Cocoon automatic data transformation

Cocoon организует ваше хранилище данных с помощью агентов LLM, подготавливая его к анализу. Он подключается к вашим хранилищам данных для изучения ваших данных. Он помогает вам в интерактивном режиме создавать, тестировать и поддерживать ваши пайплайны.

Проект ещё совсем свежий и находится в стадии разработки.

Источник: https://t.me/dataexplorers/333


https://github.com/Cocoon-Data-Transformation/cocoon

https://300.ya.ru/1L7hrc5V #300ya #300yaru

#cocoon #LLM #LLMTool
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Data & IT Career
https://t.me/data_stepic/49
Please open Telegram to view this post
VIEW IN TELEGRAM