Forwarded from DataEng
Курс про Apache Airflow бесплатно
Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс
За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.
В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.
Велком!
Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс
За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.
В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.
Велком!
Startdatajourney
Apache Airflow 2.2: практический курс
Практический курс по основам Apache Airflow версии 2.2 и выше
Forwarded from data_career_backstage
Программа будет полезна junior и middle дата-инженерам, аналитикам данных, бэкенд-разработчикам, техлидам и менеджерам, работающим с дата-командой
- 7 недель (11 марта – 27 апреля)
- 20 занятий с преподавателями в зуме
- 6 лаб с реальными данными
- чат с участниками и поддержка координаторов
1) научитесь решать типичные задачи DE и реально станете дата-инженером на время программы
2) структурируете ваши знания и познакомитесь с новыми инструментами
3) поработаете с облачным кластером для решения лаб с реальными данными
4) видеозаписи и другие материалы программы останутся у вас навсегда
[Подробная информация и регистрация]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI Meetups
Telegram
ML Career
🔥ОТКРЫТА РЕГИСТРАЦИЯ НА КУРС🔥
MLOps и production в DS исследованиях 3.0
18 марта 2024г при поддержке Open Data Science стартует запуск, открытого онлайн курса MLOps и production в DS исследованиях 3.0!
Мы учли ваши пожелания и предложения, внесли доработки…
MLOps и production в DS исследованиях 3.0
18 марта 2024г при поддержке Open Data Science стартует запуск, открытого онлайн курса MLOps и production в DS исследованиях 3.0!
Мы учли ваши пожелания и предложения, внесли доработки…
The state of Apache Airflow
Компания #astronomer подготовила отчет о состоянии apache airflow на 2024 год.
#Airflow продемонстрировал огромный рост в 2023 году: его загрузили более 165 миллионов раз (+67% по сравнению с прошлым годом). В настоящее время Airflow опережает Spark и Kafka по росту сообщества, и 92% пользователей заявили, что рекомендуют его.
источник:https://t. me/data_engi/308 https://t.me/datawhisper/244 #theStateOf #y2024 #dataexplorers
Компания #astronomer подготовила отчет о состоянии apache airflow на 2024 год.
#Airflow продемонстрировал огромный рост в 2023 году: его загрузили более 165 миллионов раз (+67% по сравнению с прошлым годом). В настоящее время Airflow опережает Spark и Kafka по росту сообщества, и 92% пользователей заявили, что рекомендуют его.
источник:
Data & IT Career
The state of Apache Airflow Компания #astronomer подготовила отчет о состоянии apache airflow на 2024 год. #Airflow продемонстрировал огромный рост в 2023 году: его загрузили более 165 миллионов раз (+67% по сравнению с прошлым годом). В настоящее время…
Что у вас на работе используется для окрестрации ETL’ек?
#опросы
#опросы
Anonymous Poll
62%
AirFlow 😎
5%
Prefect / Dagster / Mage и пр хипстота 🤓
4%
Oozie / Luigi / Azkaban etc. 😴
6%
SSIS + MSS jobs 😁
7%
Какой-нибудь олдовый тяжеловес типа Informatica, ODI, что там бывает… 🫠
9%
cron 🙈
5%
Что-то облачное проприетарное 🧐
13%
Свой велосипед 😅
5%
Другое 😏
7%
Не используется ничего такого 🙉
Вот он, поражающий нас с каждым годом всё больше и больше, многообразный, перенасыщенный и уже почти бесконечный как Млечный путь – THE 2024 MAD (MACHINE LEARNING, ARTIFICIAL INTELLIGENCE & DATA) LANDSCAPE!
https://mattturck.com/landscape/mad2024.pdf #MAD2024 #MAD #y2024
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Рекрутинг, котики и апокалипсис (Кира Кузьменко)
Почему программисты уезжают из России, несмотря на государственную поддержку IT-сектора? — спросил меня Бизнес ФМ и я решила написать тут тезисы, которые готовила к разговору:
👉 Почему программисты уезжают из России?
1. Уезжают не все
2. Часть возвращается…
👉 Почему программисты уезжают из России?
1. Уезжают не все
2. Часть возвращается…
Forwarded from Newprolab: обучение в сфере данных
9 апреля (вт) в 20:00 мск проведем прямой эфир по продвинутому использованию Apache Spark
Поговорим о продвинутых аспектах Spark и в каких случаях необходимо лезть "под капот" и разберем темы:
- взаимодействие с внешними источниками
- разработка собственных коннекторов
- как ускорить обработку данных
- антипаттерны в Spark
А также расскажем подробнее про нашу программу Apache Spark Advanced, которая стартует 14 мая
🎁 БОНУС 🎁
Среди зарегистрированных участников с помощью генератора случайных чисел прямо в эфире мы выберем двух человек, кто сможет пройти программу бесплатно и еще двух, кто получит скидку 50%
📅Дата: 9 апреля (вторник)
🕗Время: 20:00 по МСК
🔴Место: YouTube
🔗[Записаться на вебинар]
#live
Поговорим о продвинутых аспектах Spark и в каких случаях необходимо лезть "под капот" и разберем темы:
- взаимодействие с внешними источниками
- разработка собственных коннекторов
- как ускорить обработку данных
- антипаттерны в Spark
А также расскажем подробнее про нашу программу Apache Spark Advanced, которая стартует 14 мая
🎁 БОНУС 🎁
Среди зарегистрированных участников с помощью генератора случайных чисел прямо в эфире мы выберем двух человек, кто сможет пройти программу бесплатно и еще двух, кто получит скидку 50%
📅Дата: 9 апреля (вторник)
🕗Время: 20:00 по МСК
🔴Место: YouTube
🔗[Записаться на вебинар]
#live
Data & IT Career
The state of Apache Airflow Компания #astronomer подготовила отчет о состоянии apache airflow на 2024 год. #Airflow продемонстрировал огромный рост в 2023 году: его загрузили более 165 миллионов раз (+67% по сравнению с прошлым годом). В настоящее время…
Telegram
Data engineering events
🖼️ Airflow 2.9
Сегодня выкатили новую версия Apache #Airflow — 2.9. В релизе много полезных изменений и фиксов, а также новых фич:
▶️ поддержка Python 3.12
▶️ Listener API стабилизировался и его можно использовать в продакшене
▶️ Поддержка multiple…
Сегодня выкатили новую версия Apache #Airflow — 2.9. В релизе много полезных изменений и фиксов, а также новых фич:
▶️ поддержка Python 3.12
▶️ Listener API стабилизировался и его можно использовать в продакшене
▶️ Поддержка multiple…
dbt: 2024 State of Analytics Engineering
#DBT опубликовали отчёт о состоянии analytics engineering за 2024 год.
Низкое качество данных и неясное владение ими остаются главными проблемами для дата команд.
Data Mesh постоянно набирает популярность среди enterprise компаний. Это резкое отличие от отчета #Gartner о data mesh.
И ещё вебинар сегодня будет (вроде только через корп-почту рега)
#Саммари от 300.ya.ru:
Состояние аналитической инженерии на 2024 год | dbt Labs
• В отчете представлены результаты опроса специалистов по обработке данных.
• Инженеры-аналитики получают значительно больший заработок, чем аналитики данных.
• Специалисты по обработке данных выполняют широкий спектр обязанностей и задач.
• Основные проблемы, с которыми сталкиваются группы обработки данных, включают низкое качество данных и неясное владение данными.
• Повышение информационной грамотности заинтересованных сторон считается важным для групп обработки данных.
• Большинство специалистов по обработке данных считают, что у них есть опыт в проведении преобразований данных.
• Неколичественные цели являются основным показателем успеха для групп обработки данных.
• Многие команды сообщают о сокращении бюджета и/или численности персонала, но большинство планируют сохранить инвестиции в инструменты обработки данных.
• Децентрализованные архитектуры обработки данных, такие как data mesh, привлекают внимание компаний разного размера.
• Растет тенденция к внедрению искусственного интеллекта среди специалистов по обработке данных.
💡 Годы идут, а проблемы, задачи и тенденции всё те же +-! 🤣
источник: https://t.me/dataexplorers/250 #DataMesh #report #y2024 #theStateOf #AE
#DBT опубликовали отчёт о состоянии analytics engineering за 2024 год.
Низкое качество данных и неясное владение ими остаются главными проблемами для дата команд.
Data Mesh постоянно набирает популярность среди enterprise компаний. Это резкое отличие от отчета #Gartner о data mesh.
И ещё вебинар сегодня будет (вроде только через корп-почту рега)
#Саммари от 300.ya.ru:
Состояние аналитической инженерии на 2024 год | dbt Labs
• В отчете представлены результаты опроса специалистов по обработке данных.
• Инженеры-аналитики получают значительно больший заработок, чем аналитики данных.
• Специалисты по обработке данных выполняют широкий спектр обязанностей и задач.
• Основные проблемы, с которыми сталкиваются группы обработки данных, включают низкое качество данных и неясное владение данными.
• Повышение информационной грамотности заинтересованных сторон считается важным для групп обработки данных.
• Большинство специалистов по обработке данных считают, что у них есть опыт в проведении преобразований данных.
• Неколичественные цели являются основным показателем успеха для групп обработки данных.
• Многие команды сообщают о сокращении бюджета и/или численности персонала, но большинство планируют сохранить инвестиции в инструменты обработки данных.
• Децентрализованные архитектуры обработки данных, такие как data mesh, привлекают внимание компаний разного размера.
• Растет тенденция к внедрению искусственного интеллекта среди специалистов по обработке данных.
источник: https://t.me/dataexplorers/250 #DataMesh #report #y2024 #theStateOf #AE
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Data & IT Career
dbt: 2024 State of Analytics Engineering #DBT опубликовали отчёт о состоянии analytics engineering за 2024 год. Низкое качество данных и неясное владение ими остаются главными проблемами для дата команд. Data Mesh постоянно набирает популярность среди enterprise…
#PDF’ка прилагается 😁
https://t.me/data_career/1712?comment=1911
и саммаризацию пдфок тоже решил затестить в ChatGPT: https://chat.openai.com/share/e41bcfa7-a933-4bc2-bec8-4c30db27f27d, но по сути отчёт оч кратенький – в формате презы – минимум теста, максимум картинок, тч нечего там суммаризировать особо)
https://t.me/data_career/1712?comment=1911
и саммаризацию пдфок тоже решил затестить в ChatGPT: https://chat.openai.com/share/e41bcfa7-a933-4bc2-bec8-4c30db27f27d, но по сути отчёт оч кратенький – в формате презы – минимум теста, максимум картинок, тч нечего там суммаризировать особо)
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Data & IT Career in Data Career chat
Forwarded from Data Whisperer
Prepare.sh
Пользователь reddit опубликовал небольшой сайт с вопросами и ответами на собеседованиях Data Engineer в Amazon.
К собеседованию ему помогал готовиться действующий Data Engineer L5 at Amazon.
Вопросы включают следующие темы:
- Python
- SQL
- Cloud
- Behavioral
Так же есть вопросы для SRE и DevOps.
Пользователь reddit опубликовал небольшой сайт с вопросами и ответами на собеседованиях Data Engineer в Amazon.
К собеседованию ему помогал готовиться действующий Data Engineer L5 at Amazon.
Вопросы включают следующие темы:
- Python
- SQL
- Cloud
- Behavioral
Так же есть вопросы для SRE и DevOps.
prepare.sh
Latest Real Interview Questions & Interactive Labs | Prepare.sh
Discover real interview questions from top companies and prepare with our interactive labs at Prepare.sh. Stay ahead with expert insights and comprehensive preparation tools.
Forwarded from Аналитика данных / Data Study
Анализ навыков data-специализаций в вакансиях HH.ru
Уже много времени прошло с поста, в котором поделился с вами идеей проекта по анализу навыков на основе данных вакансий. Мне было интересно проанализировать вакансии и сделать анализ, на каких позициях и на каком уровне требуют те или иные навыки, также пост про это набрал очень много реакций.
Дошли руки все таки довести этот мини-проект до какой-то логической точки и оформить свою работу в виде статьи.
Переходите, читайте, там есть все шаги работы с ссылками на репозиторий с кодом, а также на получившийся дашборд.
Буду очень рад, если поделитесь статьей и дашбордом со своими коллегами, знакомыми, ну и в публичных каналах/чатах на эту тему 😉
Читать статью
Desktop версия дашборда
Mobile версия дашборда
Уже много времени прошло с поста, в котором поделился с вами идеей проекта по анализу навыков на основе данных вакансий. Мне было интересно проанализировать вакансии и сделать анализ, на каких позициях и на каком уровне требуют те или иные навыки, также пост про это набрал очень много реакций.
Дошли руки все таки довести этот мини-проект до какой-то логической точки и оформить свою работу в виде статьи.
Переходите, читайте, там есть все шаги работы с ссылками на репозиторий с кодом, а также на получившийся дашборд.
Буду очень рад, если поделитесь статьей и дашбордом со своими коллегами, знакомыми, ну и в публичных каналах/чатах на эту тему 😉
Читать статью
Desktop версия дашборда
Mobile версия дашборда