#Ребза 👋
Пора! Пора выходить из заходить в "зимнюю спячку"! 😂 Не в спячку, конечно, а совсем даже наоборот!

Вот лето и осень (которое тут у нас по факту было как продолжение лета – до декабря прям)) прошли,
- и даже уже пару почти тройку недель зимы уже! 🙈 (да воще НГ уже скоро!)
- и всё это время канал практически был в "отпуске" (как и я частично в этот период, хоть и не так долго, а жаль – пока что не достиг #FIRE-капитала от слова совсем – приходится работать не покладая...)),

И вот настало время выйти каналу из "отпуска"! (хотя бы на немного – до НГ 😂 и проявить некоторую активность! Ведь не только работать и отдыхать – надо и перу дать пописать, пока не засохло совсем 😁
- тч не плохо бы саммари-#дайджест за этот период черкануть!

Штош, начнём...

Наверное, самое главное и заметное: ИИ-агенты и иже с ними плотно вошли в нашу жизнь, радикально изменив её...
- тут прям бездна всего... 😅 Отложим, пожалуй, нырок в неё тут)
- надеюсь только, что все из вас прикоснулись к #SWE-агентам и поняли, что мир уже не станет прежним 🙈

Data engineering:
- я сам из них, поэтому послеживаю в основном за ней)
- Из хайпового: AI семимильными шагами шагает и тут (можно глянуть 3й доклад тут + у его автора на его канале, но по этой теме вообще много всего везде, конечно!)
- В дата рынке продвигается всё более плотная интеграция DWH и DataLake (хоть #Lakehouse термин и совсем не нов, в отличие от какого-нибудь редкого #StreamHouse'a) за счёт таких технологий как #Iceberg (не надо тут про #Hudi и #Deltalake только)), Trino, #StarRocks (он же и как лейкхаус технлогия вроде продвигается? или только как #ClickHouse-киллер? 😂) да и остальные SQL-движки проворно с ним интегрируются, что РФно/open-source'ные что забугорно-облачные
- Остальные "киллеры" вроде #Dagster, как #Airflow-киллер, и #SQLMesh пока не торопятся теснить монополистов (хотя и выглядит супер-интересно!), да и вряд ли это произойдёт скоро и быстро (это в тч к посту зелёного слоника скепсис))
- разве что в #Airflow3 появились откуда то навеянные [data?] assets 😂
- #FiveTran купил SQLMesh быстрее, чем dbt 🙈

Кстати, да!
- #dbt Cloud – практически мировой стандарт монополист SQL-driven EL[T] поглотился ещё более крупным вендором, и многие затаив дыхание следили, а многие другие судорожно форкали dbt-Core в страхе потерять open-source'сность некоммерческого ядра продукта
- но пока ничего такого не произошло они даже опенсорснули #MetricFlow (можно почитать про него тут ..., а тут, что он не такой уж сам по себе хорош)
- только узнал про #OpenDBT и эта штука хоть и непонятно, как будет развиваться параллельно с вендор-версией, но с другой стороны уже всосала в себя некоторые интересные фичи dbt Cloud, и даже пошла куда-то дальше – оч интересно, но пока непонятно что с ней будет!
- можно почитать про неё (а мб и последить там за ней дальше, кто знает)) тут

- другой столп мировой датаинженерии – #Airflow – получил крупнейшее мажорное обновление за хз сколько лет, что пошатнуло обратную совместимость, вызвало поначалу много фи, и судя по всем ещё долго минорные правки будут готовить этот релиз к большим продакшенам и миграциям (#Airflow3)
- как там с ним, кто пробовал?)

- #dlt... пока не удалось потрогать, но судя по плотной интеграции в Modern Data Stack (с теми же Dagster и OpenDBT) он стремительно развивается!

В остальном всё вроде по-старому:
- #Hadoop и #Greenplum давно уже не торты (ну по крайней мере, совсем не Modern Data Stack)), но по-прежнему держат позиции (хотя прогрессивные и мигрируют уже в #Iceberg)

Кому следить за трендами DE – неплохие дайджесты выходят тут

#RussianBI цветём всеми цветами, как обычно! (Сколько сейчас уже в "Круге Громова"?))
- из новинок – новый круг по ETL
- #Рома Бунин оформил свои знания и corp-BI-фрейворки как книгу – теперь можно прям по науке дэши пилить, не бизнес-импульсивностям))

Дальше текст не влезает) To be continued + будем эти темы разворачивать и чёнть ещё придумаем (материалов накоплено, как жирка у медведя на зиму)) 😁

PS выше ещё пост гляньте плз, а то дедлайн сорвал + не в топе ещё 😅#бап

кстати, вот прям ща случайно в чате одном наткнулся:
- всем кто пытается успеть дособеситься к НГ, мб не оч успешно, и уже подвыгорел – помните, что... 😂😁

как там с рынком вообще??
- правда не очень, как почти все говорят?

#собесы

А вот вы это понимаете? Я к тем самым, у кого вдруг не выходят эти самые нахваленные выкрутасы с ИИ-агентами 😁

https://t.me/rockyourdata/5621?comment=51247

#SWE-агенты #swe_agents

Ну вообще ладно, про ИИ сейчас из каждого утюга, а вот я тут внезапно посмотрел на название канала, и осознал… мы же тут не только про технологии и ИИ в тч собрались!

Вот прямо сейчас обсуждаем вчера обсуждали целевой стек / #скиллсет для mid DE! 😁

https://t.me/digitalberd/3134/54883
- заходите, подключайтесь, дискутируйте..

#upd забыл самое главное!
- строку

• Data Warehouse (Snowflake / BigQuery / Redshift Databricks)

поменять на

• Data Warehouse
- для РФ: ClickHouse / Trino / Spark + S3 / Iceberg / Hadoop / Greenplum*
- для загран: Snowflake / BigQuery / Databricks

* для РФ надо знать хорошо одну слева (и оч желательно ещё одну хотя бы немного) + что-то хотя бы одно справа

#skillset #mid #midDE

Анализ 400k вакансий hh.ru: как мы строили пайплайн и какие тренды нашли
- https://habr.com/ru/articles/979118

Такие заголовки всегда кликбейтят, ибо жаждущие умы / ярые вкатуны надеются обрести по ссылке сокровенные инсайты и узреть тайный путь к тем самым "300К/сек", а успешно работящие хотят глянуть на рынок, чтобы решить, когда заикаться о повышении или/и обновлять сиви 😂

https://arc.net/l/quote/ewirvdqt

Начинающим data-инженерам и дата-сайентистам: Весь код в открытом доступе и может служить учебным примером построения end-to-end ETL/ELT пайплайна на Python.

DSы могут сразу переходить к датасету: https://disk.yandex.ru/d/WC92JiyIumrQDQ
- впрочем датасет довольно бедный, даже текста вакансии нет, впрочем, можно перезагрузить, если оно есть в API (392748 записей – неужто в API никаких лимитов нет??.. невероятно – это ж можно новый сервис поверх HH.ru собрать как-будто))

Про датаинжей это, конечно, спорно, ибо тут мы не видим ни окрестратора, ни тулизированного data ingest, ни какой-то трансформации данных...
- тем не менее, можно как раз взять код и попробовать всё это прикрутить. Где-то мб, конечно, избыточным... впрочем, всегда можно придумать, как это может улучшить идею проекта. Взять тот же анализ данных – тут любую трансформацию данных придумать на изи!

- Dear Cloude Code, give me solution to find me some insights from data, create dbt models... <bla-bla-bla> Let's start with plan)

И погнали!.. 😁
Вполне себе неплохой (да ещё и полезный, а как максимум – потенциально могущий прославить создателя) #пет-проект может выйти!


#summary part:

Идея проекта
• Рынок IT-вакансий динамичен, нужны данные для понимания трендов.Link
• Цель — создать систему для сбора, обработки и анализа данных с hh.ru.Link
...
• Вспомогательные технологии: httpx, pydantic, pandas, matplotlib/seaborn, SQLite.Link

Схема работы данных
• Сбор и валидация: асинхронный сбор данных, проверка через Pydantic.Link
• Трансформация и анализ: загрузка данных в pandas, группировка, расчёт метрик.Link
• Визуализация: генерация графиков с помощью matplotlib/seaborn.Link

#hh #salary_analytics #джуныбольшененужны?? #pet

1) По совпадению сегодня узнал, что приятель так же пилит HH.ru-"парсер" (это по сути не парсер, пч действительно можно всё по API забрать – никаких тебе лимитов!.. 🙈)

Ну у него #датасет, конечно посерьёзней выходит:

- во-первых он не допустил "джуновской" ошибки авторов статьи, и забирает все сырые данные (не фильтруя колонки) – настоящий датаинженерный подход! 🤓
(оно и понятно – он опытный DS: для них "полнота фичей" – не пустой звук))

- во-вторых, он уже туда #LLM прикрутил и на выходе получает и улучшенные описания вакансий (загрузку и обогащение данных LLMкой я бы разнёс, но мб там так у него оптимальней выходит – не видел его пайплайн)


2) Ну вот, только потренить и попариться хотел сходить, а тут #Редж выступает – такое пропустить нельзя, конечно... 😁🍿
- https://t.me/data_career/2120

вот его запрос на забор #вакух с HH.ru 😂

как думаете, какой процент отсекается от всех ИТшных так?)

Кстати, раньше то, оказывается, был и полный доступ по API для соискателей, и была прям ниша сервисов, автоматизирующих авто-отклик… (это когда какой-то "робот" откликается за вас на те вакансии, которые считает для вас релевантными)

Я как-то пропустил это. Только какой-то тестовый нативный автоотклик в HH.ru пробовал, но апплаил меня на всё подряд от 1Са до фронтенда 🙈

Вот только сейчас наткнулся на бота у себя, которого активировал, но так и не добрался поиспользовать, а теперь фсё! 😅

THE 2025 MAD LANDSCAPE

Обновлённая картинка, почитаемая многими, хотя я от неё большого толку не вижу, кроме как распечатать и повесить на стену около рабочего места, чтобы все думали, что считали вас за глубочайшего эксперта и широчайшего специалиста, и со всякой фигнёй не приставали, а начальство почаще зп и грейд повышало 😁

https://mattturck.com/landscape/mad2025.pdf
https://mad.firstmark.com
#MAD2025 #MAD #y2025