А вот вы это понимаете? Я к тем самым, у кого вдруг не выходят эти самые нахваленные выкрутасы с ИИ-агентами 😁

https://t.me/rockyourdata/5621?comment=51247

#SWE-агенты #swe_agents

Ну вообще ладно, про ИИ сейчас из каждого утюга, а вот я тут внезапно посмотрел на название канала, и осознал… мы же тут не только про технологии и ИИ в тч собрались!

Вот прямо сейчас обсуждаем вчера обсуждали целевой стек / #скиллсет для mid DE! 😁

https://t.me/digitalberd/3134/54883
- заходите, подключайтесь, дискутируйте..

#upd забыл самое главное!
- строку

• Data Warehouse (Snowflake / BigQuery / Redshift Databricks)

поменять на

• Data Warehouse
- для РФ: ClickHouse / Trino / Spark + S3 / Iceberg / Hadoop / Greenplum*
- для загран: Snowflake / BigQuery / Databricks

* для РФ надо знать хорошо одну слева (и оч желательно ещё одну хотя бы немного) + что-то хотя бы одно справа

#skillset #mid #midDE

Анализ 400k вакансий hh.ru: как мы строили пайплайн и какие тренды нашли
- https://habr.com/ru/articles/979118

Такие заголовки всегда кликбейтят, ибо жаждущие умы / ярые вкатуны надеются обрести по ссылке сокровенные инсайты и узреть тайный путь к тем самым "300К/сек", а успешно работящие хотят глянуть на рынок, чтобы решить, когда заикаться о повышении или/и обновлять сиви 😂

https://arc.net/l/quote/ewirvdqt

Начинающим data-инженерам и дата-сайентистам: Весь код в открытом доступе и может служить учебным примером построения end-to-end ETL/ELT пайплайна на Python.

DSы могут сразу переходить к датасету: https://disk.yandex.ru/d/WC92JiyIumrQDQ
- впрочем датасет довольно бедный, даже текста вакансии нет, впрочем, можно перезагрузить, если оно есть в API (392748 записей – неужто в API никаких лимитов нет??.. невероятно – это ж можно новый сервис поверх HH.ru собрать как-будто))

Про датаинжей это, конечно, спорно, ибо тут мы не видим ни окрестратора, ни тулизированного data ingest, ни какой-то трансформации данных...
- тем не менее, можно как раз взять код и попробовать всё это прикрутить. Где-то мб, конечно, избыточным... впрочем, всегда можно придумать, как это может улучшить идею проекта. Взять тот же анализ данных – тут любую трансформацию данных придумать на изи!

- Dear Cloude Code, give me solution to find me some insights from data, create dbt models... <bla-bla-bla> Let's start with plan)

И погнали!.. 😁
Вполне себе неплохой (да ещё и полезный, а как максимум – потенциально могущий прославить создателя) #пет-проект может выйти!


#summary part:

Идея проекта
• Рынок IT-вакансий динамичен, нужны данные для понимания трендов.Link
• Цель — создать систему для сбора, обработки и анализа данных с hh.ru.Link
...
• Вспомогательные технологии: httpx, pydantic, pandas, matplotlib/seaborn, SQLite.Link

Схема работы данных
• Сбор и валидация: асинхронный сбор данных, проверка через Pydantic.Link
• Трансформация и анализ: загрузка данных в pandas, группировка, расчёт метрик.Link
• Визуализация: генерация графиков с помощью matplotlib/seaborn.Link

#hh #salary_analytics #джуныбольшененужны?? #pet

1) По совпадению сегодня узнал, что приятель так же пилит HH.ru-"парсер" (это по сути не парсер, пч действительно можно всё по API забрать – никаких тебе лимитов!.. 🙈)

Ну у него #датасет, конечно посерьёзней выходит:

- во-первых он не допустил "джуновской" ошибки авторов статьи, и забирает все сырые данные (не фильтруя колонки) – настоящий датаинженерный подход! 🤓
(оно и понятно – он опытный DS: для них "полнота фичей" – не пустой звук))

- во-вторых, он уже туда #LLM прикрутил и на выходе получает и улучшенные описания вакансий (загрузку и обогащение данных LLMкой я бы разнёс, но мб там так у него оптимальней выходит – не видел его пайплайн)


2) Ну вот, только потренить и попариться хотел сходить, а тут #Редж выступает – такое пропустить нельзя, конечно... 😁🍿
- https://t.me/data_career/2120

вот его запрос на забор #вакух с HH.ru 😂

как думаете, какой процент отсекается от всех ИТшных так?)

Кстати, раньше то, оказывается, был и полный доступ по API для соискателей, и была прям ниша сервисов, автоматизирующих авто-отклик… (это когда какой-то "робот" откликается за вас на те вакансии, которые считает для вас релевантными)

Я как-то пропустил это. Только какой-то тестовый нативный автоотклик в HH.ru пробовал, но апплаил меня на всё подряд от 1Са до фронтенда 🙈

Вот только сейчас наткнулся на бота у себя, которого активировал, но так и не добрался поиспользовать, а теперь фсё! 😅

THE 2025 MAD LANDSCAPE

Обновлённая картинка, почитаемая многими, хотя я от неё большого толку не вижу, кроме как распечатать и повесить на стену около рабочего места, чтобы все думали, что считали вас за глубочайшего эксперта и широчайшего специалиста, и со всякой фигнёй не приставали, а начальство почаще зп и грейд повышало 😁

https://mattturck.com/landscape/mad2025.pdf
https://mad.firstmark.com
#MAD2025 #MAD #y2025

А вот и более полезная аналитика – https://t.me/data_career/2130

Ну и ещё можно посмотреть db-engines.com. Отдельной классификации по аналитическим СУБД движкам там, к сож, нет – приходится смотреть в рамках RDBMS рейтинга: https://db-engines.com/en/ranking/relational+dbms
- Можно увидеть, как стремительно несутся вверх #Snowflake и #Databricks, #GBQ пытается не сильно оставать (ключевое слово – "пытается"), непонятный буст #Hive (движуха вокруг #Iceberg и прочих lakehouse-метасторов?) и тихонечко топчется всеми нами любимый #ClickHouse... 👀

#db_engines #rank

Давайте попробуем такую папочку, пч свою дата-папку ещё не собрали (и идёт тяжко 😅), а вот специалисты по папкам регулярно приходят, всё готовенькое приносят – бери да пости! 😁 + пара каналов выглядят знакомыми/интересными...

#upd папку тут собираем, кто хочет в неё — приходите 😁