Инжиниринг Данных
23.6K subscribers
2.02K photos
57 videos
193 files
3.23K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Ну вы поняли ;)

#aidev
💯21🌚1221🐳1
Как же круто Opus 4.6 в исполнение Claude Code при поддержки dbt и MCP делает сравнение и проверки. Да еще, сам предложит улучшения.

Раньше делали всякие кривые data diff и тп инструменты, а теперь просто просим сравнить Prod и измененный Dev.

Если надо и док сгенерит и письмо напишет с объяснениями.

Но как все замечают с AI вы работаете намного больше, вы просто не можете остановиться, ведь все ваши идеи и задачи превращаются в реальный результат.

#aidev
1❤‍🔥17🙈12💯65
На OpenClaw я не решился из-за безопасности и решил по старинке N8N.

Теперь-то можно все на outsource отдавать агентам.

Как в песне - Не могу остановиться.

#aidev
❤‍🔥6👨‍💻4
Очень классная презентация про миграция с Fivetran на Airbyte и потом на dlt.

У меня есть один Fivetran и он дороже Snowflake, вот думаю с AI я смогу его на easy эмигрировать. Как у вас опыт с dlt и Airbyte?

Claude слайды прям в сердечко=)

https://docs.google.com/presentation/d/e/2PACX-1vQvJapgEkJxgpsWqoMlmEw-ctV3gZe0LLc5oZBHaJNezBGAYKYoyir1aQi-37tO37SjFGaYjmQJhi_r/pub?start=false&loop=false&delayms=3000&slide=id.g175a817e68e_3_932
💯1
А вот мой Fivetran - 20 аквтиных подключений и пример Snowflake (январь 2026), который еще не только обрабатывает Fivetran 20 источников, а еще есть Azure Data Factory и там очень много данных из Azure SQL и CosmosDB.

Это лишь один из Fivetran и Snowflake, просто тут я знаю всю от и до.

Перекинуть все на dlt или даже написать Python можно, но это время и никак не повлияет на меня.

Главное преимущество Fivetran - это сервис. Он сам все делает, я вообще туда не захожу.

С Airbyte и Meltano OS я работал, это было вечное ковыряние в коде и куча багов (еще до AI мира).
Вчера еще была статья в комментах про то, как команда выкинула нафиг весь код и open source и людей, которые писали этот корявый код (и не важно с AI или без).

https://medium.com/@reliabledataengineering/dbt-databricks-the-combo-that-cut-our-data-team-from-12-to-5-engineers-be97e83fa7cb

Очень интересный сценарий, на заметку боссам и CDO. Но в РФ реалиях это не работает.

Я кстати вспомнил, что в прошлом году общался с VK и там была позиция на Max типа CTO/CDO платформы, но надо было закрыть ее в декабре.

Вообще место хорошее, ведь этот человек может реально попробовать повлиять на качество сервиса и пилить самую современную дата платформу и заодно модернизировать VK Cloud и развивать их любимый Lakehouse + Iceberg. Думаю так все ок с бюджетами.

Но я бы хотел смотреть в сторону managed DuckLake или пилить аналог Databricks (Compute + Notebooks + Data ingesting + ML + pipelines) и все это с интерфейсом в YML.
This media is not supported in your browser
VIEW IN TELEGRAM
33❤‍🔥12🫡11💯7🙈1
Заметил как народ сейчас начал активно впаривать курсы по Claude Code и AI разработке за дорого и решил сделать бесплатный курс и добавил на dataengineer.ru - Claude Code 101

Так как проект dataengineer.ru сидит в GitHub repo, то он полностью открыт и можно вносить изменения в курс всем желающим.

Курс получился простой и легкий. Последняя глава про возможность использовать Claude Code с бесплатными моделями. Я сам так не делал, но поискал информацию про это.

#aidev
14❤‍🔥12022🫡1