Инжиниринг Данных
23.8K subscribers
2.25K photos
63 videos
194 files
3.33K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Live stream finished (1 hour)
Оказывается GitHub переживает тяжелые времена. Я сам замечаю как мои простые jobs на расписание работают через раз.

Получается для critical pipelines GitHub все хуже.

А как у вас?
💯17🙈1
Недавно был интересный случай. Моя компания Rock Your Data попала в небольшой тендер на разработку хранилища данных.

Моим оппонентом была небольшая консалтинговая компания, которая решила предложить стартапу внедрить Microsoft Fabric + Power BI. Это была их фатальная ошибка.

А я предложил Snowflake + dbt (внутри Snowflake), Metabase BI (6$ за место в месяц) и оставить оркестрацию внутри Snowflake.

А самое главное — сказал, что сразу буду использовать Claude Code и сделаю для них фреймворк, где разработка будет на Claude, а их единственный аналитик-джун станет дата-инженером.

На картинке — изначальный план агентства.

Агентство, конечно, лукавило, когда говорило, что сделает им всё за небольшие деньги на Microsoft Fabric.

Решения Microsoft — для Enterprise-компаний, когда у вас есть несколько команд по 10 человек и вы можете позволить себе ничего не делать месяцами (создавать видимость работы).
💯30🌚13❤‍🔥6🐳2
В новой статье Headed for the Exit: the Great Engineering Leader Career Break, автор делится наблюдениям про высокие инженерные должности.

CTO, VP of Engineering, Head of Engineering — люди, которые ещё вчера были на вершине карьеры — сейчас пачками уходят с позиций. Без нового места. Просто уходят.
The Pragmatic Engineer опросил почти 20 таких руководителей. Вот что они говорят:
Почему уходят:
1️⃣ Работа стала невыносимой — фаундеры с «AI-психозом» сами пишут код и сливают 60к строк в продакшн, ожидая магии. А разбираться с последствиями — CTO
2️⃣ Equity сгорает — сложные структуры инвесторских предпочтений делают даже 2% акций бесполезными. Зачем терпеть, если выхлопа не будет?
3️⃣ Без AI-опыта ты уже устарел — рынок хочет тех, кто уже трансформировал компанию под AI. Сидишь в «медленной» компании — отстаёшь
4️⃣ Команды сжались — один fullstack-инженер с AI делает работу пяти. VPE просто не нужен при команде из 4 человек
5️⃣ Fractional CTO выгоднее — зачем один работодатель, если можно работать с пятью параллельно?
6️⃣ AI-стартапы платят рядовым инженерам больше, чем обычные стартапы платят своим CTO. Математика не в пользу руководства
7️⃣ Выгорание — давление со всех сторон, нереалистичные ожидания, и ощущение что ты Дон Кихот


Роль инжиниринг менеджера в 2020 и в 2026 сейчас очень разные, и многие не хотят работать в таких условиях. Я полагаю сейчас вырастает новый тип руководителей, которым легче вариться в таких условиях.

Особенно хорошо написано про деньги - AI направления = больше денег у IC, чем у C уровня не AI. А еще лучше несколько fraction ролей (part time).

А как у вас ощущения?
🙈9🙊6🤷3🐳1
Поделюсь своими ощущениями по использованию AI агентов. Этап эйфории прошёл.

Немножко поподробней про этот этап. У вас есть Claude Code и больше ни у кого его нет. У вас уже настроены MCP ко всем дата-сервисам и базам, и Claude делает за вас 100% работы. Любую задачу вы решаете мгновенно. Коллеги не понимают, что такое Claude Code, и все делают по старинке руками. На их фоне вы просто монстр производительности, даже можете менять и траблшутить Source Code.

Дальше компании начинают инвестировать в подписки Claude Code, и уже волей-неволей у всех появляется Claude. Ты им показываешь, как с ним работать и как всё работает. 2–3 месяца — и коллеги уже могут сами использовать MCP и делать PR через агентов.

Первый звоночек — обычно что-то вроде: «Ты слишком быстро всё сделал, и агент написал лабуду». То есть надо уже больше смотреть за агентом, всё перечитывать и перепроверять. Особенно сложно это делать, когда открыты несколько активных серий в разных репозиториях с серьёзными изменениями.

Также изначально Claude создавал код поверх кода, написанного руками. Этот код очень понятен, ведь ты его сам писал. Но спустя полгода код весь написан уже агентом, и мы уже на 100% зависимы от агента, ведь без него уже очень сложно разобраться, как там всё устроено и как это дело быстро подправить.

И теперь мы приходим к тому, что все одинаково умеют использовать агентов, друг другу проверяют PR, пишут огромные простыни текста — что починить, что исправить. То есть человек как proxy между общением агентов. 😄

Вся скорость и производительность выветриваются, и по факту вам надо больше и тяжелее работать. Если раньше вы работали на 120%, а команда лишь на 20%, то теперь это уже 115% на 120%, то есть в лучшем случае вы немного лучше, но какой ценой?!

Таким образом, мы пришли к тому, о чём говорили всегда: работы стало больше, задачи стали сложнее, а требования по скорости и качеству — выше. Я вижу на примерах, как растут аппетиты у VP-уровня, особенно когда они сами могут общаться с данными и находить инсайты. Они хотят больше и быстрее. У бизнеса теперь много идей, которые надо внедрить.

Да, даже элементарно — частота стендапов возросла до ежедневной, и уже не скажешь «я там ковыряю код», ведь за тебя агент может всё перековырять — сиди и читай, читатель-инженер.

Что будет дальше? А дальше требования будут расти. Даже от новичков будут требовать больше. Вам ведь думать не надо — за вас агент думает, поэтому просто сидите и общайтесь с ним, разбирайтесь. Задач будет больше, требований больше, свободного времени меньше. Людей однозначно нужно больше. Агенты ещё те шалунишки — нужен глаз да глаз за ними, а то положат продакшн. Это ещё не так критично в области data, а вот в customer-facing apps — там ещё сложнее.

Я спросил агента про известные концепции:

Jevons Paradox (Парадокс Джевонса)
Чем эффективнее технология, тем больше её потребляют. Производительность выросла → бизнес поднял планку → работы стало больше, а не меньше. Классика, описанная ещё в 19 веке применительно к паровым машинам.

Automation Bias
Склонность доверять автоматизированным системам больше, чем следует. Отсюда и «агент написал лабуду, но никто не заметил» — люди перестают критически проверять вывод системы.

Skill Atrophy / Deskilling
Деградация навыков из-за делегирования задач инструментам. Ты описал это точно: «код весь написан агентом, и без него уже сложно разобраться». Это активно обсуждается сейчас применительно к junior-разработчикам, которые никогда не научатся думать самостоятельно.

Productivity Paradox (Парадокс производительности)
Технологии растут, а реальная производительность и удовлетворённость сотрудников — не обязательно. Впервые описан в контексте IT-революции 80-90х годов (Solow Paradox).

Alert Fatigue / Review Fatigue
Когда объём вещей, требующих внимания, превышает когнитивные возможности человека. У тебя это — несколько открытых PR в разных репозиториях одновременно.

Shifting Bottleneck
Узкое место не исчезает, оно перемещается. Раньше бутылочное горлышко — написание кода. Теперь — ревью, понимание, верификация того, что написал агент.
💯104❤‍🔥17🐳87😭4
В пятницу отправимся в небольшой поход с палатками. Если вы в Ванкувере, можете присоединиться.

Из Deep Cove до Granite Falls (до конца Indian Arm).

Пример маршрута с фотками.

Возможно уже лосось приплыл и плещется рядом с Indian River, вот и проверим. Можно использовать кану, каяк, падл борд.
❤‍🔥16🐳8
Поделюсь наблюдениями за enterprise-компаниями.

1.Большие и скучные enterprise (Finance, Insurance, Government, Health и т.д.) сидят на Microsoft.

2. У них большие команды, которые умеют эффективно посещать митинги, тренинги и кивать головой, когда старший по званию выступает.

3. На данном этапе эволюции AI у них есть бесплатный Copilot в Microsoft Teams. Правда, он бесполезный для работы. Все другие инструменты заблокированы — на всякий случай, ведь служба безопасности делает свою работу (ради работы).

4. Инфраструктуру поддерживает отдельная команда в IT, которая никому и ни за что не даст доступ. При этом от вас кое-что хотят. У вас будет 3 среды — DEV/TEST/PROD, и каждая среда будет иметь свой целевой бранч: dev/test/main. Также будет процесс релиза — неважно, нужно это или нет.

5. Никто не может сделать ничего. Любое изменение требует множества митингов, а любой косяк будет обсуждаться неделями как критичный и опасный для всей компании. Возможно, поэтому никто не хочет ничего делать, чтобы не накосячить.

И это не единичный случай — это большинство компаний, где мне приходилось работать как контрактору. Тут ещё может наложиться душный микроменеджер-руководитель, который является экспертом по созданию и мониторингу задачек и подзадачек на доске. Ваша эффективность = количеству закрытых (и созданных) задачек.

Во всей этой истории я нашёл единственный workaround — Azure DevOps. Это отдельный сервис, в котором есть Git Repos, Pipelines, Wiki, Board/Tickets. Microsoft позаботился о том, чтобы вы могли подключаться к нему через PAT-токен и SSH-ключ (в репозитории). Таким образом, вы можете смотреть на код, создавать тикеты, писать документацию с помощью своего Claude Code.

Но в целом для любителей классики без AI-агентов это прямо идеальная среда. Соответственно, если вас попросят уйти, то уж извините — ваши навыки Excel и Power BI могут понадобиться разве что такой же enterprise-организации.
💯40🍌12🙈8
Классно, что есть бесплатные ресурсы, где можно посмотреть как использовать AI в работе. Даже если это не best practices, все равно можно узнать что-то новое, увидеть новые инструменты.

Уверен в AI Dev Tools Zoomcamp: AI-Native Software Engineering можно подчерпнуть знания. Я сам не проходил, но знаю Zoomcamps подход - уверен, что есть полезная информация., тем более бесплатно.
❤‍🔥17💯64
Каждый раз когде мне прилетает PR, а прилетает много и часто - у меня в голове играет эта песня - “постой, паровоз....кондуктор нажми на тормоза

Надо бы им перевести🤬
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥9🌚21
Ну и чтобы понять как выглядит средний PR от Product Manager кто еще не знал ни dbt, ни snowflake несколько месяцев назад.

Это еще цветочки))
🌚19🙈13🐳3
Fuckup Night от создателей Trisigma, Ares и karpov.courses

Согласитесь, ивенты, где все делятся только своими успехами, уже поднадоели. Хочется реальных историй, где что-то пошло не по плану, но в итоге ошибка стала ценным опытом.

Поэтому команда Trisigma собирает Fuckup Night 26 августа — без записи и красивых цифр. Истории расскажут:
🔸 Виталий Черемисинов (Trisigma)
🔸 Роман Нестер (Ares, Arteus LLM и Segmento)
🔸 Валерий Бабушкин (British Petroleum)
🔸 Беслан Курашов (plevako.ai и karpov.courses)

Встречу проведут онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных.

⚡️ Важно! Записи не будет, поэтому приходите на эфир. Главное — не забудьте зарегистрироваться.
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌4❤‍🔥21
Оказывается Claude remote часто заблокирован, поэтому если в рабочий день вам нужно быть на природе, Happy Engineering вам в помощь - удаленный терминал в Claude code.
❤‍🔥4💯1