Инжиниринг Данных
23.8K subscribers
2.03K photos
60 videos
194 files
3.24K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Года два назад я писал про глобальную экспансию - increase global presence. Тогда я застал это в Microsoft и в Okta, когда менеджеры говорили открыто, что задание нанять 2х индусов, вместо одного Американца, так как дешевле.

Походу сейчас тренд меняется, в одно большой публичной компании закрыли офис в Индии и сократили всех разработчиков. Офис оказался неэффективным и одна из проблем была, что большая текучка кадров, то есть приходят, работают, но условия плохие и увольняется. И в целом оказалась, дешевая рабочая сила не сильно помогла компании.

PS наверно едут в Москву дворниками.
🤷12💯6🌚3🍌3
Пример сравнения платформа данных в РФ. Насколько соответствует действительности?
💯214❤‍🔥4🙊3🐳1
Who will be the first CIO fired for AI agent havoc? - с таким заголовоком вышла статья на CIO издательстве.

Вот как AI заменит руководителей в прямом смысле…

Краткое содержание статьи
Статья посвящена рискам неконтролируемого внедрения ИИ-агентов в крупных компаниях и угрозе увольнения CIO (ИТ-директоров) из-за последствий их работы.

Ключевые тезисы:
• Прогноз IDC: К 2030 году до 20% из 1,000 крупнейших компаний столкнутся с судебными исками, регуляторными штрафами или увольнением CIO из-за сбоев, вызванных неуправляемыми ИИ-агентами.
• Проблема каскадных ошибок: Когда несколько ИИ-агентов работают совместно, ошибка одного может лавинообразно усиливаться — остальные агенты действуют на основе ошибочного результата, создавая «бесконечный цикл».
• FOMO как драйвер: Многие компании спешат внедрять ИИ-агентов из страха отстать от конкурентов, не уделяя должного внимания управлению и контролю.
• Юридические последствия: Для исков не нужны новые законы об ИИ — существующие правовые нормы (например, HIPAA) уже применимы. ЕС будет активно штрафовать за нарушения приватности, штаты США тоже могут принять регулирование.
• Угроза для CIO лично: Совету директоров достаточно задать один вопрос — «Что именно делают наши ИИ-агенты?» — и если CIO не может ответить, его карьере конец. Потеря доверия совета происходит за секунды, в отличие от судебных процессов, которые тянутся годами.

Рекомендации:
• Вести полный реестр работающих агентов
• Обеспечить аудит-трейл от действия агента до бизнес-результата
• Включать человека в контур для чувствительных задач
• Добавлять «трение» для необратимых действий
• Проводить учения и заранее определять «красные линии»
• Делать процессы управления максимально прозрачными

Главный вывод:
Агентный ИИ не создаёт новых принципов управления — он лишь резко повышает цену их игнорирования. CIO, который сможет показать чёткие контроли и журналы аудита, будет в гораздо лучшем положении, чем тот, кто скажет «это система сделала сама».

Здесь не поспоришь, кому-то надо будет отвечать за vibe-coding, за утечку данных и другие прелести быстрой разработки.

Open AI и Antropic должны выпустить отметку, что это только не компетентные CIO уйдут, их заменит AI, а компании станут лучше, ведь, что вас не убьет - сделает сильней.
🫡15❤‍🔥5🐳2🙈2
Сейчас мой типичный workflow выглядит так:

1. У меня появляется вопрос или идея
2. Я открываю Claude Code CLI
3. Прошу сделать research на заданную тему и сохранить в Markdown
4. Открываю Google Doc -> Paste from Markdown
И получаю хороший документ.

Я скидывал про курс по Claude Code, которого будет достаточно, чтобы начать и привыкнуть к CLI и интерфейсу.

Сегодня посмотрел очень хорошее видео - How I use Claude Code (Meta Staff Engineer Tips), там 50 tips по использованию Claude Code в CLI, многие достаточно удобные и полезные. Очень рекомендую.

PS Не знаю это хорошо или плохо, но я написал 0 строчек кода с начала года. Будем считать, что иду в ногу со временем. И даже PR я уже сам не делаю, использую CLI утилитку gh для GitHub. Она может и PR писать, и GitHub Actions запускать. У каждого инструмента есть свой CLI.

А что мне остается?
• Архитектура решения
• Принятия решения
• Выбор инструментов
• Создание framework/pattern, в котором AI агент может делать простые задачки

Поэтому инвестиция в Claude Code это прям лучшая трата денег.

Хотя есть одна область, где прям совсем все плохо - попросил придумать MonteCarlo Monitors (проверка качества данных) - тут очевидно все плохо, не может понять, что проверять, зачем и как. Да я и сам не знаю.

PPS Общался с руководителем аналитики в РФ компании, он всем своим аналитикам оплачивает Claude Code. Раньше был Cursor, но переехали. Вот это уровень!


Чтобы учиться, я тоже теперь использую Claude Code. Например, хочу сделать проекты по Kafka/Flink и тп. Попросил Claude Code создать курс end-to-end. Очевидно, будет много проблем, но походу прохождения курса, все проблемы решаться.
🦄37❤‍🔥129👨‍💻4🫡1
Норм движ там у Anthropic. Они воруют данные, чтобы обучать модели. А китайские ребята уже воруют у антропика их результат💰

А как отечественные модели делают? Они пылесосят запрещенку или уже готовый результат берут?))
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈23😭8❤‍🔥4🫡3
Databricks is no longer about tuning knobs - отличную тему поднял Zach. Это тот Зак, который уже млн 3$ заработал на курсах по Data Engineering. Его bootcamp стоит 1500$ с носа + подписка и онлайн курсы. Вот что значит есть аудитория.

Зак утверждает, что Databricks постепенно отходит от дата-инженеров в сторону аналитиков и менее технических пользователей. Три ключевых аргумента:

Физическое моделирование данных больше не нужно — Databricks заменил ручное партиционирование, сортировку и бакетирование автоматическими инструментами (Liquid Clustering, Predictive Optimization), лишив инженеров контроля.

Покупка Tabular за $1B+ замедлила развитие Iceberg — управляемые Iceberg-таблицы в Databricks урезаны: нет скрытого партиционирования, ручной компактификации файлов, управления снапшотами. Всё подталкивает к «магии Databricks» вместо явного контроля.

Бизнесу не нужны дата-инженеры — ему нужен результат — компании хотят быстрые дашборды, работающие модели и дешёвые пайплайны, а не споры о стратегиях партиционирования. AI + платформа заменяют дорогих специалистов.

Вывод: рынок вознаграждает абстракцию, а не контроль. Маятник качнулся в сторону аналитиков, близких к бизнесу, а экспертам по распределённым системам становится всё сложнее найти своё место.

Про iceberg и Tabular реально обидно. Вообще, все используют Delta на Databricks и не сильно заморачиваются про Iceberg.

Я тоже считаю, что учиться надо на реальных вещах - партиции, компрессия и тп. Это классно, когда вендор может сделать magic, но лучше понимать, что происходит под капотом.

На собеседовании вас это именно и спросят.
18🌚6❤‍🔥3
Все для работы с AI — со скидками до 40% 

Cloud.ru предлагает выгодные условия на ключевые сервисы для AI-инфраструктуры:

😶‍🌫️Evolution Bare Metal — скидка до 40%
Выделенные физические серверы с полным доступом и управлением только для вас

😶‍🌫️Evolution ML Inference — скидка до 15%
Запуск и развертывание AI- и LLM-моделей

😶‍🌫️Аренда GPU — скидка до 30%
Виртуальные машины, серверы и ML-сервисы с графическими ускорителями
Количество участников ограничено: успейте подключиться и сократить расходы на вычисления без потери производительности
Please open Telegram to view this post
VIEW IN TELEGRAM
8😭5🙈41
Короче я все понял, как надо хайповать в Linkedin.

Вот вам мой Playbook.

Сценарий 1 - я пишу, что AI заменит всех вендоров и что код писать больше не надо. Ко мне сразу бежит народ доказывать, что я ничего не понимаю (мягко сказано) и начинают говорить как нужно. (У меня мысль всегда одна, если ты такой умный, то чего такой бедный🤑)

Сценарий 2 - тегаем Зака 🤴, говорим, что он красавчик, дописываем пару своих мыслей, НО не добавляем ссылку на его пост. Все начинают переживать, как же так, я цитирую самого Зака но ссылку не добавил…Потом приходит Зак и говорит, что надо бы ссылку добавить… Я ссылку добавляю и отвечаю на 40 комментариев. Мир LinkedIn спасен!


Охваты, лайки, шеры и тп. Вот это я понимаю шоу бизнес. А писать умные вещи про архитектуры, дизайны это все сложно и лениво.

Я это еще понял, когда на яхте (не в ту дверь вошел) кружок записал, надо больше 💅 наваливать, тогда все будет! 🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥74🌚23🙈1716💯8😭7🐳1👨‍💻1🫡1🙉1
Очень интересный анонс. Из всех технологий ducklake мне сейчас больше всего нравится своей простотой и практичностью. Я себе собрал для Surfalytics аналитики студентов и разбираюсь потихоньку.
❤‍🔥29💯5
Опачки, появились AI детекторы в Grammarly.

Как я понимаю скоро уже текст так легко не на генерить, чтобы выдать за свой, по крайней мере на английском.

Наверно такие же потом будут для кода.
85🌚2💯1🍌1
Хочу добавить в dataengineer про VPN и другие решения для безопасного доступа в интернет🧑‍🌾

Напиши в комментах про варианты с VPN, proxy и другие и я создам новую страницу.

Только не скидывайте ссылку, а то будет бот удалять, можно просто ssikla . Ru (раздельно)

Или как когд


ssilka.ru


Я только про дядя Ваня знаю, работает четко из Канады.
Please open Telegram to view this post
VIEW IN TELEGRAM
💯5
Финтех компания Block, уволила 40% компании и честно призналась, что люди стали работать с AI по другому, меньше размер команды, меньше уровней и зависимостей, больше эффективности.

CEO все сказал как есть. Нам конечно от этого не легче, но думаю вектор понятен.
🫡18💯10🌚8❤‍🔥11
Сегодня они радуются как юристы делают PR, а завтра решат сократить половину компании. Тоже fintech.

PS у Claude Code новая турбо пушка фича

1. Запускаем Claude Code как обычно, создаем бранч и начинаем работать…
2. Собираемся на прогулку за вашим любимым банановым рафом (к сожалению в суровой Канаде, нет таких изысков)
3. Выполняем команду телепорта, которая отправляет нашу сессию в Claude web


claude —teleport session_9482948jfsdfl


4. Подключаемся с телефона и продолжаем vibe работу.
❤‍🔥33😭4
Друзья! У мамы моего друга проходит психологическое исследование для дипломной работы — она изучает опыт людей, переехавших в другую страну. Если вы живёте за рубежом, пожалуйста, уделите 10–15 минут и заполните анкету. Сейчас ответов пока мало для статистической значимости — каждый ответ на счету!
👉 https://docs.google.com/forms/d/e/1FAIpQLSe_O1dDJ67wIWHAu8rngMtLqct7G29PbLBJLw_RNGNorRgkJw/viewform
🫡269❤‍🔥8🙉1🙊1
Если в работе с BI слишком много ручных действий, 10 марта в 12:00 мск можно будет разобраться, как это автоматизировать.

Yandex Cloud проведёт вебинар «API в DataLens – все пути автоматизации»: покажут, как автоматизировать процессы и упростить работу через Public API и API-коннектор.

Вебинар будет полезен BI-аналитикам, дата-инженерам, разработчикам, системным архитекторам и руководителям аналитики.

Участие бесплатное, предварительно необходимо зарегистрироваться.
❤‍🔥7🍌3🙈3
Что делать если у вас нет реального опыта, а хочется работать дата инженером или кем-то еще?

Ответ простой, находите вакансии с нижней планкой зарплаты и туда идете работать. Опытные люди (даже если опыт 1год туда не пойдут), поэтому вы будете конкурировать с такими же вкатунами кандидатами:)

Как я понял 200к для дата инженера это как раз такая планка, где можно экспериментировать🎮
Please open Telegram to view this post
VIEW IN TELEGRAM
🌚21❤‍🔥3🍌3🙈3
🎙 Курс «Основы Data Governance» | онлайн, 16–25 марта

Приглашаем ИТ-директоров, CDO, CDTO, Heads of BI, Data Stewards и руководителей-стратегов в управлении данными на редкий курс по Data Governance – проходит только 1 раз в году в формате живого диалога и обмена опытом.

⚡️ Курс даст понимание, как выстроить ключевые процессы для обеспечения качества, прозрачности и надёжности данных в компании. Участники детально разберут модели, роли, метрики, запуск DG и реальные кейсы – в закрытом экспертном сообществе.

В программе курса:
– 9 модулей: от основ DG, DQ и MDM до AI Governance,
– разработка программы DG и системы метрик,
– разбор кейсов + готовый Excel-гайд по DG для вашей компании.

Участники получат:
– домашние задания с обратной связью, консультации с экспертом,
– сертификат участника и доступ к материалам курса.

Ведущий эксперт – Александр Бараков, Head of BI Авито

Забронировать место в потоке 2026 – на курсе осталось всего 5 мест!
19🤷‍♀4🐳4
ARKInvest BigIdeas2026.pdf
10.3 MB
Качественный отчет от ARK Invest про большие идеи 2026 года для бизнеса и инвестиций.

Главный тезис: прорывные инновации ускоряют рост мирового ВВП до 7.3% к 2030 (МВФ прогнозирует лишь 3.1%). Капитализация инновационных компаний может расти на 35% CAGR.


12 инвестиционных идей
1. AI-инфраструктура Инвестиции в дата-центры → $1.4T к 2030. Стоимость инференса упала на 99%. Nvidia под давлением AMD и Google.

2. AI — потребительская ОС AI-агенты переписывают поиск и e-commerce. AI-поиск вырастет с 10% до 65% трафика → ~$900B выручки.

3. AI-продуктивность Стоимость кодинга упала на 91%. OpenAI растёт на 250% в год. Рынок ПО может достичь $3.4–13T.

4. Bitcoin Институциональное принятие: ETF и публичные компании держат 12% предложения. Рынок цифровых активов → $28T к 2030.

5. Токенизированные активы Стейблкоины — $3.5T объёма. Закон GENIUS Act ускоряет институциональное принятие. Рынок токенизации → $11T+.

6. DeFi Выручка DeFi-приложений — $3.8B в 2025. Догоняют традиционные финтехи. Layer 1 становятся монетарными активами.

7. Мультиомика AI снижает стоимость разработки лекарств с $2.4B до $0.7B, а сроки — с 13 до 8 лет. Генная терапия. Рынок долголетия — ~$1.2 квадриллиона.

8. Многоразовые ракеты SpaceX снижает стоимость запуска на 95%. Starship целит в <$100/кг. Спутниковая связь → $160B.

9. Робототехника $26T возможность автоматизации. Tesla Optimus — путь к человеческому уровню к 2028.

10. Распределённая энергетика Солнце и батареи дешевеют. Нужно ~$10T инвестиций в энергетику к 2030.

11. Автономные автомобили Роботакси забирают долю у Uber/Lyft. Tesla лучше всех позиционирована. Рынок → ~$34T enterprise value.

12. Автономная логистика Дроны, роботы, грузовики — автономная доставка уже здесь. Затраты падают на 60–90%. Выручка → $480B.

В самом отчете много красивых графиков.
❤‍🔥321