Инжиниринг Данных
23.8K subscribers
2.03K photos
60 videos
194 files
3.24K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Норм движ там у Anthropic. Они воруют данные, чтобы обучать модели. А китайские ребята уже воруют у антропика их результат💰

А как отечественные модели делают? Они пылесосят запрещенку или уже готовый результат берут?))
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈23😭8❤‍🔥4🫡3
Databricks is no longer about tuning knobs - отличную тему поднял Zach. Это тот Зак, который уже млн 3$ заработал на курсах по Data Engineering. Его bootcamp стоит 1500$ с носа + подписка и онлайн курсы. Вот что значит есть аудитория.

Зак утверждает, что Databricks постепенно отходит от дата-инженеров в сторону аналитиков и менее технических пользователей. Три ключевых аргумента:

Физическое моделирование данных больше не нужно — Databricks заменил ручное партиционирование, сортировку и бакетирование автоматическими инструментами (Liquid Clustering, Predictive Optimization), лишив инженеров контроля.

Покупка Tabular за $1B+ замедлила развитие Iceberg — управляемые Iceberg-таблицы в Databricks урезаны: нет скрытого партиционирования, ручной компактификации файлов, управления снапшотами. Всё подталкивает к «магии Databricks» вместо явного контроля.

Бизнесу не нужны дата-инженеры — ему нужен результат — компании хотят быстрые дашборды, работающие модели и дешёвые пайплайны, а не споры о стратегиях партиционирования. AI + платформа заменяют дорогих специалистов.

Вывод: рынок вознаграждает абстракцию, а не контроль. Маятник качнулся в сторону аналитиков, близких к бизнесу, а экспертам по распределённым системам становится всё сложнее найти своё место.

Про iceberg и Tabular реально обидно. Вообще, все используют Delta на Databricks и не сильно заморачиваются про Iceberg.

Я тоже считаю, что учиться надо на реальных вещах - партиции, компрессия и тп. Это классно, когда вендор может сделать magic, но лучше понимать, что происходит под капотом.

На собеседовании вас это именно и спросят.
18🌚6❤‍🔥3
Все для работы с AI — со скидками до 40% 

Cloud.ru предлагает выгодные условия на ключевые сервисы для AI-инфраструктуры:

😶‍🌫️Evolution Bare Metal — скидка до 40%
Выделенные физические серверы с полным доступом и управлением только для вас

😶‍🌫️Evolution ML Inference — скидка до 15%
Запуск и развертывание AI- и LLM-моделей

😶‍🌫️Аренда GPU — скидка до 30%
Виртуальные машины, серверы и ML-сервисы с графическими ускорителями
Количество участников ограничено: успейте подключиться и сократить расходы на вычисления без потери производительности
Please open Telegram to view this post
VIEW IN TELEGRAM
8😭5🙈41
Короче я все понял, как надо хайповать в Linkedin.

Вот вам мой Playbook.

Сценарий 1 - я пишу, что AI заменит всех вендоров и что код писать больше не надо. Ко мне сразу бежит народ доказывать, что я ничего не понимаю (мягко сказано) и начинают говорить как нужно. (У меня мысль всегда одна, если ты такой умный, то чего такой бедный🤑)

Сценарий 2 - тегаем Зака 🤴, говорим, что он красавчик, дописываем пару своих мыслей, НО не добавляем ссылку на его пост. Все начинают переживать, как же так, я цитирую самого Зака но ссылку не добавил…Потом приходит Зак и говорит, что надо бы ссылку добавить… Я ссылку добавляю и отвечаю на 40 комментариев. Мир LinkedIn спасен!


Охваты, лайки, шеры и тп. Вот это я понимаю шоу бизнес. А писать умные вещи про архитектуры, дизайны это все сложно и лениво.

Я это еще понял, когда на яхте (не в ту дверь вошел) кружок записал, надо больше 💅 наваливать, тогда все будет! 🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥74🌚23🙈1716💯8😭7🐳1👨‍💻1🫡1🙉1
Очень интересный анонс. Из всех технологий ducklake мне сейчас больше всего нравится своей простотой и практичностью. Я себе собрал для Surfalytics аналитики студентов и разбираюсь потихоньку.
❤‍🔥29💯5
Опачки, появились AI детекторы в Grammarly.

Как я понимаю скоро уже текст так легко не на генерить, чтобы выдать за свой, по крайней мере на английском.

Наверно такие же потом будут для кода.
85🌚2💯1🍌1
Хочу добавить в dataengineer про VPN и другие решения для безопасного доступа в интернет🧑‍🌾

Напиши в комментах про варианты с VPN, proxy и другие и я создам новую страницу.

Только не скидывайте ссылку, а то будет бот удалять, можно просто ssikla . Ru (раздельно)

Или как когд


ssilka.ru


Я только про дядя Ваня знаю, работает четко из Канады.
Please open Telegram to view this post
VIEW IN TELEGRAM
💯5
Финтех компания Block, уволила 40% компании и честно призналась, что люди стали работать с AI по другому, меньше размер команды, меньше уровней и зависимостей, больше эффективности.

CEO все сказал как есть. Нам конечно от этого не легче, но думаю вектор понятен.
🫡18💯10🌚8❤‍🔥11
Сегодня они радуются как юристы делают PR, а завтра решат сократить половину компании. Тоже fintech.

PS у Claude Code новая турбо пушка фича

1. Запускаем Claude Code как обычно, создаем бранч и начинаем работать…
2. Собираемся на прогулку за вашим любимым банановым рафом (к сожалению в суровой Канаде, нет таких изысков)
3. Выполняем команду телепорта, которая отправляет нашу сессию в Claude web


claude —teleport session_9482948jfsdfl


4. Подключаемся с телефона и продолжаем vibe работу.
❤‍🔥33😭4
Друзья! У мамы моего друга проходит психологическое исследование для дипломной работы — она изучает опыт людей, переехавших в другую страну. Если вы живёте за рубежом, пожалуйста, уделите 10–15 минут и заполните анкету. Сейчас ответов пока мало для статистической значимости — каждый ответ на счету!
👉 https://docs.google.com/forms/d/e/1FAIpQLSe_O1dDJ67wIWHAu8rngMtLqct7G29PbLBJLw_RNGNorRgkJw/viewform
🫡269❤‍🔥8🙉1🙊1
Если в работе с BI слишком много ручных действий, 10 марта в 12:00 мск можно будет разобраться, как это автоматизировать.

Yandex Cloud проведёт вебинар «API в DataLens – все пути автоматизации»: покажут, как автоматизировать процессы и упростить работу через Public API и API-коннектор.

Вебинар будет полезен BI-аналитикам, дата-инженерам, разработчикам, системным архитекторам и руководителям аналитики.

Участие бесплатное, предварительно необходимо зарегистрироваться.
❤‍🔥7🍌3🙈3
Что делать если у вас нет реального опыта, а хочется работать дата инженером или кем-то еще?

Ответ простой, находите вакансии с нижней планкой зарплаты и туда идете работать. Опытные люди (даже если опыт 1год туда не пойдут), поэтому вы будете конкурировать с такими же вкатунами кандидатами:)

Как я понял 200к для дата инженера это как раз такая планка, где можно экспериментировать🎮
Please open Telegram to view this post
VIEW IN TELEGRAM
🌚21❤‍🔥3🍌3🙈3
🎙 Курс «Основы Data Governance» | онлайн, 16–25 марта

Приглашаем ИТ-директоров, CDO, CDTO, Heads of BI, Data Stewards и руководителей-стратегов в управлении данными на редкий курс по Data Governance – проходит только 1 раз в году в формате живого диалога и обмена опытом.

⚡️ Курс даст понимание, как выстроить ключевые процессы для обеспечения качества, прозрачности и надёжности данных в компании. Участники детально разберут модели, роли, метрики, запуск DG и реальные кейсы – в закрытом экспертном сообществе.

В программе курса:
– 9 модулей: от основ DG, DQ и MDM до AI Governance,
– разработка программы DG и системы метрик,
– разбор кейсов + готовый Excel-гайд по DG для вашей компании.

Участники получат:
– домашние задания с обратной связью, консультации с экспертом,
– сертификат участника и доступ к материалам курса.

Ведущий эксперт – Александр Бараков, Head of BI Авито

Забронировать место в потоке 2026 – на курсе осталось всего 5 мест!
19🤷‍♀4🐳4
ARKInvest BigIdeas2026.pdf
10.3 MB
Качественный отчет от ARK Invest про большие идеи 2026 года для бизнеса и инвестиций.

Главный тезис: прорывные инновации ускоряют рост мирового ВВП до 7.3% к 2030 (МВФ прогнозирует лишь 3.1%). Капитализация инновационных компаний может расти на 35% CAGR.


12 инвестиционных идей
1. AI-инфраструктура Инвестиции в дата-центры → $1.4T к 2030. Стоимость инференса упала на 99%. Nvidia под давлением AMD и Google.

2. AI — потребительская ОС AI-агенты переписывают поиск и e-commerce. AI-поиск вырастет с 10% до 65% трафика → ~$900B выручки.

3. AI-продуктивность Стоимость кодинга упала на 91%. OpenAI растёт на 250% в год. Рынок ПО может достичь $3.4–13T.

4. Bitcoin Институциональное принятие: ETF и публичные компании держат 12% предложения. Рынок цифровых активов → $28T к 2030.

5. Токенизированные активы Стейблкоины — $3.5T объёма. Закон GENIUS Act ускоряет институциональное принятие. Рынок токенизации → $11T+.

6. DeFi Выручка DeFi-приложений — $3.8B в 2025. Догоняют традиционные финтехи. Layer 1 становятся монетарными активами.

7. Мультиомика AI снижает стоимость разработки лекарств с $2.4B до $0.7B, а сроки — с 13 до 8 лет. Генная терапия. Рынок долголетия — ~$1.2 квадриллиона.

8. Многоразовые ракеты SpaceX снижает стоимость запуска на 95%. Starship целит в <$100/кг. Спутниковая связь → $160B.

9. Робототехника $26T возможность автоматизации. Tesla Optimus — путь к человеческому уровню к 2028.

10. Распределённая энергетика Солнце и батареи дешевеют. Нужно ~$10T инвестиций в энергетику к 2030.

11. Автономные автомобили Роботакси забирают долю у Uber/Lyft. Tesla лучше всех позиционирована. Рынок → ~$34T enterprise value.

12. Автономная логистика Дроны, роботы, грузовики — автономная доставка уже здесь. Затраты падают на 60–90%. Выручка → $480B.

В самом отчете много красивых графиков.
❤‍🔥321
This media is not supported in your browser
VIEW IN TELEGRAM
Приглашаем на вебинар 12 марта, на котором коллеги из проекта Easy Report расскажут о Генеративном BI и покажут, как это работает на практике.


Содержание вебинара:

1️⃣GenBI: что это на практике и где он дает максимальный эффект

2️⃣Какие запросы на “ИИ в BI” сейчас у топ-компаний

3️⃣Easy Report: эволюция от BI в мессенджере к GenBI, с промышленными внедрениями в энтерпрайзе

4️⃣Демонстрация функционала на реальных сценариях (расчеты и отчеты "на лету", запросы на естественном языке, поиск инсайтов и др.)

5️⃣Что дальше: наш роадмэп

Участие бесплатное по предварительной регистрации.

🚀 Регистрация и подробности.

🗓 12 марта, 11:00 мск • Онлайн




Реклама. ООО «САПИЕНС», ИНН 7731438804, Erid: 2W5zFJrhv3j
❤‍🔥3🙈3🐳1🌚1
NVIDIA ищет архитектора орбитального дата-центра — и это не шутка

На сайте NVIDIA появилась вакансия с названием, которое ещё год назад звучало бы как фантастика: Orbital Datacenter System Architect — архитектор орбитального дата-центра. Это первая публичная вакансия такого рода от одной из крупнейших технологических компаний мира.

Что это говорит нам о планах NVIDIA?
NVIDIA не строит ракеты и не запускает спутники — но именно её GPU стоят в сердце каждого орбитального вычислительного проекта.

Starcloud уже запустил H100 на орбиту. SpaceX подала заявку в FCC на миллион спутников-дата-центров. Blue Origin, Aetherflux, Relativity Space — все они так или иначе завязаны на NVIDIA-железо. Теперь компания хочет иметь собственного человека, который понимает, как всё это работает в космосе.

Что будет делать этот специалист?
Это не просто «перенести дата-центр на орбиту». Задачи принципиально другие:
🌡️ Тепловое управление — в вакууме нет воздуха, тепло отводится только излучением. GPU греются, а охлаждать их нечем. Нужно проектировать радиаторы, тепловые трубки и всю архитектуру под законы физики открытого космоса
Энергетика — только солнечные панели, батареи и строгий энергобюджет. Никаких розеток
🛰️ Надёжность — космическая радиация убивает обычную электронику. Нужна радиационно-стойкая архитектура и системы резервирования
🔗 Связь — лазерные межспутниковые линки, задержки, пропускная способность. Как GPU-кластер общается между собой на орбите?
🏗️ Системная интеграция — как упаковать мощности уровня дата-центра в спутник весом в несколько сотен килограммов

Почему именно сейчас?
Эрик Шмидт сказал это прямо: «Через 30–36 месяцев самым экономически выгодным местом для ИИ-вычислений станет космос».

Земля заканчивается — энергосети перегружены, вода для охлаждения дефицитна, места под дата-центры нет. Орбита даёт солнечную энергию 24/7 и бесплатный вакуум для охлаждения.

NVIDIA это понимает. И теперь нанимает людей, которые превратят эту идею в железо.

https://nvidia.wd5.myworkdayjobs.com/en-US/NVIDIAExternalCareerSite/job/Orbital-Datacenter-System-Architect_JR2014044

#space #orbitaldatacenters
❤‍🔥40🙈14🦄7🤷1
На Coursera появился курс AI Fundamentals от Google. С ним дают Gemini Pro бесплатно на 3 месяца.

А про Claude я видел, что можно попытаться подать на Open Source заявку https://claude.com/contact-sales/claude-for-oss и получить много токенов.
28❤‍🔥3
Please open Telegram to view this post
VIEW IN TELEGRAM
🐳41😭12🙈8💯7👨‍💻4