Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Если вы технический лидер, то вам обязательно нужно ознакомиться с книгами Ларсона.

Вот его 4ая книга:

Книга “Crafting Engineering Strategy: How Thoughtful Decisions Solve Complex Problems” Уилла Ларсона — это практическое руководство о том, как инженерным лидерам принимать осознанные стратегические решения в сложных технических и организационных условиях.

💡 Основная идея
Многие инженеры думают, что у их компании нет инженерной стратегии. Но чаще всего стратегия есть — просто она не работает или не осознана. Ларсон показывает, как превратить хаотичные решения в системный процесс: понять, где организация находится, куда движется и как выстроить шаги, чтобы дойти до цели.

📘 О чём книга
Как создавать и формулировать инженерную стратегию — не просто набор инициатив, а чёткий путь с приоритетами и критериями успеха.
Как диагностировать проблемы в инфраструктуре, архитектуре и процессах команды.
Как принимать крупные технические решения: миграции систем, отказ от устаревших API, развитие платформ и внутренних инструментов.
Как сочетать техническое мышление с управленческим — стратегия не только про код, но и про коммуникацию, доверие и культуру.
Как внедрять стратегию: от презентации и buy-in команды до операционного исполнения и обратной связи.

🧭 Для кого
Для старших инженеров, тимлидов, архитекторов и руководителей, которые хотят не просто "чинить баги", а направлять развитие систем и команд.

🧩 Примеры
Автор опирается на опыт из Stripe, Uber и Calm, где он работал, и показывает реальные кейсы:
как выбрать момент для переработки монолита,
как управлять техническим долгом без потери скорости,
как вводить новые стандарты и процессы, чтобы они не умерли через месяц.

Если коротко:
Это книга о том, как инженерам думать стратегически и влиять на направление компании через осознанные решения, а не через “пожарное” тушение проблем.
2❤‍🔥399🙈1
Инновации создают новые возможности и новые профессии😎
Please open Telegram to view this post
VIEW IN TELEGRAM
1🦄36😭247🍌3🐳2🙉2❤‍🔥1🌚1
Как говорит мой знакомый - полный раз$еб. Хорошо зашел пост про типы файлов. А вот в телеге его не оценили.

LinkedIn для меня похож на боулинг, шар (пост) рандомно запускаешь и смотришь на результат, авось Strike. Если хотя бы 100 лайков, то уже раз$еб.

А вот мой пост про AWS Outage не зашел и никто даже не извинился за задержку🤷‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😭17❤‍🔥4👨‍💻3🙈2
Хвалят курс CS336: Language Modeling from Scratch от Стенфорда.

Языковые модели (language models) — это основа современных приложений обработки естественного языка (NLP) и открывают новую парадигму, в которой одна универсальная система может решать широкий спектр задач.

По мере развития искусственного интеллекта (AI), машинного обучения (ML) и NLP, глубокое понимание языковых моделей становится необходимым для учёных и инженеров.
Этот курс предназначен для того, чтобы дать студентам всестороннее понимание языковых моделей, проведя их через весь процесс разработки собственной модели. По аналогии с курсами по операционным системам, где студенты создают ОС с нуля, в этом курсе обучающиеся шаг за шагом изучат все этапы создания языковой модели — от сбора и очистки данных для предобучения до построения трансформер-модели, обучения, оценки и подготовки к развёртыванию.
🐳20💯101❤‍🔥1
Два мужичка обсуждаю, что они создали успешные компании и работали в среднем 50 часов в неделю. Никаких вам 996.

С другой стороны работа должна приносить удовольствие. Если вам по кайфу 12-14 часов в день работать, и вас прёт, то почему бы и нет. Хотя такой режим вас убивает в прямом и переносном смысле.

А можно работать 4-6 часов в день, а остальное время тратить на обучение, развитие, спорт и любимые занятия.

Правда вас вряд ли возьмут в YC или другой инкубатор, и вряд ли вам дадут seed раунд.

У кого какой режим?
❤‍🔥7💯1
Амазон сократил 30т человек, среди них много инженеров и менеджеров.

При этом финансовые показатели очень хорошие.

Цитаты с reddit:


Amazon treats workers like shit. It doesn't matter if you're a highly educated developer or just a delivery driver. You're basically just a sacrificable pawn.


Amazon относится к сотрудникам как к мусору. Неважно, ты высококвалифицированный разработчик или просто курьер — ты всего лишь пешка, которой можно пожертвовать.


I would happily be sacrificed if it means more share holder value generated. If billionaires get richer then it will eventually trickle down to me. Ronald Reagan said so and he was the POTUS and no POTUS has ever lied before


Я с радостью пожертвую собой, если это увеличит доходы акционеров. Если миллиардеры станут богаче — в итоге что-то «перепадёт» и мне. Так сказал Рональд Рейган, а он был президентом США, и ведь ни один президент США никогда не врал. (сарказм)

Layoffs will continue until morale improves. Thank you for your attention on the matter.


Сокращения будут продолжаться, пока моральный дух не повысится. Спасибо за внимание к этому вопросу. (саркастическая фраза, игра слов)


compensate for overhiring during the peak demand of the pandemic
My dudes it is Q4 2025. How much longer is this excuse going to hold water?


«Компенсируем избыточный найм во время пика пандемии».
Ребята, уже четвёртый квартал 2025 года. Как долго ещё это оправдание будет звучать убедительно?


This period of economic history will be explained as the moment when companies profitability became completely detached from employees job security. You have companies making record profits and yet laying off employees without thinking twice. Profitable and growing companies used to share their fortune with their workforce, it has now dramatically changed.


Этот период экономической истории будут описывать как момент, когда прибыль компаний окончательно отделилась от стабильности рабочих мест. Компании получают рекордные прибыли, но всё равно без колебаний увольняют сотрудников. Раньше успешные и растущие компании делились своим успехом с работниками — теперь всё кардинально изменилось.


В наше время вообще нельзя просто спокойно работать, все время нужно ходить по собеседованиям, качать скилы, создавать side business, делать нетворкинг, посещать конференции и вести свой блог. Но не факт, что это поможет
💯73🙈15🐳6❤‍🔥3
Вчера закончил слушать книгу “Homo Deus (Человек Божественный) - Краткая история будущего”, автора Юваля Ноя Харари. Книга была издана 2015-2016 года и многое о чем говорит автор, как будто уже происходит сейчас. Особенно посли новостей про mass layoffs.

В книге автор рассмотрел возможные направления человечества когда голод, болезни и войны уже не главная проблема человечества. Один из тезисов был про датаизм (dataism), то есть данные становятся центром мира. Алгоритмы и ИИ могут лучше, чем человек, принимать решения. Автор пишет, что будущее будет принадлежать системам, которые умеют обрабатывать и использовать информацию, а не людям с «душой» или «сознанием».

И еще была интересная теория про развитие неравенства между элитами и “остальными”.

Немного summary от бездушной машины:

⚙️ От социального неравенства — к биологическому кастовому обществу
Если в XX веке разделение шло по уровню доходов или образованию, то в XXI оно может стать непреодолимым:
бедные просто не смогут конкурировать с «улучшенными» в скорости мышления, памяти, выносливости;
даже рынок труда изменится — «обычные» люди будут ненужны, заменены ИИ и роботами.

🧠 Новая элита управляет не только экономикой, но и алгоритмами
Харари отмечает, что в будущем власть будет у тех, кто контролирует данные и алгоритмы.
Это не просто богатые — это владельцы информации (Google, Amazon, Meta, правительства).
Они смогут предсказывать и управлять поведением масс, формируя желания и решения людей.

⚖️ Главная опасность — "бесполезный класс"
Он вводит понятие "useless class" — людей, которых не нужно ни экономике, ни армии, ни политике.
Они не смогут найти работу, потому что ИИ будет эффективнее.
Их участие в обществе будет сведено к потреблению и цифровым развлечениям.


«Проблема будущего — не эксплуатация, а бесполезность миллионов людей.»
💯20🙈8🙉6🙊6🐳11
Вернемся к нашим “баранам”. Мы все знаем Apache Kafka. Стандартное решение по стримингу.

Redpanda — это event-streaming платформа, аналог Apache Kafka, но с другой архитектурой (C++ вместо Java, без ZooKeeper, без JVM).
Продукт хочет заменить Kafka, обеспечив совместимость с Kafka API и клиентами, но при этом дать в 5–10 раз меньше latency и в разы проще эксплуатацию.

Я использовал Red Panda Community Edition когда мы строили решение для API трейдинга в AlpacaMarkets на GCP и k8s. Red Panda не open-source, она source available. Проблем в эксплуатации не было. Но и объемы были не очень большие.

Компания уже единорог и они решили двигаться в сторону платформы, поэтому купили Oxla - Redpanda acquires Oxla, a distributed SQL Engine, launches new Agentic Data Plane for governing AI Agents for enterprise data. То есть теперь у них будет свой SQL движок и они могут уже давать Stream/Batch на входе и трансформацию данных. (data in motion and at rest)

Red Panda Docker Image.
27🫡3❤‍🔥1
Fundamentals of Data Engineering.pdf
4 MB
Red Panda дарит вам книгу Fundamentals of Data Engineering
🫡39❤‍🔥30🐳1
Я подписан на вакансии от GetMatch уже довольно давно. Интересно следить за рынком.

Самую большую зарплату я видел на дата инженера в Сбербанк за 750т в в месяц.

Второе место получает Алиса и 680т в год.

Кстати вчера с коллегами из Америки обсуждали вопрос про DW и DWH - как правильно? Я узнал у ChatGPT, оказывается:

Используй DW, когда пишешь на английском или готовишь официальную документацию, особенно если аудитория — международная.

Используй DWH, если работаешь в команде или регионе (например, в России, Восточной Европе или Германии), где принято именно такое обозначение.

Так что если работаете за границей, (не) ударьте лицом в грязь, используйте правильную терминологию.

PS Сервис GetMatch и их бот просто 🟢.

PPS Кто нибудь учился в Сколково MBA? Или какой самый топ MBA в РФ (ради хорошего нетворкинга)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7
Онлайн Analytics Open Source conference https://osacon.io/about/ 4-5 Ноября.

А еще будет PyData в Сиэтле 7-9 ноября офлайн https://pydata.org/seattle2025, хочу на нее попасть и отдохнуть от работы поковырять AI на их воркшопах.
6
Чуваки классно сделали маркетинг. Теперь их любят упоминать рядом с новостями про увольнения.

Вот кратко про компанию Artisan (США):
Что делает:
Artisan разрабатывает платформу автоматизации исходящего B2B-продаж с помощью ИИ-сотрудников (они называют их “Artisans”).

Платформа позволяет создавать целевые кампании, находить потенциальных клиентов, собирать сигналы намерения (intent data), автоматически запускать серии сообщений по e-mail и LinkedIn, отслеживать посетителей сайта.

Цель — убрать рутинные задачи (исследование, отправка, напоминания) и освободить людей для «большой работы».


Эти билборды с надписью «Прекратите нанимать людей» — настоящие. Они размещены в Нью-Йорке, Сан-Франциско и многих других городах. Дистопичная «AI-революция» правящего класса уже здесь, и их цель — заменить людей искусственным интеллектом, роботами и сочетанием более дешёвой офшорной рабочей силы с ИИ и автоматизацией.

Ниже приведён лишь небольшой список недавних увольнений, где в качестве причины упоминались ИИ и сокращение затрат:
UPS — 48 000
Amazon — 30 000
Intel — 24 000
Nestle — 16 000
Accenture — 11 000
Ford — 11 000
Novo Nordisk — 9 000
Microsoft — 7 000
PwC — 5 600
Salesforce — 4 000
Paramount — 2 000
Target — 1 800
Kroger — 1 000
Applied Materials — 1 444
Meta — 600

Что можно сделать?
Во-первых, тебе нужно научиться упаковывать свои навыки так, чтобы работодатели понимали твою ценность. Нужно научиться быть убедительным и приятным в общении. Это может показаться неприятным или даже вызвать отвращение, но альтернатива — это подработка (Uber, DoorDash) и жалобы с надеждой, что власти когда-нибудь вмешаются и введут регулирование. Даже если это случится — на это уйдут годы. Всё развивается слишком быстро.
Нужно научиться либо продавать продукт или услугу компании, либо продавать самого себя лучше.

Во-вторых, нужно включаться в действия на местном уровне — в городе, округе, штате — чтобы остановить офшоринг. Искусственный интеллект пока не способен заменить большинство офисных специалистов. Сейчас используется смешанная схема: ИИ + дешёвая зарубежная рабочая сила (в 5–8 раз дешевле).

Оставаться в стороне нельзя. Офшоринг должен быть жёстко регулируем и обложен налогами.

В-третьих, нужно поддерживать малый бизнес, который конкурирует с корпорациями, заменяющими людей. Здесь есть две категории:
— компании до 150 сотрудников;
— компании до 50 сотрудников.

Обе категории должны быть освобождены от избыточных регуляций и налогов на зарплату, чтобы могли нанимать местных работников и конкурировать с гигантами, выводящими рабочие места за границу.
Все бизнесы должны быть максимально стимулированы нанимать локально — включая крупные налоговые льготы за каждого сотрудника на полной ставке, нанятого в стране.
Другого пути нет. Корпорации всегда будут стремиться максимизировать прибыль — нравится это или нет. Сейчас они используют лазейку офшоринга и ИИ, чтобы массово увольнять офисных работников.
Зачем крупной компании нанимать постоянного сотрудника со всеми налогами и регуляциями, если можно через офшорное агентство нанять десятерых по той же цене и без бюрократии?

То, что сейчас происходит с «переизбыточно квалифицированными» белыми воротничками, сопоставимо с разрушением производственного класса в 1998–2010 годах, только намного быстрее.

И хотя тренд только набирает силу и продлится ещё несколько лет, остановить его можно только сейчас.

Сначала найди работу — пока это возможно. Потом начинай действовать локально.

Неважно насколько хорошо или плохо AI работает, но реально факт, что из-за него будут увольнять людей.

Все подхватили волну повышения эффективности и прибыли и самое простое решение этого добиться - через увольнения. Даже если по факту это принесет больше вреда 🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈25😭9💯2
Если вы не знали, то Индия это не про дешевый outsource, а world class tech talent!

Databricks дает добро. Возможно будут увольнения в North America/Europe перед IPO, чтобы заменить на недорогой world class tech talent.

Про глобализацию tech компаний и их планы по открытию офисов в индии мы уже знакомы.
1🤷4023😭7🐳2
Отличная идея как заполнить пробелы в резюме:)
1🦄44🫡20🌚2❤‍🔥1
Наконец-то сделали нормальный гайд про то, как сделать ИИ агента на Python - Как сделать бота с индивидуальным характером на основе ИИ

Без всяких там премудростей и терминологий. ИИ идет в народ. Клик клик жмак жмак и готово! Подойдет, даже если вы не пользовались VSCode и Python.


Да, вы сможете сделать себе лоли фурри альтушку (максимально осуждаю), которая будет слушать лор вархаммера, и никто не будет знать о ваших извращениях.
123🙈147🙉6🙊6❤‍🔥1🌚1
Создатель SuperSet/Preset BI написал сегодня про свой новый продукт - agor

Представь себе Figma, но для AI-помощников по программированию.
Это система нового поколения для оркестрации (координации) AI-агентов, помогающих писать код. Многопользовательский пространственный слой, который объединяет Claude Code, Codex, Gemini и любые другие «агентные» инструменты кодинга в единую рабочую среду.
Коротко (TL;DR):
Agor — это многопользовательское пространственное полотно, где можно координировать несколько AI-помощников по кодингу, выполняющих параллельные задачи. Оно поддерживает рабочие деревья, связанные с GitHub, автоматизированные «зоны рабочих процессов» и изолированные тестовые среды — всё это работает одновременно.

Можно визуализировать, координировать и автоматизировать AI-рабочие процессы между различными инструментами — как индивидуально, так и в команде. Agor предоставляет пространство, где можно управлять целыми «роями» AI-агентов.


Вы можете скачать и запустить локально через Docker или npm. Дальше в настройках можно добавить API ключ LLM и подключить репозиторий и можно творить.

https://github.com/preset-io/agor
🤷17❤‍🔥122👨‍💻1
Apache Hudi.pdf
7 MB
Если вам вдруг надоел Apache Iceberg, то у вас есть возможность использовать Hudi.

Источник: https://www.onehouse.ai/whitepaper/apache-hudi-the-definitive-guide

Apache Hudi (Hadoop Upserts Deletes and Incrementals) — это формат хранения данных и фреймворк для управления большими наборами данных в дата-озёрах (Data Lake). Он добавляет поверх “сырых” файловых форматов (Parquet, ORC и т. д.) уровень управления записями — позволяет обновлять, удалять и инкрементально читать данные, как в базе данных, но с производительностью и масштабируемостью дата-озера.
15🫡3
Сегодня у меня было первое собеседование с AI ботом 🤖

Идея была такая - как хобби устроиться junior AI инженером, чтобы сразу на деле все учить. Я нашел вакансию, сделал резюме и отправил. Мне сразу предложили пройти AI собеседование.

Нужно было расшарить экран, включить видео и слушать как бот читает вопросы.

Вопросы были про Fast API, прям теория-теория, что мне даже было скучно читать ответы из Gemini. Далее было про AWS и GPU, было уже поинтересней. И в конце задачка по Python.

Компания предлагает сервис AI рекрутера. Можете тоже пройти AI собес 🔴

AI рекрутеры ищут fake кандидатов, и потом одни боты общаются с другими.
Please open Telegram to view this post
VIEW IN TELEGRAM
2🦄38113🙈1