Data Engineer
478 subscribers
190 photos
3 videos
128 links
Дата-инженерия в схемах и мемах

По всем вопросам — @mobiledeveloper_bot
Download Telegram
Человек, который в конце прошлого года клялся и божился, что станет меньше читать, уже к началу июля залил в «болото данных» своего головного мозга еще 60 книг. И ни конца ни края сему беспределу не видно.

Основными катализаторами стали:

1️⃣ Выход в офис - 2 часа в дороге.

2️⃣ Аудиокниги - еще час во время тренировок. Итого с обеденным перерывом около 4 часов в день выходит, все книги мира прочитать можно.

3️⃣ Учеба в Стратоплане серьезно так пополнила буклог, все такое интересное и само на экран просится.

4️⃣ Смена деятельности - раз уж взялся ИИ-трансформацию внедрять, то надо хотя бы понять, что это такое. Не удивлюсь, если к концу года я еще и геологию активно изучать начну.

5️⃣ В угоду скорости почти перестал читать на английском. Тот же Серра, например, читался в переводе, слезы кровавые ручьем лились, но так все равно быстрее. Мир опять ускорился, пришлось в этот раз под него прогнуться.

Лучшее из прочитанного:

📖 Карл Саган - «Наука в поисках Бога». Саган однозначно попадает в мой личный топ в компанию к Дэвиду Греберу, Ричарду Фейнману и Стивену Хокингу. Даже странно, что я до этого не обращал на него внимания. Прочитаю всё, что смогу, что-то обязательно будет добавлено в бумажную коллекцию.

📖 Элияху Голдрат - «Цель» и «Цель-2». Формат бизнес-романа - новый для меня - читается легко и хорошо запоминается. Не скажу, что стал знатоком теории ограничений, но при решении кейсов на групповых занятиях в Стратоплане регулярно с умным видом врываюсь в дискуссию со словами: «Коллеги, посмотрите, ну, это же чистый Голдрат».

📖 Антон Савочка - «Путь тимлида». Еще один бизнес-роман, вместе с тем представляющий собой набор рецептов по обнаружению и обходу разного рода грабель, хаотично расставленных на пути начинающего тимлида. Пять лет назад эта книга стала бы для меня настоящим спасением, да и сейчас, в общем-то, актуальности не утратила.

📖 Должно же быть в этом списке что-то про данные. Пусть будет Серра из поста выше - проглочен влет, невзирая на кровавые слезы от перевода.

А зарок читать поменьше переносится на следующий год, видимо.
👍4🔥1
https://github.com/AlexGladkov/quickai

Напоминаю, что если вы хотите замерять эффективность своей работы с агентами и Клодом (а сейчас уже и не только), то можете воспользоваться тулзой выше
🔥1
Оформил предзаказ на второе издание «Книги с кабанчиком» и по этому поводу явился в офис в соответствующей футболке. Такая книга точно должна быть в моей бумажной коллекции!

https://habr.com/ru/companies/piter/articles/1059118/
🔥5
#напочитать

Даниэль Пинк - «Драйв»

Типичная книга из серии «Литература для бизнеса», построенная по формуле «Проблема-Следствие-Аргументы-Выгода». Много воды, различного рода кейсов из жизни деревень Вилларибо и Виллабаджо. В Вилларибо все еще используют обычное моющее средство и вследствие этого кипятятся, а в Виллабаджо уже рубят. И да, мы идем к вам.

Суть первых двух частей можно свести к простой мысли: для творческих задач внутренняя мотивация важнее внешней. Для рутинных задач внешний стимул в короткой перспективе может стать отличным импульсом.

Мотивируют людей, согласно Пинку, всего три вещи:

🔹 Автономность - наше стремление к самоуправлению

🔹 Мастерство - побуждение становиться все лучше и лучше в своем деле

🔹 Целеустремленность - явная отсылка к Фейербаху - желание быть частью чего-то большего, чем мы сами

Самая полезная - третья часть - полный комплект подсказок, упражнений и ресурсов, призванных помочь создавать условия для поведения, определяемого внутренними желаниями. Ради нее и стоит читать книгу.

Цитаты:

«Одна из главных причин фрустрации на рабочем месте - несоответствие между тем, что люди должны делать, и тем, что они могут. Слишком простые задачи заставляют их скучать, слишком сложные - тревожиться»


«Когда вы будете размышлять о своей цели в жизни, начните с важного вопроса: как звучит ваша главная фраза?»



Когда я заступал на пост Head of DE в зеленом (тогда) DIY-ритейлере, у меня была похожая идея с отсылкой на японских императоров, которые в начале своего правления тоже должны были представить некий девиз. Я тогда что-то придумал, следовал выбранному курсу, но нигде это не афишировал, а коль скоро так, то и у меня из головы это вылетело. Но наверняка там что-то было про непрерывное развитие…
👍6
Раз уж вписался в ИИ-трансформацию, надо хотя бы делать вид, что понимаешь, что происходит. Обложился, в общем, специальной литературой, благо ее сейчас предостаточно, да и на русском выходит со скоростью Себастьяна Саве, устаревая примерно так же. Так что «не хайпа ради, а служебной пользы для». Да и стратегию защищать нужно...

Чип Хьюен - персонаж в сфере сей довольно авторитетный: работала в NVIDIA, преподавала в Стэнфорде и даже написала книгу о машинном обучении. Которую я, конечно же, «ни при какой погоде не читал». Ну, не интересовала меня эта тема...

Люблю, когда автор начинает с определения:

«ИИ-инженерия - процесс создания приложений на основе доступных моделей»

Сразу настраивает на рабочий лад.

Далее Хьюен по шагам проводит читателя от знакомства с базовыми моделями до архитектуры ИИ-инженерии. Ровно посередине находится глава, посвященная промт-инжинирингу, который автор определяет как «процесс разработки инструкции, которая позволяет добиться от модели желаемого результата». Отмечая, что:

«Проблема не в промт-инжиниринге. Это реальный и полезный навык. Проблема возникает, когда люди не знают ничего, кроме промт-инжиниринга. Вам будут нужны знания из области статистики, инженерии и классического ML для отслеживания экспериментов, оценки и редактирования наборов данных»

Такой вот нас ждет «новый дивный мир»...

Книга мне понравилась, подойдет тем, кто уже имеет некий инженерный опыт, но в ИИ еще не вляпался.
👍4
С недавних пор я официально являюсь сертифицированным руководителем отдела, закончив соответствующий курс в «Стратоплане». Оказывается, руководить людьми довольно просто - «развивай свои сильные стороны, а слабые закрывай шаблонами». Все по бразильской системе, короче…

Пришел я сюда с целью «легитимизировать свой опыт», придать ему системный характер. В каком-то хаотичном виде он у меня и так присутствовал… Колес и велосипедов за свою управленческую карьеру я изобрел предостаточное количество. «Обломал немало веток, наломал немало дров», не один штрафной круг по граблям прошел. Мне бы вот все эти мои новые знания четыре года назад, глядишь, бы и не было затянувшегося творческого кризиса с обязательной сменой работы каждый год. А иногда и не один раз…

Четыре месяца пролетели незаметно. Менялись темы, менялись преподаватели, неизменными были высокий уровень каждого занятия и заряд энергии, приобретаемый от общения с умными людьми на групповых занятиях.

Что мне дал этот курс?

1️⃣ Помог лучше узнать себя, ближе к концу я разобрался, зачем я здесь, для чего это все мне нужно и что делать дальше.

2️⃣ Мой образ жизни стал несколько здоровее, я стал следить за сном, перестал терзать себя чрезмерными беговыми объемами, даже сбросил пару накопленных за период зимней спячки килограммов. «Вы где-нибудь видели топ-менеджера, который пихает в себя всякую гадость?» - в общем.

3️⃣ По DISC-классификации я желто-зеленый. Про желтый цвет и до этого понятно было, а вот зеленый удивил. Правда, после того, как я начал высыпаться, вместо зеленого стал проявляться красный.

4️⃣ GOSPA - очень простой и вместе с тем эффективный метод стратегического планирования. Настолько он меня поразил, что я прямо на занятии полез переписывать свою стратегию, а остаток лекции теперь придется пересматривать в записи.

5️⃣ Куча полезной литературы для дальнейшего самостоятельного развития. На пару лет точно хватит даже с моей скоростью чтения.

6️⃣ Я познакомился с большим количеством умных людей, советы и рекомендации коих очень помогли мне при разборе различных рабочих ситуаций.

Всем им за это я премного благодарен.

Как и моему бадди, конечно же. Не считая решенных рабочих вопросов, без него не появился бы канал про бег.

Также я благодарен всем преподавателям и сотрудникам «Стратоплана» за то, что эти четыре месяца получились такими насыщенными и интересными.

Всего-то чуть больше недели прошло, а я уже скучаю. Обязательно вернусь через год.
🔥5🎉4
Раз уж чтение становится ключевым навыком инженера данных, а, по мнению голландских ученых, его лучше развивать при помощи бумажных книг, то прикупил себе сей чудесный экземпляр в бумажную коллекцию.
👍2
Продолжая закрывать свой букдолг, дошел до книги Питхейна Стренгхольта «Архитектура медальона». Надо сказать, что я долгое время сознательно удерживал себя от погружения в сию концепцию, ибо подустал от непрекращающихся попыток ребрендинга давно устоявшегося понятийного аппарата, являющихся теми же яйцами, только в профиль. Причем каждый новый автор, как по мне, действует по принципу «легче мне не станет, и тебе не станет, но не в этом суть».

Сплошной «танец желтых листьев», в общем, который, «может быть»… Ага…

Тяжело приступать к чтению, имея на старте подобные предубеждения, но я справился. Тем более что автор тоже постарался.

Пара слов о нем самом. Питхейн Стренгхольт - человек в мире данных очень известный, эксперт, блогер, спикер, освещающий в своих выступлениях новейшие тенденции. Еще один его труд - «Масштабируемые данные» - также находится в моем списке.

Книга состоит из четырех частей.

Первая представляет собой теоретический анализ концепции и закладывает прочный фундамент для дальнейшего изучения. В ней автор проводит читателя через эволюцию архитектур данных, рассматривает предусловия, на которых медальон строится, описывает ключевые концепции и паттерны. Читается на удивление легко.

Вторая посвящена практическому применению - сквозной пошаговый процесс построения архитектуры. Много кода и Microsoft Fabric. Мне после долгих лет с MSSQL - нормально, хейтерам же, возможно, стоит пропустить.

Третья - живые внедрения. В ней автор в формате интервью с представителями трех компаний показывает проблемы, с которыми могут столкнуться новички, и технические особенности управления крупномасштабными системами данных. Читать про чужие сложности всегда приятнее, чем сталкиваться со своими.

Заключительная посвящена масштабированию и будущему архитектуры медальона. Отдельная глава выделена под взаимодействие с генеративными ИИ, куда ж сейчас без этого… Однако лично я в ней ничего интересного не нашел, кажется, автор включил ее исключительно в угоду моде.

В целом же книга мне понравилась, особенно тем, что архитектура медальона рассматривается не как жесткий каркас, а как гибкая структура, прежде всего логическая, оставляющая проектировщику большое число степеней свободы и право на собственное мнение. Единой версии правды и лучшего кунг-фу здесь нет.

Яйца и вправду оказались теми же самыми, но вполне пригодными к употреблению.
🔥4
Forwarded from tl;dr data
Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support

В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.

В DAG задача объявляется как stub:

@task.stub(queue="golang")


Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.

При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.

Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.

Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.

Документация

@tldr_data
👍2
Forwarded from tl;dr data
LLMSQLQueryOperator

В Airflow появился новый декоратор task.llm_sql, который генерирует SQL из запроса на обычном языке.

Вы описываете, какие данные нужны, передаёте схему — и LLM генерирует SQL.

Главное — безопасность: Airflow разбирает SQL в AST и разрешает только

SELECT, UNION, INTERSECT и EXCEPT.

DELETE, DROP, UPDATE и INSERT
блокируются.

Также можно включить
require_approval=True

, чтобы человек проверил SQL перед продолжением DAG.

Сам
@task.llm_sql

запрос не выполняет — только генерирует и валидирует его.

@tldr_data
👍4💯1
Кабанчик приехал
🔥8
Forwarded from sql_ninja_info
2️⃣3️⃣✖️0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 22–23 сентября 2026

🍄 CLICKHOUSE

• На этой неделе вышел «осенний» релиз ClickHouse 26.9: 56 новых фич, 135 оптимизаций производительности, 464 багфикса. Из вкусного: жёсткие лимиты на размер и число таблиц (max_table_size_rows / max_tables) — прямая заявка на мультитенантные сервисы; parallel replicas научились читать Merge-таблицы; вся семья SQL-стандартных функций линейной регрессии (regr_slope, regr_intercept, regr_r2…) с теми же именами, что в PostgreSQL/Oracle/Snowflake — запросы портируются as is; bracket-синтаксис для JSON-путей вида json['user']['name']; режим exclusive у S3Queue без координации через Keeper. Разбор релиза: https://presentations.clickhouse.com/2026-release-26.9/

• Mike Scarpelli — бывший CFO Snowflake и ServiceNow — вошёл в совет директоров ClickHouse Inc. Привлечение финансиста такого калибра обычно читают как подготовку к серьёзным корпоративным шагам — за компанией определённо что-то планируют. https://clickhouse.com/blog/clickhouse-appoints-mike-scarpelli-to-board-of-directors

❄️ SNOWFLAKE

• Сентябрьский AI Pulse: анонсированы AI Gateway с governance-политиками для LLM-трафика, Semantic Studio для семантического моделирования и обновления агентов Coco/Cowork. Экосистема уверенно дрейфует в «data platform для агентов». https://www.snowflake.com/en/ai-pulse/september-2026/

📚 ПОЧИТАТЬ

• «Postgres on NVMe» от ClickHouse — большой разбор того, как быстрые NVMe сближают транзакционную и аналитическую нагрузки и что из этого следует для HTAP-архитектур. https://clickhouse.com/blog/postgres-on-nvme

• Хвост недели от ClickHouse: официальный провайдер для Apache Airflow, интеграция с dbt platform, PromQL TimeSeries-движок (drop-in замена Prometheus) и WalShadow — сабсекундная репликация Postgres из физического WAL. Всё в сентябрьском newsletter: https://clickhouse.com/blog/202609-newsletter

• В экосистеме Postgres тихо, но: вышел pgAdmin 4 v9.18 и pgsql-test — инструмент для запуска реальных тестов против живого Postgres вместо моков. https://www.postgresql.org/about/newsarchive/

🧠 Что запомнить: ClickHouse откровенно готовится ко взрослой корпоративной жизни — LTS 26.8 в сентябре, мультитенантные лимиты и переносимый SQL в 26.9, CFO Snowflake в совете директоров. А тезис «OLTP и OLAP сближаются на быстрых дисках» — главный архитектурный сюжет осени.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1