Раз уж вписался в ИИ-трансформацию, надо хотя бы делать вид, что понимаешь, что происходит. Обложился, в общем, специальной литературой, благо ее сейчас предостаточно, да и на русском выходит со скоростью Себастьяна Саве, устаревая примерно так же. Так что «не хайпа ради, а служебной пользы для». Да и стратегию защищать нужно...

Чип Хьюен - персонаж в сфере сей довольно авторитетный: работала в NVIDIA, преподавала в Стэнфорде и даже написала книгу о машинном обучении. Которую я, конечно же, «ни при какой погоде не читал». Ну, не интересовала меня эта тема...

Люблю, когда автор начинает с определения:

«ИИ-инженерия - процесс создания приложений на основе доступных моделей»

Сразу настраивает на рабочий лад.

Далее Хьюен по шагам проводит читателя от знакомства с базовыми моделями до архитектуры ИИ-инженерии. Ровно посередине находится глава, посвященная промт-инжинирингу, который автор определяет как «процесс разработки инструкции, которая позволяет добиться от модели желаемого результата». Отмечая, что:

«Проблема не в промт-инжиниринге. Это реальный и полезный навык. Проблема возникает, когда люди не знают ничего, кроме промт-инжиниринга. Вам будут нужны знания из области статистики, инженерии и классического ML для отслеживания экспериментов, оценки и редактирования наборов данных»

Такой вот нас ждет «новый дивный мир»...

Книга мне понравилась, подойдет тем, кто уже имеет некий инженерный опыт, но в ИИ еще не вляпался.

С недавних пор я официально являюсь сертифицированным руководителем отдела, закончив соответствующий курс в «Стратоплане». Оказывается, руководить людьми довольно просто - «развивай свои сильные стороны, а слабые закрывай шаблонами». Все по бразильской системе, короче…

Пришел я сюда с целью «легитимизировать свой опыт», придать ему системный характер. В каком-то хаотичном виде он у меня и так присутствовал… Колес и велосипедов за свою управленческую карьеру я изобрел предостаточное количество. «Обломал немало веток, наломал немало дров», не один штрафной круг по граблям прошел. Мне бы вот все эти мои новые знания четыре года назад, глядишь, бы и не было затянувшегося творческого кризиса с обязательной сменой работы каждый год. А иногда и не один раз…

Четыре месяца пролетели незаметно. Менялись темы, менялись преподаватели, неизменными были высокий уровень каждого занятия и заряд энергии, приобретаемый от общения с умными людьми на групповых занятиях.

Что мне дал этот курс?

1️⃣ Помог лучше узнать себя, ближе к концу я разобрался, зачем я здесь, для чего это все мне нужно и что делать дальше.

2️⃣ Мой образ жизни стал несколько здоровее, я стал следить за сном, перестал терзать себя чрезмерными беговыми объемами, даже сбросил пару накопленных за период зимней спячки килограммов. «Вы где-нибудь видели топ-менеджера, который пихает в себя всякую гадость?» - в общем.

3️⃣ По DISC-классификации я желто-зеленый. Про желтый цвет и до этого понятно было, а вот зеленый удивил. Правда, после того, как я начал высыпаться, вместо зеленого стал проявляться красный.

4️⃣ GOSPA - очень простой и вместе с тем эффективный метод стратегического планирования. Настолько он меня поразил, что я прямо на занятии полез переписывать свою стратегию, а остаток лекции теперь придется пересматривать в записи.

5️⃣ Куча полезной литературы для дальнейшего самостоятельного развития. На пару лет точно хватит даже с моей скоростью чтения.

6️⃣ Я познакомился с большим количеством умных людей, советы и рекомендации коих очень помогли мне при разборе различных рабочих ситуаций.

Всем им за это я премного благодарен.

Как и моему бадди, конечно же. Не считая решенных рабочих вопросов, без него не появился бы канал про бег.

Также я благодарен всем преподавателям и сотрудникам «Стратоплана» за то, что эти четыре месяца получились такими насыщенными и интересными.

Всего-то чуть больше недели прошло, а я уже скучаю. Обязательно вернусь через год.

Я тоже буду

https://t.me/analyticsfromzero/728

«Говорил я ему, говорил: кабаки и бабы доведут до цугундера!» (МВИН)

https://t.me/rockyourdata/6062

Раз уж чтение становится ключевым навыком инженера данных, а, по мнению голландских ученых, его лучше развивать при помощи бумажных книг, то прикупил себе сей чудесный экземпляр в бумажную коллекцию.

Продолжая закрывать свой букдолг, дошел до книги Питхейна Стренгхольта «Архитектура медальона». Надо сказать, что я долгое время сознательно удерживал себя от погружения в сию концепцию, ибо подустал от непрекращающихся попыток ребрендинга давно устоявшегося понятийного аппарата, являющихся теми же яйцами, только в профиль. Причем каждый новый автор, как по мне, действует по принципу «легче мне не станет, и тебе не станет, но не в этом суть».

Сплошной «танец желтых листьев», в общем, который, «может быть»… Ага…

Тяжело приступать к чтению, имея на старте подобные предубеждения, но я справился. Тем более что автор тоже постарался.

Пара слов о нем самом. Питхейн Стренгхольт - человек в мире данных очень известный, эксперт, блогер, спикер, освещающий в своих выступлениях новейшие тенденции. Еще один его труд - «Масштабируемые данные» - также находится в моем списке.

Книга состоит из четырех частей.

Первая представляет собой теоретический анализ концепции и закладывает прочный фундамент для дальнейшего изучения. В ней автор проводит читателя через эволюцию архитектур данных, рассматривает предусловия, на которых медальон строится, описывает ключевые концепции и паттерны. Читается на удивление легко.

Вторая посвящена практическому применению - сквозной пошаговый процесс построения архитектуры. Много кода и Microsoft Fabric. Мне после долгих лет с MSSQL - нормально, хейтерам же, возможно, стоит пропустить.

Третья - живые внедрения. В ней автор в формате интервью с представителями трех компаний показывает проблемы, с которыми могут столкнуться новички, и технические особенности управления крупномасштабными системами данных. Читать про чужие сложности всегда приятнее, чем сталкиваться со своими.

Заключительная посвящена масштабированию и будущему архитектуры медальона. Отдельная глава выделена под взаимодействие с генеративными ИИ, куда ж сейчас без этого… Однако лично я в ней ничего интересного не нашел, кажется, автор включил ее исключительно в угоду моде.

В целом же книга мне понравилась, особенно тем, что архитектура медальона рассматривается не как жесткий каркас, а как гибкая структура, прежде всего логическая, оставляющая проектировщику большое число степеней свободы и право на собственное мнение. Единой версии правды и лучшего кунг-фу здесь нет.

Яйца и вправду оказались теми же самыми, но вполне пригодными к употреблению.

Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support

В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.

В DAG задача объявляется как stub:

@task.stub(queue="golang")

Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.

При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.

Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.

Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.

Документация

@tldr_data

Кабанчик уже не тот
https://t.me/alexgladkovblog/7608

LLMSQLQueryOperator

В Airflow появился новый декоратор task.llm_sql, который генерирует SQL из запроса на обычном языке.

Вы описываете, какие данные нужны, передаёте схему — и LLM генерирует SQL.

Главное — безопасность: Airflow разбирает SQL в AST и разрешает только

SELECT, UNION, INTERSECT и EXCEPT.

DELETE, DROP, UPDATE и INSERT
блокируются.

Также можно включить

require_approval=True

, чтобы человек проверил SQL перед продолжением DAG.

Сам

@task.llm_sql

запрос не выполняет — только генерирует и валидирует его.

@tldr_data

Кабанчик приехал