Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support

В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.

В DAG задача объявляется как stub:

@task.stub(queue="golang")

Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.

При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.

Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.

Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.

Документация

@tldr_data

Дайджест статей

📰 Beyond the Dashboard (Booking.com)
🔗 https://medium.com/booking-com-development/beyond-the-dashboard-accelerating-real-time-intelligence-in-the-age-of-ai-6f1f0f9c123f
💡 «Talk to your data» переносит узкое место с дашбордов на семантический слой: определения под MR с двумя аппрувами, отдельный warehouse с таймаутами для агентов. Без этого conversational BI дороже статического.

📰 Data Lakehouse по-русски
🔗 https://habr.com/ru/articles/1073884/
💡 Lakehouse оправдан только под измеримую дорогую проблему, а не под импортозамещение. Семь проблем, которые платформа не решает, три подхода к миграции. Обзор вендоров - по их же данным.

📰 Аналитика начинается не с дашборда
🔗 https://habr.com/ru/articles/1076978/
💡 Отчёт проектируется от карточки решения (кто смотрит, что сравнивает, что делает дальше), таблица с пропусками раньше диаграммы. Эффект автор не измерял.

📰 Как мы искали способ подключить ИИ к своим данным
🔗 https://habr.com/ru/articles/1074406/
💡 Для точных цифр из кубов MCP лучше RAG; каждое число обязано иметь источник в вызове инструмента или Run Code. Воспроизводимый стенд Ollama + Gemma4 + LibreChat. Источник данных - продукт авторов.

📰 Учим ИИ готовить датасеты для BI Битрикс24
🔗 https://habr.com/ru/companies/bitrix/articles/1074452/
💡 Модель не пишет SQL, а выбирает ключи из каталога разработчика; сервер перепроверяет. Паттерн «каталог как источник правды + идемпотентная публикация с _v2» переносим. DevRel-контент, код открыт.

📰 Почему мы месяц копаемся в данных, прежде чем подключить ИИ
🔗 https://habr.com/ru/articles/1074878/
💡 Rule-based → ML → LLM: детерминированный слой даёт результат сразу и копит лейблы через вердикты человека. Подрядчика оценивать по работе с происхождением данных.

📰 Многоуровневая память агентов в VK AI Space
🔗 https://habr.com/ru/companies/vk/articles/1074798/
💡 Память как Markdown вместо векторной БД ради читаемости и compliance; инъекция через pre-hook вместо on-demand экономит токены. Вендорский текст, компромиссы описаны честно.

📰 Снова хороним BI. Из гроба стучит
🔗 https://habr.com/ru/articles/1075946/
💡 Переносимой точности дата-агентов нет: смена диалекта режет Spider 2.0 вдвое, эталоны ошибочны в 53–66%, Anthropic без skills 21%, с ними 95%, без сопровождения 65% за месяц. Минимум: один домен, 20–50 evals из провалов, доки в том же PR, права до кода. Ключевой материал набора.

📰 Автономность ИИ-агентов в аналитике (перевод Pol Martí)
🔗 https://habr.com/ru/articles/1075472/
💡 Автономность задаётся силой проверок: упал data quality check - агент уходит в propose-only, радиус ошибки считается по lineage. Контролёры сами входят в failure surface.

📰 Self-service BI с ИИ: свобода или хаос (Диасофт)
🔗 https://habr.com/ru/companies/diasoft_company/articles/1075918/
💡 LLM сняли ограничение на скорость дашборда, но не на качество данных; компромисс - проверяемые артефакты как код. Вендорский текст, оценки «80% дашбордов - Excel» и «своя GPU в 5–10 раз дороже» не подтверждены.