DE
@data_engi
398 subscribers
228 photos
47 videos
11 files
307 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt

Буст канала тут - https://t.me/boost/data_engi
Download Telegram
About
Blog
Apps
Platform
Join
DE
398 subscribers
DE
Forwarded from Хитрый Питон
Недавно ребята из astral (ruff, uv) выложили на github ty - свой тайпчекер (аналог mypy) https://github.com/astral-sh/ty. Никита Соболев пощупал его и записал небольшое видео с разбором. Если вам интересен тулинг для питона - посмотрите https://www.youtube.com/watch?v=5PCP4ICoirg
GitHub
GitHub - astral-sh/ty: An extremely fast Python type checker and language server, written in Rust.
An extremely fast Python type checker and language server, written in Rust. - astral-sh/ty
8❤‍🔥2👏1😁1
271 views
DE
Forwarded from Находки в опенсорсе
Находки в опенсорсе: ty (red-knot)

https://www.youtube.com/watch?v=5PCP4ICoirg

Вышло видео про новый тайпчекер и lsp: ty (старое название red-knot) от авторов ruff и uv.
Пока по первым впечатлениям – бомба! Не смотря на версию 0.0.0a8 🌚

Из плюсов:
- Быстрый
- На расте
- Куча новых фичей для типов
- Полная спецификация
- Интеграция с ruff и IDEшками

Из минусов:
- Пока есть баги (но их поправят, конечно же)
- Нет плагинов (и скорее всего никогда не будет)
- Софт от молодой и маленькой компании
- Как сделать поддержку ty и mypy вместе? Если использовались ty_extensions 🤷‍♂️

Обсуждение: а как вам проект? Успели попробовать?

| Поддержать | YouTube | GitHub | Чат |
YouTube
Находки в опенсорсе: ty (red-knot)
ty – новый тайпчекер для Python (ранее известный как red-knot) от авторов ruff, компании Astral, написанный на Rust.

Ссылки из выпуска:
- Попробовать: https://play.ty.dev
- Проект: https://github.com/astral-sh/ty
- Подкаст с авторами: https://www.youtub…
6❤‍🔥2👏1😁1
387 views
DE
DE
LangGraph Swarm — построй рой агентов на пальцах 🐝🐝🐝🐝 Представь: У тебя есть несколько AI-агентов, каждый умеет своё. Один считает, другой разговаривает как пират, третий помогает писать код. И вот ты строишь между ними диалог, в котором они сами решают…
Очень полезная штука, если хочешь быстро сжигать токены LLM-ок 😁

#llm #ai #agents #swarm #langgraph
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5
358 views
DE
Forwarded from DataEng
Релиз Apache Airflow 2.11.0

Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0

Причем это не какой-то релиз с багфиксами, там есть новые фишки:

— DeltaTriggerTimetable (trigger-based scheduling)
— Consistent timing metrics across all backends
— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды airflow config lint и airflow config update)
GitHub
Release Airflow 2.11.0 · apache/airflow
Significant Changes
DeltaTriggerTimetable for trigger-based scheduling (#47074)
This change introduces DeltaTriggerTimetable, a new built-in timetable that complements the existing suite of
Airflow...
❤‍🔥7
345 views
DE
Forwarded from Dealer.AI
Gemini diffusions от DeepMind.

Записываемся в вэйтлист.

Новая эра в GenAI?

Эра DiffusionLM is coming?

Быстрее, меньше (?), лучше.

https://deepmind.google/models/gemini-diffusion/#capabilities
❤‍🔥4
272 views
DE
Forwarded from FastNews | Никита Пастухов
Как отправить жопу мейнтейнера в космос. Краткий гайд от вайбкодеров.

У нас тут first-time-contributor притащил в FastStream прикольную фичу – поддержку HTTP в AsyncAPI.

Сначала код выглядел достаточно чистенько, но с косяками. Я подробно описывал, что поправить – в несколько итераций. В общем, обычный процесс ревью. В итоге пришли к финальной версии, где все норм. Я пошел проверять и кое-что править (а то я и так чувака заебал своими правками) – и оказалось, что его правки в AsyncAPI схему тупо не соответствуют спецификации – он их сам придумал. Схема не валидна и не рисуется...

А вероятнее даже их придумал не он, а LLM. У меня сейчас складывается картинка, что чувак просто закинул кодбазу + Issue в LLM, а вывод закинул как PR. Я же ревьюил код нейронки, а он просто кидал мои комменты обратно в LLM. А в итоге все вообще превратилось в тыкву, которая с самого начала была чьими-то галлюцинациями.

Ебаные блять вайб-фармеры-коммитов-в-OpenSource. Я трачу свое время на сопровождение PR, а он тупо в LLM все закидывает

https://github.com/ag2ai/faststream/pull/2142
GitHub
feat: Add AsyncAPI HTTP Support by tmulligan98 · Pull Request #2142 · ag2ai/faststream
Description
Add support for an include_in_schema parameter to register HTTP routes in the app schema
TODO: Should include_in_schema be True by default?
Part of #2091
Type of change
Please delete op...
😁7
304 views
DE
Forwarded from Время Валеры
Удивился второй раз в жизни при работе над инфрой. Первый раз был, когда переезд с Postgres на BigQuery в Blockchain com ускорил (на самом деле!) запросы в 100 раз и снизил стоимость в 10.

Тестировали Iceberg поверх Parquet

AWS Glue + Iceberg: стоимость ↓2.3x, скорость ↑3x
AWS EMR Serverless + Iceberg: стоимость ↓31x, скорость ↑6x
Databricks Serverless on Delta Lake: стоимость ↓3.5x, скорость ↑12x

Полез разбираться, как алгоритмически работает Iceberg поверх Parquet, и в очередной раз убедился, как же приятно читать/смотреть такие инженерные вещи, когда ребята садятся решать человеческие проблемы и находят простые решения.

Умные метаданные: знает статистики каждого файла без его чтения
Убирает дорогие LIST операции в S3 (экономия I/O)
Predicate pushdown: исключает файлы еще на этапе планирования
Hidden partitioning: автоматически находит нужные данные по любым колонкам ( У паркета тоже есть, но не так хорошо)
Snapshot isolation: читает консистентное состояние без блокировок

Главное - важность проверки разных платформ под конкретные бенчмарки. То, что работает для одного типа нагрузок, может быть неоптимально для другого.

P.S. Databricks показал отличные результаты с Delta Lake, но это уже другая история
❤‍🔥8👏2
265 views
DE
Forwarded from Константин Доронин
Я достаточно давно знал о существовании сервиса context7.com, но добрался до тестов только сегодня.

На сайте опубликована актуальная документация по большому количеству (более 13000, ага) библиотек и языков.

Но дело не в сайте. Кого интересуют веб-морды во времена AI? 🙂

У них есть MCP-сервер. Код тут. Он решает извечную боль при написании кода через LLM. Когда библиотека обновилась, а база знаний о ней в LLM – нет. И AI-агент пытается использовать устаревшие интерфейсы в новых библиотеках. Потом ещё и версию пакета пытается понизить, "подогнав" под свой код.

Чтобы поставить MCP-сервер от context7 в Cursor, достаточно добавить в настройки mcp-серверов следующее:


"context7": {
      "command": "npx",
      "args": ["-y", "@upstash/context7-mcp"]
    }


Готово. MCP-сервер установлен и готов к работе.

Самое крутое – у него всего два инструмента. То есть он не забивает, как многие другие, весь контекст LLM всеми возможными инструментами, 90% из которых никогда не будут использованы.

Можно в инструкции для AI-агента сразу прописать, что валидность любого используемого интерфейса библиотек обязательно проверять через Tools.

В общем, ещё один MCP-сервер, который сразу можно брать в работу без переделывания "под себя".
❤‍🔥5😁1
373 views
DE
Выкатили 4-й спарк

https://www.databricks.com/blog/introducing-apache-spark-40

#spark
Databricks
Introducing Apache Spark 4.0 | Databricks Blog
Explore Apache Spark 4.0's key updates: advanced SQL features, improved Python support, enhanced streaming, and productivity boosts for big data analytics.
❤‍🔥5
461 views
DE
Forwarded from Дорога жуков
Load balancer - необходимый элемент любой высоконагруженной системы. Кроме функций распределения входящих запросов по рабочим нодам, балансировщик может решать задачи service discovery, шифрования трафика, кеширования ответов, ограничения частоты запросов и т.д.

Еще это необходимый элемент пазла любого system design interview. Load balancer обычно является частью инфраструктуры, в которую разработчик деплоит написанный код. Это настолько обычная фоновая (относительно разработчика) часть инфраструктуры, что на собесе по проектированию ее легко забыть. Тогда архитектуры будет неполной, так как останется под вопросом решение ряда важных задач.

https://youtu.be/0bAo4ncU-YI
YouTube
Азбука сисдиз: Load Balancer
Телеграм канал - https://t.me/roadofbugs_channel
❤‍🔥4😁1
427 views
DE
This media is not supported in your browser
VIEW IN TELEGRAM
Приемлемо, ещё несколько профессий, которые смогут заменить промпт-инженерами?)

#ai #veo3 #de
2👏3❤‍🔥2😁21
405 views
DE
Forwarded from partially unsupervised
Формально у меня сегодня последний день в Neon, потому что я оказался среди поглощенных кирпичным заводом, на котором - пока столь же формально - начинаю работать завтра.

Поэтому символично, что сегодня успели зарелизить app.build - продукт, над которым мы небольшой командой работали с февраля. Это just another end2end генератор CRUD веб-приложений от промпта до деплоя.

Он полностью опенсорсный (можно покопаться в истории и увидеть все мои коммиты в стиле “maybe fix a lot of things”), работает как CLI и обычно генерит скорее работающие приложения. Можно сгенерить на наших серверах, можно развернуть у себя (все равно понадобится gemini и claude API, но можете прислать PR с поддержкой любимого LLM-провайдера). Шероховатостей еще много, но уже скорее работает, чем нет, так что пробуйте и присылайте баг-репорты!
👏4
287 views
DE
#meme #dev #ai #llm
😁142
388 views
DE
Forwarded from Data Coffee
Установили новую версию Airflow 3.0 вместе со слушателями подкаста🎧, посмотрели на новый модный интерфейс📊, и даже запустили пару DAGs в прямом эфире😱

В свежем видео от Data Coffee рассказываем:
• о новых фичах Airflow в версии 3.0
• как установить себе Airflow локально через Docker Compose
• достучаться до небес интерфейса
• и другое

#datacoffee #airflow #установка #прямойэфир

https://youtu.be/SVJRb9zf9SA?feature=shared
❤‍🔥7
304 views
DE
📊 Продвинутый SQL: Моделирование и эффективный доступ к данным

Если ты сталкивался с требованиями «знания продвинутого SQL» в вакансиях, но не понимал, что именно под этим подразумевается, эта статья для тебя.

🐱 В ней рассматриваются:
- Оконные функции и CTEs
- Различные типы JOIN и MERGE INTO
- Оптимизация запросов: партиционирование, кластеризация, избегание data skew
- Моделирование данных: Dimension, Fact, Bridge, OBT и агрегированные таблицы

📖 Подробнее: https://www.startdataengineering.com/post/advanced-sql/

#DE #DataEngineering #SQL #BigData #ETL #Analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
Startdataengineering
Advanced SQL is knowing how to model the data & get there effectively
Most data engineering job descriptions these days expect "knowledge of advanced SQL," but ask any data engineer that question, and you will get a different answer every time.
Are you
> Frustrated that "advanced SQL" ebooks or Udemy courses aren't really all…
❤‍🔥8
377 views
DE
Уже многие могли видеть униформу эксельщика 😁

#meme #excel
😁8
401 views
DE
DE
Уже многие могли видеть униформу эксельщика 😁 #meme #excel
Подвезли и униформу эйрфлоущика 😂

#meme #airflow
😁76👏11
496 views
DE
Выкатили новую версию Airflow, но утечка памяти с dag-processor пока никуда не делась.

Свежая багфикс-версия Apache Airflow 3.0.2. Если ты уже сидишь на тройке, то, скорее всего, успел заметить неприятную штуку: dag-processor бесконтрольно плодит треды и открытые файлы, из-за чего растёт не только нагрузка на память, но и число file descriptors.

С этим багом столкнулись уже многие, не ты один. Причём даже после апдейта до 3.0.2 утечка не исчезла.

Подозреваю, патч появится в одном из следующих хотфиксов. Пока что мониторь свои процессы, и не забывай лимитить ulimit -n.
7😁1
371 views
DE
Forwarded from DataEng
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.

Судя по всему релиз 3.0.3 не за горами.
GitHub
Explicitly close log file descriptor in the supervise function (#51627) · apache/airflow@4a0a89b
We didn't close log file descriptor properly hence leading to too many open files error from the operating system.
10
374 views
DE
DataEng
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал…
Коллеги по цеху творят историю.

Спасибо, Адиль!
❤‍🔥72
392 views