397 subscribers
228 photos
47 videos
11 files
307 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt

Буст канала тут - https://t.me/boost/data_engi
Download Telegram
О! Кажется, маятник качнулся в другую сторону. Авось, станет меньше глупых проверок по длине строки или количеству строк в файле. А разработчики наконец-то станут лучше выражать свои мысли и намерения (intentions).

Все эти KISS, DRY, SOLID и пр. в конце концов только настоятельные рекомендации, а не жёсткие правила. Не надо быть фанатиком чистого кода, надо голову включать.

https://habr.com/ru/companies/ruvds/articles/865026/ #dev
👏6❤‍🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Робособаки на военом параде в честь Дня Армии в Индии. 14 января 2025 года.

#ai #dev #robotics
❤‍🔥3😁31
А вы знали какая сама распространённая БД? В пятничный вечер немного фактов про неё. У всех на слуху Postgres, MySQL, Oracle - там постоянно какие-то новые фичи, баги, хайлоад... А вот про рабочую лошадку, которая просто работает, почему-то информации немного.

https://habr.com/ru/companies/ruvds/articles/873816/ #dev
9
Forwarded from DataEng
The Ultimate Guide to Apache Airflow DAGs.pdf
4.5 MB
The Ultimate Guide to Apache Airflow® DAGs

E-book от ребят из Astronomer про Apache Airflow. 135 страниц концентрированной информации "без воды". Рекомендую! Заходит как справочник в самый раз 👍🏻
18
😁13
В asyncio добавили возможность смотреть граф вызова корутин

Ждем в python3.14: https://github.com/python/cpython/commit/188598851d5cf475fa57b4ec21c0e88ce9316ff0

Пример:


import asyncio

async def test():
asyncio.print_call_graph()

async def main():
async with asyncio.TaskGroup() as g:
g.create_task(test(), name=test.__name__)

asyncio.run(main())


Выведет:


* Task(name='test', id=0x10304eee0)
+ Call stack:
| File '/Users/sobolev/Desktop/cpython2/Lib/asyncio/graph.py', line 278, in print_call_graph()
| File '/Users/sobolev/Desktop/cpython2/ex.py', line 4, in async test()
+ Awaited by:
* Task(name='Task-1', id=0x1034a1e60)
+ Call stack:
| File '/Users/sobolev/Desktop/cpython2/Lib/asyncio/taskgroups.py', line 121, in async TaskGroup._aexit()
| File '/Users/sobolev/Desktop/cpython2/Lib/asyncio/taskgroups.py', line 72, in async TaskGroup.__aexit__()
| File '/Users/sobolev/Desktop/cpython2/ex.py', line 7, in async main()


Как оно работает?

Появилось два новых важных изменений:

- Поле Frame.f_generator – оно хранит генератор или корутину, которая владеет данным фреймом. Нужно чтобы отрисовывать + Call stack:
- Новое свойство у Future


@property
def _asyncio_awaited_by(self):
if self.__asyncio_awaited_by is None:
return None
return frozenset(self.__asyncio_awaited_by)


Нужно, чтобы отрисовывать + Awaited by:.

Конечно же есть две иплементации. На питоне уже показал, вот так оно на C:


/*[clinic input]
@critical_section
@getter
_asyncio.Future._asyncio_awaited_by
[clinic start generated code]*/

static PyObject *
_asyncio_Future__asyncio_awaited_by_get_impl(FutureObj *self)
/*[clinic end generated code: output=... input=...]*/
{
/* Implementation of a Python getter. */
if (self->fut_awaited_by == NULL) {
Py_RETURN_NONE;
}
if (self->fut_awaited_by_is_set) {
/* Already a set, just wrap it into a frozen set and return. */
assert(PySet_CheckExact(self->fut_awaited_by));
return PyFrozenSet_New(self->fut_awaited_by);
}

PyObject *set = PyFrozenSet_New(NULL);
if (set == NULL) {
return NULL;
}
if (PySet_Add(set, self->fut_awaited_by)) {
Py_DECREF(set);
return NULL;
}
return set;
}


Как использовать?

Конечно же данная фича умеет не только печатать объекты в stdout. Прежде всего – она предоставляет удобное АПИ для различных IDE и дебагеров, которые смогут использовать данную информацию для визуализации: чего вообще у вас там происходит.

Ну и мониторинги, и sentry, и много кто еще получит дополнительную мета-информацию о процессе выполнения кода.

Документация: https://docs.python.org/3.14/library/asyncio-graph.html

Круто?

| Поддержать | YouTube | GitHub | Чат |
7👏1
Forwarded from PyCon Russia
Отличные новости для всего Python-сообщества: мы открыли доступ к записям докладов с PyCon 2024 на нашем YouTube-канале Speach!

Теперь каждый может посмотреть (или пересмотреть заново) 27 классных докладов от лучших спикеров прошлого года. Изучайте, делитесь с друзьями и коллегами🙂

А совсем скоро вы сможете приобрести билеты на PyCon 2025.
1 февраля открываем продажу билетов на сайте по низкой цене. Не пропустите!
6
Forwarded from PyCon Russia
🔹Тая Пенская. Foundation models в Computer Vision: как они могут быть полезны для бизнеса?
🔹Татьяна Зубахина. Настройки сборщика мусора: опыт х2 производительности высоконагруженного сервиса
🔹Станислав Раковский. WayBack Machine для карантина зависимостей и трудности безопасности в PyPI
🔹Николай Хитров. Есть только моя архитектура и ваши неправильные
🔹Никита Крайко. Как оценивать современные RAG-системы?
🔹Михаил Гурбанов. На старт. Внимание. RUST
🔹Максим Акинин. Python и WASM — легко и быстро выносим бизнес-логику на сторону frontend'а
🔹Лев Орехов. Are We Web Yet?
🔹Карен Петросян. HTTP в питоне и кэширование
🔹Игорь Буянов. Настройка аугментаций для текстов как оптимизация гиперпараметров
🔹Ефим Головин. Как профилирование помогло разобраться со скачками утилизации GPU
🔹Елизавета Пушкарева. Yet another LLM benchmark. Why?
🔹Екатерина Арбузова. Объяснения персональных рекомендаций в онлайн-кинотеатре
🔹Егор Булычев. Контролируемая генерация для больших языковых моделей (LLM)
🔹Евгений Блинов. Как тестировать питонячьи либы
🔹Евгений Афонасьев. Долгая дорога к JIT
🔹Дмитрий Тихомиров. Полное погружение в Causal Inference. Практическое применение в HypEx
🔹Денис Аникин. Я ускорил всё, кроме себя
🔹Григорий Петров. Как и зачем я пишу новый учебник по Python
🔹Артем Самойлов. Мультиагентные системы и автопромптинг
🔹Артем Каледин. Python VS ГИС-инструменты: хватает ли питона для обработки гео-данных в индустрии?
🔹Антон Алексеев. GPU в k8s с максимальной отдачей, шерингом ресурсов и простой настройкой драйверов
🔹Алексей Стыценко. Как мы тестируем дата-пайплайны в рекламе Яндекса
🔹Алексей Воропаев. Taichi Lang: пишем CUDA ядра на Python
🔹Александр Шибаев. Делаем из питона го. Зачем?
🔹Александр Артамонов. Зачем Яндексу своя бинарная сборка python
🔹Юлия Волкова. Память, данные, python
10
😁17👏1
Forwarded from DataEng
AI Agent Course

На следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в продакшен.
❤‍🔥821
#ai #aiassistant 👇👇👇
Please open Telegram to view this post
VIEW IN TELEGRAM
27 мая 1784 года Моцарт купил в Вене скворца, который прожил у него три года.
Моцарт заметил, что птица очень точно повторяет мелодии, услышав их всего несколько раз. Но еще более удивительной была способность птахи вставлять собственные вариации, и, по всей видимости, Моцарту нравилось использовать скворца в качестве суфлера и своего рода «творческого помощника».
Однажды птица повторила 17 вступительных нот только что сочиненного Концерта для фортепиано № 17 соль мажор, K. 453, но с некоторыми вариациями, в частности, вставив кода в последний такт первого полного такта и спев соль-диез вместо натурального соль в следующем такте.
Именно эту, «птичью», версию Моцарт увековечил в Концерте.
4 июня 1787 года скворец скончался... Для него Моцарт устроил достойное погребение у себя в саду и посвятил своему другу трепетную поэму:
Здесь мирно спит певец,
Чудак скворец.
Во цвете лет пичуга
Сошла с земного круга,
Узнала смерти мрак.
О, сердцу больно так
При сем воспоминаньи.
Читатель! Состраданья
Слезу пролей над ним.
Он был неутомим,
Добряк и парень славный,
Веселый и забавный,
Проказник и простак,
А значит - не дурак.
Знать, он теперь на небе,
Хвалы возносит в неге
И дружбу прославляет,
Что выгоды не знает.
Ведь, в мир иной слетая,
Он умирал, не зная,
Что есть надежный друг и брат -
Скворца в стихах прославить рад.

(Вена, 4 июня 1787)
❤‍🔥14
Более чем 5️⃣1️⃣ тысяча публичных API разделённых по категориям в едином хабе. Есть поиск и фильтры.

Не благодари 🔣 rapidapi.com/hub

#api #dev
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7👏3
😁142
@cron_humaniser_bot

🤖 Бот переводит крон-выражение на человеческий. Работает бесплатно, без регистрации и смс.

#de #bot #cron
👏9❤‍🔥11
😁15