Polars 1.44.0 вышел 24 августа, и основная работа в нём пришлась на SQL-слой и на Iceberg.

🔘 Общие табличные выражения теперь кэшируются, а cross join, который раньше появлялся при декорреляции подзапросов в предикатах равенства, устраняется. Неквалифицированные предикаты соединения опускаются до inner join.

🔘 В SQL добавили коррелированные подзапросы с IN и квантифицированные сравнения с подзапросом.

🔘 Нативный scan_iceberg понимает эволюцию схемы, deletion vectors третьей версии и свойства снапшотов, а пути к объектному хранилищу принимает напрямую.

🔘 join_where поддерживает больше типов соединения, появились скалярные произведения для массивов фиксированного размера и метод struct.drop().

🔘 При разрешении схемы в __arrow_c_stream__ Polars освобождает GIL. Отдельно починили порчу данных во вложенных LargeList при работе через Arrow.

🔘 Параметр rechunk у функций чтения и сканирования вместе с Expr.rechunk() объявлены устаревшими.

Чисел по скорости в релизе нет, так что заявлять конкретное ускорение не станем.

@zen_of_python

Актуальный openai — 3.5.0 — не тянет за собой httpx. В зависимостях SDK стоит httpx2: отдельный пакет, в который команда Pydantic перенесла сопровождение httpx, потому что оригинал последнее время почти не развивался, а сам он, по формулировке Pydantic, «лежит в критическом пути слишком многих продакшен-систем».

Если клиент создаётся без своего http_client, вызовы, разбор ответов, стриминг, ретраи и числовые таймауты работают как раньше. Смотреть стоит в три места.

🔘 import httpx в вашем коде упадёт, если пакет приезжал только вместе с SDK и никто больше его не ставит. Лечится строчкой httpx в зависимостях или переносом импортов на httpx2.
🔘 Собственный http_client собирается из нового пакета — DefaultHttpx2Client, httpx2.Timeout, httpx2.HTTPTransport.
🔘 Проверка TLS-сертификатов переехала с certifi на системное хранилище доверенных корней, и сам certifi SDK тоже больше не ставит.

Третий пункт бьёт по проду: минимальный образ без системных CA-сертификатов, корпоративный прокси, чей корень лежал только в certifi, свой доработанный бандл — во всех этих случаях верификация может начать падать. Поднимается либо установкой CA в системное хранилище, либо явным бандлом через SSL_CERT_FILE или каталогом в SSL_CERT_DIR (обе переменные читаются при trust_env=True, это значение по умолчанию), либо своим ssl.SSLContext в параметре verify.

Инструкция по миграции лежит в репозитории SDK — там же про изменения в исключениях транспорта, event hooks и моках через RESPX.

В стандартной библиотеке 3.15 появился профилировщик, который цепляется к работающему процессу по PID

Профиль с прода снять обычно нечем: profiling.tracing инструментирует каждый вызов функции и заметно тормозит программу, а перезапускать сервис ради замера никто не даст. Из-за этого «тормозит в бою, на стенде не воспроизводится» годами оставалось без ответа.

В Python 3.15 добавили profiling.sampling, он же Tachyon: семплирующий профилировщик, который периодически снимает стеки уже запущенного процесса. Код менять не нужно, перезапускать не нужно, накладные расходы околонулевые. Частота семплирования — до 1 000 000 Гц, на момент добавления это самый быстрый семплирующий профилировщик для Python.

🔘 куда целиться: attach по PID к живому процессу, run — скрипт с самого старта, run -m — модуль, dump — одноразовый снимок стеков всех потоков, чтобы понять, на чём висит зависший процесс (с --async-aware — по всем задачам asyncio);
🔘 что мерить: --mode wall по умолчанию считает календарное время вместе с ожиданием ввода-вывода, --mode cpu — только счёт, --mode gil показывает, какой поток держит GIL, --mode exception берёт пробы только с потоков с активным исключением;
🔘 форматы вывода: --pstats, --collapsed для FlameGraph и speedscope, --flamegraph — самодостаточный HTML на D3.js, --gecko для Firefox Profiler, --heatmap — построчная тепловая карта по файлам;
🔘 есть живой TUI в духе top через --live и профилирование до уровня байткода через --opcodes.

Авторы — Пабло Галиндо и Ласло Кишш Коллар. Раздел в What's New описывает все режимы; финал 3.15 ожидается в октябре, сейчас доступен rc1.

@zen_of_python

Django опросил 3500 разработчиков: ядро скучное, всё вокруг него бурлит

28 августа Django Software Foundation и PyCharm опубликовали ежегодный The State of Django: почти 3500 ответов из более чем 40 стран, от студентов до людей с десятилетиями стажа.

Ядро держится на месте, и авторы называют это комплиментом: зрелое, но не застывшее. PostgreSQL держит 76–79% пятый год подряд, штатный шаблонизатор — около 80%, а 43% опрошенных уже перешли на Django 6.0 через несколько месяцев после выхода.

Меняется обвязка. Совсем без ИИ-инструментов работают 10% опрошенных; из тех, кто ими пользуется, 58% делают это ежедневно и ещё 27% несколько раз в неделю.

🔘 лидера среди инструментов нет: Claude Code — 35%, ChatGPT — 33%, GitHub Copilot — 23%, а интерфейсы делятся почти поровну между браузером, IDE и командной строкой;
🔘 56% пользователей ИИ применяют его только для советов в чате;
🔘 работа с агентами остаётся поднадзорной: 59% просят сгенерировать код и вносят правки сами, 44% разрешают править файлы и запускать команды по прямому указанию, и только 27% дают довести до конца многошаговую задачу;
🔘 официальная документация Django остаётся главным источником обучения с 67%, но ИИ-инструменты уже вторые с 51% — впереди YouTube, чтения исходников и Stack Overflow.

@zen_of_python

Вышел Python 3.15.0rc2: до финала 1 октября осталось проверить свои пакеты

Второй релиз-кандидат опубликован 1 сентября: 144 исправления от 76 участников после rc1. Главное в нём то, чего уже не будет: ABI заморожен, и wheels, собранные на rc2, будут работать с финальной 3.15 и всеми её патч-версиями. Значит, мейнтейнеры расширений на C могут собирать и выкладывать колёса под 3.15 уже сейчас.

🔘 экспериментальный JIT даёт в среднем 8–9% к обычному интерпретатору на x86-64 Linux и 12–13% к tail-calling-интерпретатору на AArch64 macOS, разработчики просят прогнать на нём свои нагрузки и сообщить о регрессиях
🔘 в прод rc2 ставить не рекомендуют, для CI и тестов совместимости он и предназначен

Ставится через uv python install 3.15.0rc2 или с python.org.

Что означает заморозка ABI, сколько даёт JIT и что проверить мейнтейнеру разобрали на сайте.

@zen_of_python

uv 0.12.9 закрыл проблему с памятью при чтении чужих wheel и добавил CPython 3.15.0rc2

Релиз 1 сентября. Из важного:

🔘 обновлён async_http_range_reader до 0.11.1: закрыта потенциальная проблема memory-safety при чтении метаданных из недоверенных wheel по HTTP range;
🔘 чувствительные заголовки больше не утекают при редиректах между зонами аутентификации, включая смену схемы на том же хосте;
🔘 секреты в подписанных URL вырезаются из диагностики повторов;
🔘 новые флаги --no-locked и --no-frozen отключают режимы из UV_LOCKED и UV_FROZEN на один вызов, а --locked, --frozen, --check теперь важнее переменных окружения;
🔘 холодная установка wheel быстрее: каждый ZIP распаковывается в одной блокирующей задаче с переиспользованием буферов;
🔘 добавлен CPython 3.15.0rc2.

Если ставите пакеты из сторонних индексов, обновляйтесь. Заметки к релизу.

@zen_of_python

Повторите 44% на ARC-AGI-1 на PyTorch за полтора часа и 67 центов

ARC-AGI-1 это тысяча задач на цветных сетках, где по паре примеров нужно угадать правило. Митхил Вакде обучил трансформер на 75 млн параметров с нуля и получил 44% на публичном eval за 1,5 часа на RTX 5090. Код открыт под MIT.

🔘 задачи превращаются в последовательности токенов, модель учится авторегрессионно;
🔘 обучение во время теста: на train- и eval-задачах при скрытых ответах;
🔘 обучаемые 3D RoPE для двумерных сеток и отдельный additive embedding на задачу;
🔘 8 слоёв, SwiGLU вместо GELU, RMSNorm вместо LayerNorm, flash attention с varlen на обучении, flex attention на inference;
🔘 удаление обучения на входных токенах подняло результат с 40% до 44%, автор пишет «я не понимаю почему»;
🔘 нужны CUDA выше 12.8, лучше 13.0; на ARC-2 та же модель даёт 7%.

Репозиторий mdlARC, ограничения замера разобрали на сайте.

@zen_of_python

PyTorch 2.14 уже собран под Python 3.15, но компилировать модели под ним пока нельзя

PyTorch Foundation выпустила 2.14: 2995 коммитов от 487 участников.

🔘 wheels для Python 3.15 и free-threaded 3.15t есть для Linux, Windows и macOS, но лежат на download․pytorch․org, не на PyPI;
🔘 torch.compile под 3.15 в этом релизе не работает и завершается RuntimeError, только eager;
🔘 torch.switch обобщает torch.cond на несколько веток, torch.while_loop захватывается CUDA Graphs;
🔘 удалены torch.cholesky, torch.qr, параметр профилировщика use_cuda; acc_policy="balanced" теперь ValueError;
🔘 у скалярного clamp градиент на границе стал 0 вместо 1, модели с клиппингом могут учиться иначе.

Сам Python 3.15 выходит 1 октября, второй rc был 1 сентября, так что проверить совместимость кода можно уже сейчас, а замеры с компиляцией придётся отложить. Чек-лист обновления на сайте.

@zen_of_python

Что происходит между np.add(a, b) и SIMD-циклом: разбор пути одного вызова

np.add не функция Python, а объект C-типа numpy.ufunc с 22 сигнатурами в np.add.types. Файт Хеллер прослеживает, что происходит с вызовом для dd->d, двух массивов float64.

🔘 ufunc_generic_vectorcall и ufunc_generic_fastcall проверяют overrides и конвертируют аргументы;
🔘 promote_and_get_ufuncimpl и resolve_descriptors выбирают реализацию и dtype результата;
🔘 реестр встроенных ufunc порождается скриптом generate_umath.py в файл __umath_generated.c; для add bool-цикл переиспользует logical_or, а object-массивы уходят в PyNumber_Add;
🔘 циклы собираются в нескольких вариантах под наборы инструкций (X86_V2, X86_V3, NEON, ASIMD), и нужный выбирается при импорте.

Какой вариант реально работает у вас, покажет numpy.lib.introspect.opt_func_info(func_name="add", signature="float64").

@zen_of_python