Для тех, кто питонами балуется Bloomberg открыл интересный тул

Memray is a memory profiler for Python
https://github.com/bloomberg/memray

Notable features:
- Traces every function call so it can accurately represent the call stack, unlike sampling profilers.
- Also handles native calls in C/C++ libraries so the entire call stack is present in the results.
- Blazing fast! Profiling causes minimal slowdown in the application. Tracking native code is somewhat slower, but this can be enabled or disabled on demand.
- It can generate various reports about the collected memory usage data, like flame graphs.
- Works with Python threads.
- Works with native-threads (e.g. C++ threads in native extensions)

Memray can help with the following problems:
- Analyze allocations in applications to help discover the cause of high memory usage.
- Find memory leaks.
- Find hotspots in code which cause a lot of allocations.

+
Тред, который подглядел в @nocproject
https://twitter.com/1st1/status/1516859294896906241

Тут часть ядра pydantic переписали на Rust и он стал в 17 раз быстрее (код бенчмарка тут) чем обычный Pydantic.

Пока что WIP, выглядит многообещающее, но нет самой интеграции с pydantic, поэтому схемы могут делаться только через словари. Целью стоит увеличение скорости работы в ДЕСЯТЬ раз.

GitPod — напомню: это сервис, предоставляющий эфемерные облачные окружения для разработки — объявил о партнёрстве с JetBrains. Раньше в их облачные окружения можно было подключаться через VSCode, vim и emacs, а теперь добавляется возможность ходить туда ещё и из пайчарма, голэнда или чем вы там пользуетесь.

Только представьте какой это кайф — подключаешь свою IDE к облачной среде разработки, а там уже интерпретатор правильный выбран, зависимости установлены (включая все дурацкие нативные либы, которые компилируются только в определенных условиях, и то полтора часа) и проиндексированы. Всё сделано заранее, можно начинать работать СРАЗУ ЖЕ! Подключился, поработал, запушил работу, выкинул грязное окружение. Для следующей таски возьмёшь новое, чистое.

Раньше для меня GitPod был «альтернативой GitHub Codespaces», но теперь они явно превзошли оригинал.

https://www.gitpod.io/blog/gitpod-jetbrains

Дисклеймер: единственный минус для россиян, что сервис хочет денег в иностранной валюте и работает на иностранных облаках и в европейской юрисдикции, поэтому снова применяются все эти уже ныне ставшие обыденностью сложности и опасения. Со всеми иностранными ништяками теперь всё не просто.

Проект PyScript развивает платформу для выполнения Python-скриптов в web-браузере https://opennet.ru/57125/

Вышла первая бета python 3.11: https://www.python.org/downloads/release/python-3110b1/
Версия 3.11 несёт в себе большое количество новых фич. Скоро выпущу подробный пост с разбором каждой фичи. Помимо этого в рамках инициативы Faster Python заявляется, что версия 3.11 в среднем на 22% быстрее чем 3.10 😲😲

У Stack Overflow запустился очередной ежегодный опрос среди разработчиков. Уже 12 год подряд.

Пожалуй, это самое интересное исследование про программистов, каждый год получаются какие-то любопытные результаты и открытия. Поэтому, чтобы картинка сложилась максимально полная, обязательно его пройдите! У меня это заняло минут десять.

Take the survey

Небольшая подборка flake8 плагинов для тех, кто уже использует 3.10 и хочет писать тайп-хинты красиво:

1. flake8-new-union-types — заставляет переписывать Union[X, Y] на X | Y;

2. flake8-pep585 — заставляет использовать встроенные классы, например, list[dict[str, int]], без импортов из typing.

Знаете ещё полезное? Делитесь в комментариях!

#flake8

Из комментов. А помните был такой проект flakehell? В какой-то момент он окончательно загнулся, но затем воскрес под новым именем flakeheaven. Вознёсся на небушко, так сказать.

Это обёртка над flake8, которая добавляет в него больше конфигурабельности и разных фич. Я им пользовался, потому что он поддерживает baseline (может запомнить существующие ошибки и перестать их показывать каждый раз, но зато не даст добавлять новые ошибки), что очень полезно для старых больших проектов. А ещё он под капотом запускает ещё и pylint.

#flake8

Наконец-то реальная польза от этого всего программирования

Прекрасно, когда TL;DR есть от автора статьи (:

———

TL;DR: I built a wifi-equipped water gun to shoot the pigeons on my balcony, controlled over the internet by a python script running openCV reading the camera image of my old iPhone.

https://maxnagy.com/posts/pigeons/

#python #fun

Оказывается, механизм разрешения зависимостей из Poetry можно использовать для решения судоку. И судоку, и разрешение зависимостей — это задачи удовлетворения ограничений (constraint satisfaction problem), поэтому достаточно лишь записать правила судоку в виде пакетов с зависимостями и заставить Poetry это установить. А если добавить флажки для подробного вывода, то Poetry еще по пути будет объяснять, почему он решает судоку именно так. Офигенно!

Статья | Тред на реддите

Недавно начали публиковать бета-релизы Python 3.11, который выйдет примерно через 4 месяца. Если начался этап бет, то значит, что новые фичи в релиз добавлять больше не будут, а сконцентрируются на стабилизации того, что уже добавили. Можно в принципе уже идти читать What’s New.

Есть и новые фичи, и изменения в стандартной библиотеке, но, пожалуй, релиз 3.11 — это в основном про скорость. С этой версией языка выходят первые наработки проекта Faster CPython. Обещают ускорение 10-60% по сравнению с предыдущими версиями, при этом переписывать для этого ничего не придётся.

Почитайте секцию про оптимизации, это интересно.

В комментах к предыдущему посту скинули ссылку на крутой инструмент specialist, который умеет визуально показывать оптимизации, применённые к коду интерпретатором Python 3.11.

Напомню, что в 3.11 появится нечто под названием "Specializing Adaptive Interpreter". Это такая штука, которая будет выявлять в коде часто выполняющиеся операции (hot regions) и оптимизировать их, подменяя универсальные, медленные инструкции на более специфичные, быстрые. Например, если интерпретатор поймёт, что в определенной строчке кода часто происходит сложение целых чисел (а не конкатенация строк, например), то он подменит операцию на более быструю, которая специально заточена под целые числа. Если вдруг в какой-то момент в этом же самом месте кода окажутся строки, а не числа, то оптимизированную операцию придётся заменить обратно на обычную.

Вот, specialist как раз умеет понимать все эти трюки и раскрашивать код в разные цвета, в зависимости от степени примененных оптимизаций. На гитхабе проекта есть туториал с объяснением.

Хм, не прошло и полутора лет 😅

Узнал:

• что регулярные выражения можно удобно разбивать на кусочки, а затем собирать вместе через f-строки;
• что внутри регулярок можно использовать комментарии.

И это в сумме превращает запутанное месиво из бэкслешей и скобок во вполне понятный текст. Полезно, хоть даже я и не так часто пишу большие регулярки.

https://death.andgravity.com/f-re

В JetBrains решили переработать UI своих IDE, сделать его более современным и простым — больше иконок, меньше панелек.

Пока что это доступно только в превью (по запросу), но в какой-то момент новый UI станет дефолтным. Переход будет итеративным и постепенным. Обещают, что ещё пару лет будут держать возможность вернуться к старому UI, чтобы все успели переучиться.

Что скажете? Уже пробовали? Пользоваться можно?

Пост 1 | Пост 2

#jetbrains

Оказывается, крайний релиз форматтера black 22.1.0 (он же первый не-бета релиз) для всех основных платформ распространяется в виде колёс со скомпилированным нативным кодом. То есть там уже не обычный интерпретируемый питон, а именно нативный код, использующий Python API. На фоне долгожданной стабилизации форматтера эта новость осталась практически незамеченной.

Получается такое через компилятор mypyc, идущий в комплекте с тайп-чекером mypy. Он умеет транспилировать обычный код на питоне с тайп-аннотациями в исходники на C, а их уже можно скомпилировать в библиотеки для большинства платформ.

В итоге после компиляции и некоторых оптимизаций получилось ускорить работу форматтера в два раза. Время запуска тоже слегка сократилось. Из-за особенностей компилятора тайп-аннотации тоже стали строже.

Автор этой инициативы написал серию постов (раз, два, три) про возникшие по пути сложности. Любопытно.

#black #formatter #mypy #mypyc

Вот ещё статья в тему mypyc. Товарищ Glyph настойчиво предлагает всем начать пользоваться этим инструментом, показывая как он ускоряет FizzBuzz в два с лишним раза.

https://glyph.twistedmatrix.com/2022/04/you-should-compile-your-python-and-heres-why.html

#mypy #mypyc