Python: 4 проекта недели

В свежем дайджесте Python Hub — очередная пачка новинок для питонистов, дата-инженеров и ML-специалистов. SQLBuild — опенсорсный фреймворк под пайплайны на SQL и Python: валидирует ссылки на таблицы, типы колонок и контракты ещё до того, как запрос уйдёт на выполнение, умеет end-to-end тесты и безопасное переименование таблиц. Компилятор с планировщиком написаны на Rust, а выполнение задач и расширения — на Python. GitHub

TorchTPU — это Google с Meta скооперировались: PyTorch-модели стартуют на TPU нативно, с eager execution, torch.compile и распределённым обучением, а перенос кода может ужаться до замены .to("cuda") на .to("tpu"). Документация fastpybase64 от Даниэля Лемира разгоняет декодирование Base64 до 13,3 ГБ/с на блоках 64 КБ (одно ядро Intel Xeon Gold 6548N) — это примерно в 27 раз шустрее стандартной библиотеки и в 4 раза бодрее pybase64. Подробнее

TorchNeuron — нативный backend под AWS Trainium2 и Trainium3: torch.compile, распредобучение, ядра через NKI, профилирование, DDP, FSDP2 и Tensor Parallelism; переезд — model = MyModel().to("neuron"). GitHub Все четыре штуки неплохо подсвечивают, куда катится Python-экосистема: более строгая работа с данными, аппаратное ускорение, оптимизация низкоуровневых операций и единый интерфейс под разные вычислительные платформы. Полный дайджест

👉 Telegram | 🌥 Claude и другие ИИ

Relinos — браузер, которым можно рулить кодом: он вытаскивает из веб-страниц структурированные JSON-данные и превращает почти любой сайт в API. Работает не через заглушки — поднимает настоящий браузер и парсит с исполнением JavaScript, отдаёт данные в JSON, HTML или Markdown, сам жмёт кнопки, заполняет поля и вообще взаимодействует со страницами, листает пагинацию, ходит через HTTP, HTTPS и SOCKS5-прокси, кеширует результаты, запускает несколько браузерных экземпляров параллельно и хранит сценарии для повторного прогона через REST API. А под готовые хотелки уже есть сценарии: Google, YouTube, Google Maps, DuckDuckGo, eBay и не только.

Ставится так: git clone https://github.com/realsirjoe/relinos, потом cd relinos и python3 relinos/install.py. Сервер поднимаешь через bash relinos/start.sh, по дефолту API висит на localhost:8032. Пример: шлёшь запрос с render: true и выборкой по XPath — получаешь в JSON заголовок и все ссылки со страницы. А если указать "format": "md" вместо HTML, текст приедет в Markdown — такое нейросетям скармливать куда сподручнее.

Куда приткнуть: следить за ценами и наличием товаров, собирать данные под аналитику и исследования, пилить свои поисковые инструменты, готовить веб-контент для ИИ-агентов, автоматизировать однообразные действия на сайтах, накидывать API поверх веб-ресурсов. Софтина бесплатная, код открыт: GitHub/Инструкция.

👉 Telegram | 🌥 Claude и другие ИИ

Anthropic заявили, что Fable 5.2 решила две открытые задачи теоретической физики

Первая — про черные дыры — висела открытой с 1983 года. Тогда ребята показали: греешь анти-де-ситтеровскую вселенную — черные дыры возникают резко, как вода закипает. Но метод катил только для больших вселенных, где работает теория относительности. Для крошечных, где остается одно квантовое описание, расчет набросали в 2003-м — и забросили: слишком трудоемкий, никто не дотянул до конца. Fable 5.2 докрутила его почти сама и выяснила: в малых вселенных переход тоже резкий.

Вторая — про прием, который физики уже лет 15 активно юзают, чтобы отсеивать кандидатов в теории квантовой гравитации на упрощенной модели вселенной. Все эти годы висел открытый вопрос, где именно у этого приема предел применимости, и Fable 5.2 впервые его нащупала. С математиками закрыли, теперь теоретиков лишаем работы

👉 Telegram | 🌥 Claude и другие ИИ