🖥 Новинка: `pyx` — Python-native пакетный реестр от Astral (в Beta)

Что такое `pyx`:
- Python-native registry, часть платформы Astral и продвинутый бэкенд для uv.
- Обеспечивает более быструю, безопасную и GPU-осознанную работу с пакетами (как приватными, так и публичными, включая PyPI и PyTorch).

Почему это важно:
- Следует философии Astral: поддержка open-source, без превращения инструментов в конкурирующие SaaS-продукты.
- Первый шаг к вертикальной интеграции с существующими open-source инструментами.
- Уже в бета-версии с ранними партнёрами — Ramp, Intercom и fal.

Впечатление:
pyx выглядит как обдуманный, open-source-ориентированный подход к packaging infrastructure, который может сделать разработку Python-экосистемы быстрее и мощнее.

https://simonwillison.net/2025/Aug/13/pyx/#atom-tag

⚡️ Tencent дропнули Hunyuan-MT — мощные open-source модели для перевода

Что внутри:
- Доступны модели Hunyuan-MT-7B и Hunyuan-MT-Chimera-7B
- Поддержка 33 языков
- Chimera-7B — это первая d индустрии откртытая ансамблевая модель

🏆 Результаты:
- 1-е место в 30 из 31 категорий на международном конкурсе WMT25 (Workshop on Machine Translation 2025, крупнейшая в мире конференция-соревнование по машинному переводу)
- Hunyuan-MT-7B лидирует среди моделей своего размера

🟠Модели: https://huggingface.co/collections/tencent/hunyuan-mt-68b42f76d473f82798882597
🟠 Репозиторий: https://github.com/Tencent-Hunyuan/Hunyuan-MT
Demo: https://hunyuan.tencent.com/modelSquare/home/list

@ai_machinelearning_big_data


#AI #NLP #Translation #Tencent

🖥 Полный гайд по реальным SQL-вопросам с собеседований

Введение. Собеседования на позиции, связанные с данными (аналитики, инженеры, ученые данных), всё чаще включают нестандартные и продвинутые вопросы по SQL.

Большие технологические компании (Google, Amazon и др.) предъявляют высокие требования: важна не только правильность запроса, но и умение оптимизировать его и разбираться в реальных бизнес-данных.

В этом гайде мы разберем категории наиболее распространенных сложных SQL-задач с реальных собеседований – от платформ вроде DataLemur, LeetCode, StrataScratch – и подробно поясним решения.

Каждая задача сопровождена анализом: условие, оптимальный подход, используемые SQL-конструкции, возможные ошибки и финальное решение (для PostgreSQL и MySQL, с указанием различий где необходимо).

В конце добавлен отдельный раздел о современных базах данных, включая векторные БД (Pinecone, Weaviate, Milvus и др.), с примерами того, что могут спросить про них на собеседовании и как выглядят SQL-подобные запросы для работы с векторами.

📌 Читать гайд

⚡️ Qwen-ASR Toolkit — мощный Python CLI для быстрой транскрипции длинных аудио и видео

Эта утилита снимает ограничение API Qwen-ASR (бывший Qwen3-ASR-Flash) в 3 минуты и позволяет расшифровывать часы контента. Достигается это за счёт умного разбиения записи и параллельной обработки.

Основные возможности:
- Снятие лимита в 3 минуты - транскрибируй файлы любой длины
- Умное разбиение (VAD - это технология, которая определяет, где в аудио есть речь, а где — пауза или шум.) - деление по естественным паузам, без
- Высокая скорость - многопоточность и параллельные запросы к API
- Автоматический ресемплинг — конвертация в нужный формат 16kHz mono
- Поддержка любых форматов — MP4, MOV, MKV, MP3, WAV, M4A и др.
- Простота - запуск одной командой через CLI

🟢 Установка:

pip install qwen3-asr-toolkit  

🔗 GitHub: https://github.com/QwenLM/Qwen3-ASR-Toolkit

@ai_machinelearning_big_data


#asr #speech2text #qwen #opensource #nlp #toolki

🖥 Как сгенерировать QR-код с помощью Python

Все очень просто:

import qrcode

qr = qrcode.make("https://uproger.com/")
qr.save("qr_code.png")

Такой подход удобно использовать для:
— ссылок и лендингов
— Wi-Fi-паролей
— визиток / контактных данных
— быстрых ссылок в своих приложениях

🆕 PDF Arranger — лёгкий и удобный инструмент для работы с PDF.

✨ Возможности:
- Объединение и разделение файлов
- Поворот и обрезка страниц
- Перестановка и удаление страниц
- Интуитивный drag-and-drop интерфейс

💻 Доступен для Linux, Windows (включая портативную версию) и BSD.
Полностью опенсорс (GPL-3.0).

Идеален, если нужно быстро подготовить PDF к печати или презентации — без сложных настроек.

📌 GitHub

#PDF #opensource #Linux #devtools

@pythonl

🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

▪ GitHub

🖥 Python: как убрать «тысячу мелких пакетов» в TCP и ускорить отправку без Nagle-лагов

Неочевидный, но очень полезный приём для высоконагруженных Python-сервисов, которые пишут в сокет маленькими кусками (заголовки, чанки и т.п.).

Проблема: множество send() приводит к лишним системным вызовам и маленьким TCP-сегментам. Если включён Nagle, мелкие посылки «склеятся», но вы получите задержки (особенно рядом с read()`/`write() пинг-понгом).

Решение: управляем склейкой вручную:
- На Linux используйте флаг MSG_MORE — ядро понимает, что «продолжение следует» и подержит пакет, пока вы не отправите финальный кусок без MSG_MORE.
- Альтернатива — временно включать TCP_CORK: ядро копит данные и шлёт крупным сегментом при снятии «пробки».
- Для передачи файлов после заголовков используйте os.sendfile() — это почти нулевые копирования (zero-copy).

Итого: меньше syscalls, крупнее сегменты, ниже latency-хвост без «магии» Nagle.

import os
import socket
import time
from contextlib import contextmanager

HAS_MSG_MORE = hasattr(socket, "MSG_MORE")
HAS_TCP_CORK = hasattr(socket, "TCP_CORK")  # Linux only

@contextmanager
def tcp_cork(sock: socket.socket):
    """Временно включаем TCP_CORK (Linux), чтобы склеить мелкие записи."""
    if HAS_TCP_CORK:
        try:
            sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_CORK, 1)
            yield
        finally:
            # Снятие «пробки» — ядро отправит накопленное
            sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_CORK, 0)
    else:
        # На не-Linux просто не делаем ничего
        yield

def send_with_coalescing(sock: socket.socket, parts: list[bytes]):
    """
    Отправляем несколько маленьких кусков как один крупный сегмент.
    - Linux: предпочитаем MSG_MORE (проще, не требует cork).
    - Иначе: объединяем буфером в памяти как fallback.
    """
    if HAS_MSG_MORE:
        # Все, кроме последнего, шлём с MSG_MORE
        for chunk in parts[:-1]:
            # может вернуть меньше; используем sendall для простоты
            sock.sendall(chunk, socket.MSG_MORE)
        sock.sendall(parts[-1])
    elif HAS_TCP_CORK:
        # Включаем «пробку», шлём всё, затем снимаем
        with tcp_cork(sock):
            for chunk in parts:
                sock.sendall(chunk)
    else:
        # Портативный fallback — склеиваем в памяти
        sock.sendall(b"".join(parts))

def demo_http_like_response(conn: socket.socket, path_to_file: str | None = None):
    # Пример: заголовки и небольшой body
    headers = [
        b"HTTP/1.1 200 OK\r\n",
        b"Content-Type: text/plain\r\n",
        b"Connection: close\r\n",
        b"\r\n",
    ]
    body = [b"Hello, ", b"world", b"!", b"\n"]

    # 1) Заголовки + маленький body — аккуратно склеим
    send_with_coalescing(conn, headers + body)

    # 2) Большой файл после заголовков — лучше через sendfile (zero-copy)
    if path_to_file and os.path.exists(path_to_file):
        # В реальном сервере заголовки Content-Length/Type должны соответствовать файлу
        with open(path_to_file, "rb") as f:
            offset = 0
            while True:
                sent = os.sendfile(conn.fileno(), f.fileno(), offset, 1 << 20)  # 1 MiB
                if sent == 0:
                    break
                offset += sent

def simple_server(port=9090, file_to_send=None):
    srv = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # Хорошая практика для рестартов
    srv.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    srv.bind(("0.0.0.0", port))
    srv.listen(128)
    print(f"listening on :{port} ...")
    while True:
        conn, addr = srv.accept()
        try:
            demo_http_like_response(conn, file_to_send)
        finally:
            conn.close()

if __name__ == "__main__":
    # Запустите и сходите curl'ом: curl -v http://127.0.0.1:9090/
    # На Linux увидите меньшую фрагментацию пакетов (ss, tcpdump).
    simple_server(port=9090, file_to_send=None)

🖥 Шпаргалка по командам Linux для среднего и продвинутого уровня

Сохраняйте себе, чтобы не потерять

📌 Полная версия онлайн

🖥 Практический гайд по автоматизации процессов на Python

Перед вами подробный практический гайд по автоматизации процессов на Python для продвинутых разработчиков. Он фокусируется на промышленном уровне качества: архитектура, надёжность, наблюдаемость, упаковка и деплой. В каждом разделе - конкретные паттерны и готовые фрагменты кода.

✔️ Подробнее