Нейросети теперь сами для себя придумывают экзамены 🧑‍💻

Все привыкли к бенчмаркам вроде HumanEval, которые давно заезжены и на которых все модели уже натренировались. Как понять, какая LLM реально программирует лучше? И вот Tencent выкатили в опенсорс AutoCodeBenchmark.

Это целый конвейер, который использует LLM, чтобы создавать новые, уникальные задачи по программированию на 20 языках.

Как это работает?
1. Берется простейший кусок кода (типа a+b).
2. LLM получает задание "эволюционировать" его во что-то сложное и написать тесты.
3. Самое главное: сгенерированный код тут же отправляется в безопасную "песочницу" (MultiLanguageSandbox), где он компилируется и выполняется. Если код — нерабочая дичь, он отбраковывается.
4. Только после успешной проверки код превращается в полноценную задачу бенчмарка.

Такой подход "генерация-проверка" гарантирует, что задачи в бенчмарке корректны и решаемы. Это позволяет бесконечно генерировать новые тестовые наборы, которые модели еще не видели. По сути, это новый, куда более честный и масштабируемый способ измерять реальные возможности кодовых LLM.

Описание архитектуры смотрим тут:
▶️Разбираем AutoCodeBenchmark от Tencent: нейросеть, которая сама придумывает и проверяет задачи по программированию ◀️

Интересно, как скоро модели научатся генерировать бенчмарки, на которых они сами будут выглядеть лучше конкурентов? 😊

#щупаем_сорцы

👨‍💻 Минутка почти еженедельной рубрики «какого черта вы это делаете руками в 2025?».

Сегодняшний пациент — самописные скрипты для отслеживания изменений файлов.

Видел это миллион раз: бесконечный цикл, внутри os.walk, time.sleep(1) и сверка mtime. Наивный, прожорливый и кривой костыль, который жрет CPU впустую, даже когда ничего не происходит. Чуть лучше — взять старый-добрый watchdog.

Но есть watchfiles.

Это библиотека с ядром на Rust, использующее нативные API ОС (inotify на Linux, FSEvents на macOS и т.д.), и удобная обертка на Python. Пока событий нет — потребление ресурсов нулевое. Реакция мгновенная.

Это тот же паттерн, что и у Ruff, Polars или uv: тяжелую, низкоуровневую работу, где важна производительность, мы делегируем нативному коду. А в Python оставляем удобство и бизнес-логику.

Я тут расписал все это в деталях: заглянул под капот watchfiles, сравнил с watchdog и самописными костылями, показал, как пользоваться CLI и для чего это вообще нужно в разработке.

👉 Читать: watchfiles: руководство по эффективному мониторингу файлов в Python

Или вы до сих пор считаете, что while True + os.walk — это норм? Расскажите, почему 🌚

#это_база

"Играем" в MMORPG, где вашим персонажем управляет Python-скрипт 🎮

Игруха Artifacts — это бесплатная сэндбокс-MMORPG, где каждое действие персонажа — это HTTP-запрос. Вся "игра" — это, по сути, написание умного бота для самого себя. И это основная механика, а не читерство.

Можно управлять сразу 5-ю персами, создав полностью автономный отряд 🤖. Один рубит лес, второй добывает руду, третий крафтит шмот, двое других этим шмотом зачищают локи от мобов. А вы сидите, пьете кофе и смотрите.

🐍 Как это работает на Python?

Для основы не нужно ничего, кроме библиотеки requests.

1️⃣ Регистрируемся на сайте и создаем персонажа.
2️⃣ Находим свой токен в профиле. Это ваш ключ к API, держите его в секрете.
3️⃣ Пишем код.

Допустим, ваш ник CodeWarlock и вы хотите переместить его на клетку (0, 1), где пасутся нубские курицы для фарма.

Вот как будет выглядеть ваш первый скрипт:

import requests
import time

# --- Ваши данные ---
MY_TOKEN = "Bearer ВАШ_TOKEN_СЮДА"
CHARACTER_NAME = "CodeWarlock"
BASE_URL = "https://api.artifactsmmo.com/my"

# --- Заголовки для всех запросов ---
headers = {
    "Content-Type": "application/json",
    "Accept": "application/json",
    "Authorization": MY_TOKEN
}

def move_character(x, y):
    """Отправляет персонажа на указанные координаты."""
    url = f"{BASE_URL}/{CHARACTER_NAME}/action/move"
    payload = {"x": x, "y": y}
    
    try:
        response = requests.post(url, headers=headers, json=payload)
        response.raise_for_status()  # Проверит на ошибки HTTP (типа 4xx, 5xx)
        
        data = response.json()
        print(f"Перемещаемся на ({x}, {y})...")
        
        # После любого действия есть кулдаун. Его нужно дождаться.
        cooldown = data.get('cooldown', 0)
        print(f"Кулдаун: {cooldown} секунд. Ждем...")
        time.sleep(cooldown)
        print("Готов к следующему действию!")

    except requests.exceptions.RequestException as e:
        print(f"Ошибка запроса: {e}")
        # Тут можно посмотреть тело ответа, чтобы понять, что не так
        if 'response' in locals():
            print(f"Ответ сервера: {response.text}")

# --- Запускаем нашего "игрока" ---
if __name__ == "__main__":
    # Двигаемся на клетку с курицами
    move_character(0, 1)
    
    # Тут можно добавить следующую логику:
    # fight_monster("chicken")
    # ...и так далее

Все! Аналогично делаются запросы на бой, сбор ресурсов, крафт. Меняется только эндпоинт (вместо /move будет /fight) и payload.

Идеальный тренажер для новичков, чтобы на практике понять API, и шикарная "песочница" для опытных, чтобы построить сложные цепочки автоматизации.

🇨🇳 Alibaba выкатили свой бесплатный ИИ-редактор кода — Qoder.

Разрабы называют его "агентной платформой для программирования", которая понимает всю кодовую базу и её архитектуру, а не только открытый файл.

Главная фича — Quest Mode:
Ты текстом описываешь задачу со всеми спеками, а агент сам планирует, пишет код, тестирует и вносит правки в проект. Асинхронно.

Что ещё интересного:
- Под капотом пачка моделей (Claude, GPT, Gemini и др.), которые подбираются автоматом под задачу.
- Запоминает контекст и твой стиль кода.
- Пока что полностью бесплатно на время превью.

Хороший подгон, с учетом того, что Trae, который был временно бесплатный и я его использовал, стал платным (ну почти, бесплатно там теперь только Gemini Flash).

Пошел тестировать ☕️

#тулбокс

Два интересных факта из нового отчета JetBrains 🤔

Вышел свежий "The State of Python 2025" от JetBrains. Вот парочка самых интересных тезисов:

1️⃣ Половина Python-разработчиков — новички.

Да-да, 50% имеют меньше 2 лет проф. опыта. КАЖДЫЙ ВТОРОЙ.

2️⃣ 83% сидят на старых версиях Python, сжигая миллионы.

Отчет показывает, что переход, например, с Python 3.10 на 3.13 дает +42% к скорости. БЕЗ ИЗМЕНЕНИЯ КОДА.
А компании могли бы экономить сотни тысяч, а то и миллионы долларов в год на облаках. Но кому-то просто "некогда" поменять цифру в Dockerfile.

Это, конечно, только верхушка. Про взлет FastAPI, тотальное доминирование Rust и революцию в инструментах я расписал в материале на Дзен.
🫱🏻Читать: Половина — новички, а миллионы сгорают на ровном месте. Разбор отчета JetBrains ◀️◀️

Окей, с первым квизом кто-то справился. Но вы же не думали, что на этом всё? 😈

Давайте копнём в другую область — цепочки сравнений. Все же знают, как они работают, правда?
Тогда этот код не вызовет у вас никаких проблем. Или вызовет?

#квиз