Вайбкодеры через 5 лет

Ваши версии?

#юмор
------
@tsingular

В догонку:

https://github.com/mb-mal/pmbok6

Установка одной командой:

curl -fsSL https://raw.githubusercontent.com/mb-mal/pmbok6/main/install.sh | bash

#навык
------
@tsingular

а ты забавный. удалю тебя последним. :)

#юмор
———
@tsingular

Добро пожаловать всем вновь прибывшим.

В связи со стабильным ростом количества читателей, вопреки блокировкам, каналу снова требуются ваши бусты, для поддержания жироты широты эмоционального разнообразия и автопереводов.

Поддержите кому не жаль 😀:

https://t.me/boost/tsingular

——-

Welcome to all newcomers.

Due to increase in subscribers numbers, despite of telegram blockage, channel once again needs your boosts to keep the breadth of emoji diversity and automatic translations from russian to your language.

Any support appreciated 😀:

https://t.me/boost/tsingular

#boost
———
@tsingular

Трансформеры Hugging Face теперь летают в vLLM на родной скорости — без ручного портирования

⚡️ Авторы моделей годами жили в раздвоенном мире: пишешь эталонную реализацию для библиотеки transformers — понятную, самодостаточную, удобную для изучения, а потом вручную портируешь её под vLLM со всеми оптимизациями ядер и параллелизацией. Теперь этот второй шаг исчезает: transformers-бэкенд vLLM догнал и местами обогнал нативные реализации по пропускной способности.

🖥️ Достигается это через динамический анализ графа модели с помощью torch.fx и перезапись операций через AST прямо во время исполнения. Бэкенд ищет известные паттерны (MergedColumnParallelLinear, QKVParallelLinear) и применяет fused-ядра на лету, плюс torch.compile для компиляции всего, что можно скомпилировать. Модель при этом не меняется: достаточно флага --model-impl transformers при запуске vLLM. Тензорный параллелизм, data-parallel, expert-parallel — всё работает из коробки.

📊 Сравнивали на трёх моделях Qwen3 разного масштаба: 4B (dense, 1 GPU), 32B (tensor-parallel на 2 GPU) и 235B MoE (data-parallel + expert-parallel на 8 GPU). После оптимизации transformers-бэкенд сравнялся с нативными реализациями vLLM, а на MoE-модели — обогнал. Поддерживается 450+ архитектур из экосистемы Hugging Face, не работает пока только с linear attention — но это временно.

Путь от «зарелизил модель на Hugging Face» до «пользователи гоняют её в vLLM на максимальной скорости» сократился до одного шага.
Код выложен, установка — uv pip install --upgrade vllm.

#HuggingFace #vLLM #инференс
------
@tsingular

Сбер выкатил в опенсорс GigaAM Multilingual и GigaChat Audio

Статьи по архитектуре моделей уже приняли на Interspeech 2026. В релизах исправили две проблемы открытых Speech AI систем — слабую поддержку языков СНГ и деградацию качества на длинных аудио.

GigaAM Multilingual — мультиязычный стек для распознавания русского, казахского, киргизского, узбекского и английского. Тут две части: аудио-энкодер и CTC ASR. Энкодер обучали на 2 млн часов речи на 70+ языках, и он быстро адаптируется к новым доменам. На башкирском и грузинском его дообучили с одного датасета Common Voice до ошибки WER ~4% (у Whisper Encoder при тех же вводных — 11%+). А модель распознавания CTC ASR в версии на 240M параметров обходит Whisper Large v3 и Omnilingual 1B, хотя весит кратно меньше.

GigaChat Audio — это audio-native LLM на базе GigaAM Multilingual и GigaChat3.1-10B-A1.8B. Модель тянет до 2 часов контекста и умеет в temporal grounding — локализацию событий во времени с таймстемпами и суммаризацией интервалов. На длинных записях от 20 до 60 минут точность локализации IoU составляет 48.3, в то время как у Voxtral, Phi-4 и Qwen3-Omni результат близок к нулю. Вдобавок опубликовали датасет TimeGround-1M для обучения LLM привязке событий ко времени, а на RuBQ-Audio модель выбивает 60.0 (против 43.7 у Qwen3-Omni).

Полноразмерную GigaChat-Max-Audio уже добавили в ИИ-помощник ГигаЧат giga.chat, а распознавание голосовых сообщений работает в @smartspeech_sber_bot. Веса открытых моделей, датасет и статьи на arXiv уже в сети.

GigaAM Multilingual
GigaChat Audio

@ai_newz

Hermes Agent научился параллелить безопасные вызовы в смешанных батчах: ускорение на 42%

Teknium (Nous Research) анонсировал обновление Hermes Agent с механизмом сегментированной пакетной диспетчеризации инструментов, который оптимизирует логику параллельного вызова инструмениов.

⚡️ Раньше схема была жёсткой: если в одном батче из нескольких инструментов оказывался хотя бы один небезопасный вызов (команда оболочки, запись файла), вся пачка уходила в последовательное выполнение, даже когда остальные операции были чисто читающими и могли отработать одновременно.
Теперь планировщик разбивает батч на сегменты: безопасные вызовы, идущие подряд, группируются в параллельный прогон, а небезопасный срабатывает как барьер, за которым начинается следующая группа.

🔧 Порядок вызовов при этом никогда не меняется, система лишь ищет непрерывные участки из безопасных операций внутри исходной последовательности, не переставляя их местами.

Результаты возвращаются строго в том порядке, в котором агент их запросил, а пересекающиеся обращения к одним и тем же файлам принудительно разводятся в последовательные цепочки.

📊 Например три чтения и один вызов оболочки выполняются за 1,16 секунды вместо прежних двух: сокращение времени на 42%.

#HermesAgent #update
------
@tsingular

InTruth,- ИИ плагин, который в режиме реального времени выявляет ложь политиков.

Система мгновенно расшифровывает каждое слово речи во время дебатов.

Затем она автоматически ищет в интернете источники, используя точные формулировки.

Вся эта свежая информация отправляется Клоду для оценки правдивости в режиме реального времени.

Проект зародился в ходе университетских исследований и теперь работает как расширение для браузера.

Версия плагина для FireFox:
https://addons.mozilla.org/fr/firefox/addon/intruth/

Не рекомендую устанавливать, так как доступов он просит достаточно много и не совсем понятно что именно он с ними делает, но как пример - интересно.

Опять же никто не мешает вам навайбкодить такое же своё минут за 15.

#InTruth #детектор
------
@tsingular

NVIDIA выкатила Molt, - RL-фреймворк для дообучения агентов

NVIDIA NeMo открыла Molt: опенсорсный agentic-first фреймворк для обучения агентов через reinforcement learning, полностью на нативном PyTorch (наследует кодовую базу OpenRLHF).

Внутри три компонента: Ray для распределённого рантайма и асинхронных очередей, vLLM для генерации, NVIDIA AutoModel + FSDP2 для тренировки.
Весь RL-код умещается в ~8,6 тыс. строк: для сравнения, verl — ~62 тыс., slime — ~25 тыс. При этом тот же скрипт, что тренирует 8B, масштабируется до MoE класса 1T — DeepSeek-V3 на --fsdp.ep_size 256 с TP/EP/CP и CPU-offload оптимизатора.

⚡️ Архитектура: одноакторная и полностью асинхронная. Одна модель-агент, один оптимизатор, опциональный reference для KL (плюс опциональный критик, если нужен классический PPO/GAE).
Rollout, тренировка и синхронизация весов перекрываются. Контракт token-first: token ids, logprobs, action ranges, награды и мультимодальные тензоры остаются выровненными от роллаута до градиента.

Конфиг — только CLI-флаги, без Hydra и YAML. Граф обучения помещается на одной странице, каждый градиент явный, каждое слагаемое лосса — в одном файле.

🎯 Алгоритмы: REINFORCE (± baseline), RLOO, GRPO, Dr. GRPO, PPO (GAE) и on-policy дистилляция — reverse KL к замороженному учителю включается одним флагом, без reward-функции.
Для асинхронных роллаутов встроены IS-коррекции рассогласования logprob'ов между vLLM и тренировочным актором (TIS, IcePop, sequence-masked IS).

🔧 Router Replay (R3): решение классической нестабильности MoE при RL. vLLM и тренировочный FSDP-актор маршрутизируют токены к экспертам независимо — численные расхождения накапливаются, и ломается IS-предположение, на котором держится GRPO.
Molt заставляет тренировочный проход воспроизводить точный top-k выбор экспертов из vLLM, при этом логиты роутера пересчитываются с живых весов — роутер продолжает учиться.
В дополнение: fp32-точность гейта по умолчанию и опциональная жёсткая заморозка роутера.

💡 Интерфейс агента совместим с Gymnasium (Env.step()), либо агент сам ведёт цикл через ChatAgent со стандартными OpenAI/Anthropic SDK — фреймворк автоматически поднимает совместимый сервер, так что политику можно тренировать даже через внешние харнессы (Claude Code, OSWorld, browser automation) с корректной обработкой компакции контекста.

Поддерживаются мультимодальные VLM-среды, мультитульные вызовы и LLM-judge через те же vLLM-движки.

Бонус: MTP-спекулятивное декодирование ускоряет rollout без смещения политики.

Лицензия Apache 2.0.

📎 GitHub · Tech Report

#NVIDIA #RL #AgenticAI
------
@tsingular