Тема с роутингом отдельных запросов на разные модели — хорошо проработанная область, мы сами в Intento делаем это уже под десяток лет. И блин я конечно удивлён оценке OpenRouter и их продаже Страйпу.

Текущая работа про другое — роутинг отдельных токенов между разными моделями, например, по "сложности" токена (энтропии). Когда энтропия высокая — отдаём генерацию модели потяжелее. Когда всё просто — генерим маленькой моделью.

Самое интересное в работе имхо это какой огромный оверхед на всякую сопутствующую машинерию, если это дело не оптимизировать.

TokenRouter: Efficient Serving System for Token-Level LLM Routing
Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang
Paper: https://arxiv.org/abs/2610.12242
Code: https://github.com/thu-nics/TokenRouter
Model: N/A
Review: https://arxiviq.substack.com/p/tokenrouter-efficient-serving-system

ЧТО сделали: Авторы представили TokenRouter — рантайм поверх SGLang для пошагового роутинга LLM, где генерация переключается между маленькой и большой моделями на отдельных токенах. Внутри — API из трёх функций, асинхронные подсерверы для каждой модели, сохранение состояния KV-кэша между вызовами и планировщик отложенного батчинга на марковских цепях.

ЧТО получили: На 5 алгоритмах роутинга в задачах на рассуждение AIME2024 и агентных сценариях SWE-Smith при 4 параллельных запросах пропускная способность составляет от 76.6 до 290.3 токен/с против 4.5–63.1 токен/с у потокенового бейзлайна на SGLang и 0.7–78.3 токен/с у официальных реализаций (прирост в 2.01x–64.15x). На роутере R2R при 8 запросах скорость выросла со 134.9 до 372.5 токен/с (2.76x, из них 1.71x за счёт CUDA-графов). При 16 запросах система обгоняет R2R в 3.61x при той же параллельности (или в 18.58x относительно R2R с 1 запросом при ускорении в 1.13x на пользователя).

ПОЧЕМУ это важно: Пошаговый роутинг можно развернуть за единым OpenAI-совместимым эндпоинтом и обойти роутеры уровня запросов вроде RouteLLM по соотношению скорости и точности. Однако каждый подсервер вынужден дублировать KV-кэш всей последовательности, а марковский солвер провалидирован только до 4 параллельных запросов.

Роутить токены тут: https://t.me/gonzo_ML_podcasts/4839

Edge0 Releases Audio8-TTS-Realistic, a 0.6B Voice Cloning TTS Model - MarkTechPost
https://www.marktechpost.com/2026/10/29/edge0-audio8-tts-realistic-0-6b-voice-cloning/?utm_source=flipboard&utm_content=topic%2Flanguage&amp=1

​🖥 Как мы связали Битрикс24, 1С и Google Sheets через AI-агента

Поделимся одним кейсом. Недавно к нам пришел руководитель продаж из компании, которая производит и поставляет строительное оборудование.

У него была довольно распространенная и бесячая проблема - сделки и задачи в Битрикс24, заказы и финансы в 1С, часть данных в Google Sheets и чтобы разобраться с конкретным клиентом, приходилось лазить по нескольким системам и собирать все вручную.

Ну и какой смысл тратить на это время, когда такие рутинные задачи давно уже можно автоматизировать?

Мы предложили подключить к этим системам агента на базе OpenClaw, чтобы нужную информацию можно было запрашивать прямо через рабочий чат.

Как это устроено технически:

1️⃣ Подключаем источники. Для Битрикс24 можно использовать REST API, для Google Sheets - Sheets API, а с 1С работать через HTTP-сервисы или OData, если конфигурация позволяет. На первом этапе агенту достаточно прав на чтение.
2️⃣ Настраиваем навыки. Агенту нужно объяснить, где искать сделки, где проверять оплаты и как связывать данные между системами. Например, сопоставлять записи по ИНН контрагента, ID клиента и номерам документов. Иначе легко получить информацию вообще по другому заказу.
3️⃣ Проверяем ответы. Сверяем суммы, статусы и документы с исходными системами. Если данные не совпадают или агент не может однозначно определить клиента, он должен сообщить об этом, а не придумывать ответ.

Теперь руководитель может написать агенту в телеге:
«Какие счета у клиента N еще не оплачены и что сейчас с его заказами?»
Агент обращается к нужным источникам и собирает сводку.

📌 В итоге - вместо ручного поиска по нескольким системам руководитель получает информацию одним запросом. Меньше переключений между сервисами, меньше вопросов к менеджерам и быстрее доступ к данным, которые нужны для работы.

Причем под каждый новый вопрос не нужно собирать отдельный workflow - агент использует уже подключенные инструменты, то есть у него есть доступ к данным, а значит сможет найти то что нужно, а если нет - то так и скажет.

Так что, если тоже хочешь увеличить свою эффективность и зарабатывать больше - приходи к нам на бесплатную консультацию, обсудим что можно автоматизировать и если зайдет - соберем под тебя агента 🤝

Записаться можно по кнопке ниже 👇

GitHub - mikeparcewski/wicked-studio: Where you direct your coding agents: start a job with a chat, watch them work in sandboxes, and approve what matters with the evidence. · GitHub
https://github.com/mikeparcewski/wicked-studio

Meet TokenEconomizer: Microsoft’s Plugin That Cuts Coding Agent Costs by Up to 30.9% - MarkTechPost
https://www.marktechpost.com/2026/10/30/microsoft-tokeneconomizer-coding-agent-cost-control/?amp=1

Youtu-Parsing-Omni

Модель Tencent на 5B параметров: любой вход превращает в структурированный JSON. Документ, фото, график, чертеж, звук или видео.

• Документы: блоки с координатами, текст, формулы, таблицы, порядок чтения
• Графики и блок-схемы в Markdown и Mermaid
• Чертежи: точки, линии, размеры, отношения
• Аудио: речь с таймкодами, спикеры, звуковые события
• Видео: сегменты, действия, движение камеры, звук

• Один энкодер на все модальности, схема вывода одна
• OmniDocBench 96,96, первое место
• OmniParsingBench 75,08, лучший открытый результат после Gemini-3-Pro
• Есть плагин для vLLM

#any2json #json

MAX

Компьютерное зрение на микроконтроллере за $2: SIMD на ESP32-S3 ускорил FAST в 2,2 раза

В ESP32-S3 за $2 нашлись 128-битные SIMD-инструкции. Казалось бы, отличный способ ускорить детектор углов FAST. Но у чипа свои правила: невыровненные данные напрямую не прочитать, сравнение восьмибитных значений работает только со знаком, а SIMD-арифметика — с насыщением. Даже вычесть 128 из каждого пикселя привычным способом не получилось.

Пришлось разбираться с ассемблером ESP32-S3 и искать обходные пути. За время экспериментов появился даже собственный распределитель регистров basm. Зато в тестах скорость FAST выросла с 5,1 до 11,2 мегапикселя в секунду, а кадр QVGA стал обрабатываться примерно за 6 мс. Неплохо для чипа дешевле чашки кофе.

DeepSeek опубликовала коллекцию из семи промптов для Harness Creator Mode.

С их помощью можно создавать интерактивные инструменты прямо внутри приложения, практически не занимаясь ручной разработкой интерфейса.

Среди примеров есть 3D-визуализация архитектуры Transformer, где можно посмотреть, как устроены вычисления внутри нейросети. Есть полноценный видеоредактор с таймлайном, предпросмотром и управлением монтажом через чат.

Добавили просмотрщик научных статей , который сохраняет оригинальную вёрстку PDF, позволяет выделять фрагменты, делать заметки и обсуждать содержимое документа с моделью.

Ещё показали редактор постеров, интерактивную галерею достопримечательностей и панель мониторинга, которая отображает расход токенов, примерную стоимость запросов и нагрузку на процессор.

Все промпты опубликованы целиком, поэтому можно попробовать воспроизвести любой пример или переделать его под свои задачи. Правда, DeepSeek уточняет, что некоторые плагины потребовали нескольких итераций доработки.

https://cdn.deepseek.com/harness/dsh-creator-mode-prompt-collection-en.html

Интересное

https://rikiyat.github.io/blog/weight-space-programming/

Apriel Voice 27B Preview

Голосовая модель от ServiceNow для ИИ-ассистентов: понимает речь на входе, рассуждает, отвечает текстом и генерит tool calls. Ротация Gemma 4 26B-A4B + Whisper large-v3-turbo, двухэтапное обучение

- транскрибация, перевод, ответы на вопросы голосом
- инструкция, многошаговые задачи, function calling прямо из аудио
- один контекст для звука, текста, картинок и результатов инструментов
- принимает запись до ~30 минут
- синтез речи и очередь реплик — на стороне приложения, сама модель отдаёт текст и вызовы

Лучшая среди открытых двух- и трехэтапных систем на EVA-A, EVA-X и τ-Voice, обходит Parakeet+Gemma и связки на Flux. Закрытые GPT Realtime 2.1 и Gemini 3 Live все еще впереди.

huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview
servicenow-ai-apriel.hf.space/home

#dialog #tts #agent

MAX

agent-desktop

Computer use для ИИ-агентов без скриншотов от Vercel Labs. Агент читает дерево доступности приложения, а не разглядывает картинку

дерево элементов это десятки строк текста вместо мегабайтов пикселей, и каждая кнопка уже подписана. Если интерфейс поменялся, действие вернет ошибку устаревшей ссылки, и агент сделает новый снимок.

• Дерево интерфейса отдается в JSON, у каждого элемента свой ref
• Клик и ввод идут по ref, потом агент заново читает интерфейс и проверяет результат
• Сам цикл живет в вашем агенте, модели внутри нет
• Работает на macOS, Windows и Linux
• По умолчанию действия без движения курсора и без перехвата фокуса, то есть можно работать параллельно
• Для физического ввода есть флаг headed
• Есть снимки экрана, буфер обмена, трейсы и оверлей с курсором

• Ставится через npm, есть Homebrew
• В комплекте нативные бинарники под x64 и ARM64
• Поставляется как CLI и как библиотека на C

#agent #computeruse

FlashRSI

Открытый фреймворк для улучшения агента без переобучения самой модели. Крутится цикл: прогон тестов, разбор ошибок, правка промптов, навыков и настроек, снова тесты, побеждает лучший вариант.

• Работает с готовым агентом, веса не трогает
• Правит промпты, инструкции, набор навыков и конфигурацию
• Каждый кандидат прогоняется через тот же набор задач, что и базовая версия
• Хранит всю историю: конфиг, траектории, метрики, артефакты, откуда какая версия выросла
• Можно смотреть, какая именно правка дала прирост

• Готовые интеграции с Claude Code, Mini-Agent и Codex
• Pi, Hermes и OpenCode пока в работе

#RSI

MAX

Windmill — это платформа для разработчиков, позволяющая самостоятельно размещать код, создавать рабочие процессы, внутренние приложения и ИИ-агенты. Она помогает превратить скрипты в инструменты, которые может использовать ваша команда, генерируя интерфейсы на основе параметров функций и объединяя скрипты в рабочие процессы. Основные возможности: • Сгенерированные интерфейсы — преобразование типизированных аргументов скрипта в формы, конечные точки HTTP и команды интерфейса командной строки • Поддержка нескольких языков — написание задач на Python, TypeScript, Go, Bash, SQL и других языках • Композиция рабочих процессов — объединение скриптов с помощью визуального редактора потоков или определение рабочих процессов в коде • Встроенные триггеры — запуск скриптов и потоков по расписанию, с помощью вебхуков или при наступлении определенных событий • Варианты самостоятельного хостинга — развертывание с помощью Docker Compose или Kubernetes с использованием связанных руководств по настройке Некорпоративные исходные сборки имеют открытый исходный код (лицензия AGPLv3). Распространяемая версия Community Edition также включает проприетарные компоненты.



https://github.com/windmill-labs/wiGitHub

ИИ придумывает связи лучше среднего человека — но все модели придумывают одно и то же

Сравнили три десятка языковых моделей с обычными людьми на задачах на комбинаторное творчество: придумать неожиданную ассоциацию, провести аналогию, слить два понятия в новое. Везде модели чаще выдавали валидные, применимые связи. Но дело не в гениальности, а в полезности: людям реже удавалось довести идею до рабочего варианта.

Каждое пятое придуманное понятие совпадало по свойствам с ответом другой модели, а модели одного разработчика сходились чаще чем с чужими. Назвали изобретательской однородностью: вариантов много, а мыслят все по одним рельсам

Люди и машины роются в разных областях. Модели тянутся к людям и местам и связывают их через авторство и преобразование. Люди берут предметы, состояния и чувства и связывают их движением и простым бытием

Вывод: раз области разные, человек вместе с ИИ мог бы расширить разнообразие

arxiv.org/abs/2509.21043

#news #creativity #research

А вот очередная прикольная работа про хитрое управление контекстом через харнесс, позволяющее модели не работать с длинным контекстом.

В недавней Context Language Models сама модель переписывала свой контекст как файл на диске. Здесь таки харнесс за это отвечает. Результат прикольный: качество обычно не проседает (и иногда даже растёт). Есть правда проблема со сбросом кешей и вероятным отсутствием денежной экономии в итоге.

Кодовых артефактов авторы статьи не выложили, я попросил Клода собрать скилл, воспроизводящий описанный в статье подход, выложил сюда: https://github.com/che-shr-cat/short-context-agent

Он учит агента двум вещам из статьи: большие файлы не грузить в контекст, а искать grep'ом и читать ограниченными окнами, и по ходу длинной задачи вести тот самый handoff brief из шести частей (цель, проверенные факты отдельно от гипотез, внесённые изменения, прогнанные проверки, тупики, план дальнейших шагов). Скилл подхватывается сам на длинных многошаговых задачах и больших входах, а сброс контекста остаётся за Claude Code — автокомпакция по его порогу, /compact или /clear руками; в любом случае хук плагина подкладывает brief обратно, и агент продолжает с того же места, а не раскапывает всё заново. Получается EoCC; SAC (сброс после каждого действия) в Claude Code не сделать, он есть только в референсном harness в репе — вместе с EoCC и baseline без компакции. Внимательно пока не тестил, возможны баги. PR'ы принимаются :)

You don't need long context
Peter Belcak, Saurav Muralidharan, Jindong Jiang, Yonggan Fu, Wonmin Byeon, Hanrong Ye, Ryan Angilly, Ali Taghibakhshi, Shih-Yang Liu, Siru Ouyang, Greg Heinrich, Pavlo Molchanov
Paper: https://arxiv.org/abs/2611.05306
Review: https://arxiviq.substack.com/p/you-dont-need-long-context
Code: N/A (unofficial re-implementation)

Главное: Языковые модели справляются с долгими агентными задачами и большими документами в коротком окне контекста без потери точности. Для этого обвязка агента должна периодически переписывать историю в рабочую сводку для следующих шагов, а большие файлы читать через поиск по диску.

ЧТО сделали: Предложили два режима работы обвязки агента: End-of-Conversation Compaction (EoCC, сжатие при достижении порога токенов) и Single-Action Compaction (SAC, сжатие после каждого действия). В обоих режимах диалог сбрасывается, в новую сессию переносится только структурированное текстовое состояние, а длинные файлы читаются через Bash-утилиты.

ЧТО получили: Короткое окно контекста сохраняет или повышает точность на бенчмарках с длинным горизонтом и большими документами, а стоимость декодирования на GPU при переходе от 256K к 16K токенов падает до 7 раз. Даже при сбросе контекста после каждого действия Claude Opus 4.5 удерживает 70.2% решённых задач на SWE-bench Verified.

ПОЧЕМУ это важно: Обучение и запуск моделей с окном 16K–50K вместо миллиона токенов кратно ускоряют декодирование и снижают расход памяти. Однако слабые открытые модели могут обваливаться, когда их многословные ответы исчерпывают жёсткий бюджет до завершения задачи.

Сжимать контекст здесь: https://t.me/gonzo_ML_podcasts/4846