Microsoft, UIUC и UNC-Chapel Hill разработали систему дообучения VL-моделей для автономного управления графическими интерфейсами.
Авторы обнаружили 2 системных изъяна в существующих пайплайнах обучения GUI-агентов:
Cтандартный SFT с длинными CoT ухудшает визуальную локализацию (чем длиннее рассуждение, тем хуже модель попадает в нужный элемент интерфейса).
Пошаговое RLVR-обучение нестабильно, потому что GUI-среда частично верифицируема. На каждом шаге существует несколько корректных действий, но датасет фиксирует только одно. Как результат - за альтернативные, но правильные действия модель получает штраф.
Метод смешивает данные с рассуждениями и без них, а затем перевзвешивает токены: action- и grounding-токены получают больший вес в лосс-функции, чем токены рассуждений. Это позволяет сохранить способность к CoT, не жертвуя точностью клика.
KL-регуляризация ограничивает дрейф политики относительно референсной модели, что улучшает корреляцию между офлайн- и онлайн-метриками. Success-Adaptive Negative Gradient Scaling динамически снижает вес отрицательных градиентов в зависимости от доли успешных действий в группе GRPO-сэмплов. Это защищает от штрафования валидных, но не задокументированных действий.
Он содержит больше токенов на рассуждение: в среднем 210 на шаг против 85 у AGUVIS Stage 2 L3 и 0 у большинства остальных.
Внутри - существующие открытые наборы, к которым GPT-4.1 дописывал подробные ризонинг-трассы. Фильтровали в два этапа: отсев шагов с точностью воспроизведения ниже 0.3 через Qwen3-VL-8B и верификация координат через bounding-box от Qwen3-VL-32B.
Тестовая GUI-Libra-3B улучшила базовую Qwen2.5-VL-3B на +15.6% по Pass@1 на AndroidControl-v2 и с 3.5 до 25.2 на AndroidWorld.
GUI-Libra-4B/8B на AndroidWorld выбила 42.6 (это столько же, сколько GPT-4o + UGround при использовании двух отдельных VLM-модулей.
Веса всех моделей размерностью 3, 4, 7 и 8 млрд. параметров, целевой датасет и код обучения выложены в открытый доступ.
@ai_machinelearning_big_data
#AI #ML #VLM #GUILibra #Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ ChatGPT-5.4 - что уже «утекло» и почему это важно
Похоже, вокруг GPT-5.4 начинает формироваться серьёзный шум.
Вот что обсуждают в сообществе 👇
- 2M токенов контекста + persistent memory
Это уже не просто «длинная история чата», а полноценная работа с огромными кодовыми базами, документами и агентными пайплайнами без постоянного перепромптинга.
- Полноразмерная обработка изображений
Модель якобы умеет работать с PNG, JPEG и WebP без понижения качества.
Это критично для:
- архитектурных чертежей
- плотных UI-скриншотов
- схем и графиков с мелким текстом
- сложной технической документации
Сохранение исходных байтов изображения = меньше потерь информации при анализе.
- Новый speed-priority tier
Отдельный класс скорости. Вероятно - для продакшена, агентов и real-time задач.
Интересный момент - GPT-5.4 «засветился» в pull request’ах публичного репозитория Codex на GitHub.
Упоминания быстро удалили force-push’ами, но скриншоты уже разлетелись.
Prediction markets:
- 55% шанс релиза до апреля 2026
- 74% шанс до июня 2026
Конкуренция давит:
- OpenAI не может замедляться.
- Claude Opus 4.6 вышел с агентными командами и 1M контекстом.
- Anthropic через Claude Code уже доминирует в кодинге.
- DeepSeek V4 тренируется на Huawei-железе вне NVIDIA-экосистемы.
Если 2M контекст подтвердится - это уже другой класс систем:
- полноценные автономные код-агенты
- большие финансовые и юридические пайплайны
- enterprise-документооборот
- сложные multimodal workflow
Вопрос не в том, будет ли GPT-5.4.
Вопрос в том, насколько быстро гонка перейдёт в фазу «контекст как инфраструктура».
Похоже, вокруг GPT-5.4 начинает формироваться серьёзный шум.
Вот что обсуждают в сообществе 👇
- 2M токенов контекста + persistent memory
Это уже не просто «длинная история чата», а полноценная работа с огромными кодовыми базами, документами и агентными пайплайнами без постоянного перепромптинга.
- Полноразмерная обработка изображений
Модель якобы умеет работать с PNG, JPEG и WebP без понижения качества.
Это критично для:
- архитектурных чертежей
- плотных UI-скриншотов
- схем и графиков с мелким текстом
- сложной технической документации
Сохранение исходных байтов изображения = меньше потерь информации при анализе.
- Новый speed-priority tier
Отдельный класс скорости. Вероятно - для продакшена, агентов и real-time задач.
Интересный момент - GPT-5.4 «засветился» в pull request’ах публичного репозитория Codex на GitHub.
Упоминания быстро удалили force-push’ами, но скриншоты уже разлетелись.
Prediction markets:
- 55% шанс релиза до апреля 2026
- 74% шанс до июня 2026
Конкуренция давит:
- OpenAI не может замедляться.
- Claude Opus 4.6 вышел с агентными командами и 1M контекстом.
- Anthropic через Claude Code уже доминирует в кодинге.
- DeepSeek V4 тренируется на Huawei-железе вне NVIDIA-экосистемы.
Если 2M контекст подтвердится - это уже другой класс систем:
- полноценные автономные код-агенты
- большие финансовые и юридические пайплайны
- enterprise-документооборот
- сложные multimodal workflow
Вопрос не в том, будет ли GPT-5.4.
Вопрос в том, насколько быстро гонка перейдёт в фазу «контекст как инфраструктура».
Главные новости ИИ И МЛ
✔️ NVIDIA и лидеры телекома договорились строить 6G с поддержкой ИИ.
NVIDIA объявила о создании глобальной коалиции с Cisco, Nokia, Ericsson, T-Mobile и другими телеком-гигантами для разработки инфраструктуры связи шестого поколения. Главная цель инициативы в отказе от устаревших подходов в пользу программно-определяемых сетей с глубокой интеграцией ИИ.
6G станет базой для физического ИИ: автономного транспорта, промышленных роботов и умных сенсоров. Альянс предлагает внедрять ИИ-вычисления на всех уровнях: от сети радиодоступа до периферии и ядра.
Как отметил глава NVIDIA Дженсен Хуанг, этот шаг превратит классические сети связи в вычислительную ИИ-инфраструктуру.
nvidia.com
✔️ Claude получил функцию импорта памяти и пользовательского контекста.
Anthropic запустила инструмент Import Memory, позволяющий перенести накопленный контекст из ChatGPT и других ИИ-ассистентов в Claude. Он избавляет от необходимости заново обучать новую систему своим предпочтениям.
Для этого Anthropic дает специальный промпт, который нужно отправить вашему текущему чат-боту. Этот запрос заставляет систему выгрузить персональные детали, сохраненные привычки и стиль ответов. Полученный текстовый дамп затем вставляется в настройки памяти Claude.
Сейчас функция доступна только на платных подписках. Технически перенос не безупречен - инструмент не захватывает кастомные инструкции и данные специализированных GPTs или Gems.
claude.com
✔️ В Gemini появился режим планирования задач.
Google добавила в свой ИИ-ассистент функцию Scheduled Actions (аналог Tasks в ChatGPT), который позволяет поручать Gemini выполнение разовых или периодических действий с привязкой ко времени и определенным условиям. После настройки Gemini генерирует краткий план, который нужно подтвердить перед запуском.
Готовые результаты доставляются в чат или уведомлением на смартфон. Если запрос опирается на геолокацию, система по умолчанию использует координаты, зафиксированные в момент создания задачи.
Нововведение уже доступно на подписках Pro/Ultra и владельцам аккаунтов Workspace. Одновременно разрешено держать не более 10 активных задач. Для работы функции необходимо обязательно включить сохранение истории.
support.google.com
✔️ Соревнование 5 моделей в роли SMM-агентов в соцсети X.
Arcada Labs запустил нестандартный бенчмарк Social Arena. Проект оценивает, насколько хорошо языковые модели ориентируются в социокультурной среде и умеют привлекать аудиторию.
Grok 4.1 Fast, Claude Opus 4.5, Gemini 3 Pro, GLM 4.7 и GPT 5.2 получили одинаковый стартовый промпт и задачу самостоятельно вести аккаунты в X. Агенты работают полностью автономно и сами корректируют контент-стратегию. Раз в час они сканируют тренды, собирают статистику своих охватов и решают, что делать дальше: написать твит, вступить в дискуссию или сделать репост.
У моделей появились предпочтения: Gemini пишет про ИИ, Grok предпочел космос и Илона Маска, а GPT увлекся поведением животных. Соревнование стартовало в середине января 2026 года. Пока по общему количеству просмотров лидируют Claude и GPT (около 86 и 83 тысяч), а вот Grok удалось собрать наибольшую, пусть и скромную базу в 76 живых подписчиков.
socialsarena.ai
✔️ Пентагон разрывает образовательные связи с топовыми вузами США.
Министр обороны США пересмотрел список университетов для подготовки и повышения квалификации офицеров. Начиная с 2026 года военное ведомство прекратит сотрудничество с Лигой плюща, MIT и Университетом Карнеги-Меллона. Пит Хегсет обвинил эти учебные заведения в подрыве американских ценностей и культивировании антиамериканских настроений.
Попавшие под запрет институты исторически выступали главными научными партнерами Пентагона в сфере ИИ и аэрокосмических технологий. Вместо центров технологических инноваций офицерам предложат альтернативный список, куда вошли Университет Либерти, Университет Джорджа Мейсона и другие менее профильные в IT-плане заведения.
fortune.com
NVIDIA объявила о создании глобальной коалиции с Cisco, Nokia, Ericsson, T-Mobile и другими телеком-гигантами для разработки инфраструктуры связи шестого поколения. Главная цель инициативы в отказе от устаревших подходов в пользу программно-определяемых сетей с глубокой интеграцией ИИ.
6G станет базой для физического ИИ: автономного транспорта, промышленных роботов и умных сенсоров. Альянс предлагает внедрять ИИ-вычисления на всех уровнях: от сети радиодоступа до периферии и ядра.
Как отметил глава NVIDIA Дженсен Хуанг, этот шаг превратит классические сети связи в вычислительную ИИ-инфраструктуру.
nvidia.com
Anthropic запустила инструмент Import Memory, позволяющий перенести накопленный контекст из ChatGPT и других ИИ-ассистентов в Claude. Он избавляет от необходимости заново обучать новую систему своим предпочтениям.
Для этого Anthropic дает специальный промпт, который нужно отправить вашему текущему чат-боту. Этот запрос заставляет систему выгрузить персональные детали, сохраненные привычки и стиль ответов. Полученный текстовый дамп затем вставляется в настройки памяти Claude.
Сейчас функция доступна только на платных подписках. Технически перенос не безупречен - инструмент не захватывает кастомные инструкции и данные специализированных GPTs или Gems.
claude.com
Google добавила в свой ИИ-ассистент функцию Scheduled Actions (аналог Tasks в ChatGPT), который позволяет поручать Gemini выполнение разовых или периодических действий с привязкой ко времени и определенным условиям. После настройки Gemini генерирует краткий план, который нужно подтвердить перед запуском.
Готовые результаты доставляются в чат или уведомлением на смартфон. Если запрос опирается на геолокацию, система по умолчанию использует координаты, зафиксированные в момент создания задачи.
Нововведение уже доступно на подписках Pro/Ultra и владельцам аккаунтов Workspace. Одновременно разрешено держать не более 10 активных задач. Для работы функции необходимо обязательно включить сохранение истории.
support.google.com
Arcada Labs запустил нестандартный бенчмарк Social Arena. Проект оценивает, насколько хорошо языковые модели ориентируются в социокультурной среде и умеют привлекать аудиторию.
Grok 4.1 Fast, Claude Opus 4.5, Gemini 3 Pro, GLM 4.7 и GPT 5.2 получили одинаковый стартовый промпт и задачу самостоятельно вести аккаунты в X. Агенты работают полностью автономно и сами корректируют контент-стратегию. Раз в час они сканируют тренды, собирают статистику своих охватов и решают, что делать дальше: написать твит, вступить в дискуссию или сделать репост.
У моделей появились предпочтения: Gemini пишет про ИИ, Grok предпочел космос и Илона Маска, а GPT увлекся поведением животных. Соревнование стартовало в середине января 2026 года. Пока по общему количеству просмотров лидируют Claude и GPT (около 86 и 83 тысяч), а вот Grok удалось собрать наибольшую, пусть и скромную базу в 76 живых подписчиков.
socialsarena.ai
Министр обороны США пересмотрел список университетов для подготовки и повышения квалификации офицеров. Начиная с 2026 года военное ведомство прекратит сотрудничество с Лигой плюща, MIT и Университетом Карнеги-Меллона. Пит Хегсет обвинил эти учебные заведения в подрыве американских ценностей и культивировании антиамериканских настроений.
Попавшие под запрет институты исторически выступали главными научными партнерами Пентагона в сфере ИИ и аэрокосмических технологий. Вместо центров технологических инноваций офицерам предложат альтернативный список, куда вошли Университет Либерти, Университет Джорджа Мейсона и другие менее профильные в IT-плане заведения.
fortune.com
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Claude Code для Уолл-стрит
Появился проект Dexter - автономный AI-финансовый аналитик, который проводит полноценное исследование компании без участия человека.
Вы задаёте вопрос, например:
*NVIDIA недооценена по DCF?*
Дальше система работает сама:
- строит план исследования
- подтягивает актуальные рыночные данные
- загружает финансовую отчётность за 5 лет
- считает ключевые метрики и мультипликаторы
- проверяет свои же расчёты на ошибки
- формирует итоговый инвестиционный вывод
И всё это — автономно.
Как это устроено:
Dexter разбивает задачу на несколько этапов:
- получает текущие цены
- анализирует исторические P/E
- сравнивает с отраслевыми значениями
- проводит оценку (включая DCF)
- проверяет согласованность данных
- собирает всё в финальный аналитический тезис
Внутри — несколько агентов:
- один планирует исследование
- второй выполняет сбор и расчёты
- третий проверяет корректность цифр
- четвёртый пишет итоговый отчёт
Система умеет:
- читать отчёты SEC (10-K, 10-Q, 8-K)
- работать с реальными финансовыми метриками
- делать полноценную DCF-оценку
По сути, это как команда аналитиков:
один ставит задачи, второй ищет данные, третий проверяет расчёты, четвёртый пишет отчёт.
Только вся команда - это AI, и запускается прямо в терминале.
https://github.com/virattt/dexter
Появился проект Dexter - автономный AI-финансовый аналитик, который проводит полноценное исследование компании без участия человека.
Вы задаёте вопрос, например:
*NVIDIA недооценена по DCF?*
Дальше система работает сама:
- строит план исследования
- подтягивает актуальные рыночные данные
- загружает финансовую отчётность за 5 лет
- считает ключевые метрики и мультипликаторы
- проверяет свои же расчёты на ошибки
- формирует итоговый инвестиционный вывод
И всё это — автономно.
Как это устроено:
Dexter разбивает задачу на несколько этапов:
- получает текущие цены
- анализирует исторические P/E
- сравнивает с отраслевыми значениями
- проводит оценку (включая DCF)
- проверяет согласованность данных
- собирает всё в финальный аналитический тезис
Внутри — несколько агентов:
- один планирует исследование
- второй выполняет сбор и расчёты
- третий проверяет корректность цифр
- четвёртый пишет итоговый отчёт
Система умеет:
- читать отчёты SEC (10-K, 10-Q, 8-K)
- работать с реальными финансовыми метриками
- делать полноценную DCF-оценку
По сути, это как команда аналитиков:
один ставит задачи, второй ищет данные, третий проверяет расчёты, четвёртый пишет отчёт.
Только вся команда - это AI, и запускается прямо в терминале.
https://github.com/virattt/dexter
YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC.
Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели.
Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две:
В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо.
STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно.
Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора.
Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу.
Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео.
STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.
Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит:🟢 948x против дерева на CPU;🟢 47x против PPV Approximate;🟢 1033x против точного PPV.
По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения.
A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.
Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.
В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями.
@ai_machinelearning_big_data
#AI #ML #LLM #STATIC #DeepMind
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Google представил Gemini 3.1 Flash-Lite - ультрабыструю и максимально дешёвую модель в линейке Gemini 3.
Цена - всего $0.25 за 1 млн входных токенов и $1.50 за 1 млн выходных токенов.
Модель выполняет задачи быстрее и обходится в разы дешевле крупных моделей, обеспечивая увеличение скорости генерации на 45% по сравнению с Gemini 2.5 Flash.
Главное:
• Настраиваемые уровни "мышления"
Можно регулировать глубину рассуждения под задачу - от лёгких операций до более сложной логики.
• Подходит для high-scale задач
Оптимизирована для массовых сценариев - генерация UI, дашбордов, симуляций, автоматизация workflow.
• Доступна через Gemini API
Разработчики уже могут тестировать модель в Google AI Studio.
Отличный дешёвый и быстрый ИИ.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-flash-lite/
@ai_machinelearning_big_data
#Gemini
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Похоже, это такая новая тенденция - релизить новинки синхронно.
OpenAI развернула GPT-5.3 Instant, масштабный апдейт своей самой используемой модели.
В этот раз создатели сфокусировались на качестве общения: модель стала реже отказывать в обработке безопасных запросов и избавилась от излишне осторожных, морализирующих нравоучений.
Существенно улучшена логика работы с веб-поиском. GPT-5.3 Instant глубже синтезирует найденные данные с собственными знаниями, не сводя выдачу к простому перечислению ссылок.
В релизе говорят, что заметно подросла фактологическая точность: в сложных областях (медицина, право, финансы) количество галлюцинаций упало на 26,8% при поиске в сети и на 19,7% при опоре только на внутреннюю базу.
Также улучшены навыки генерации текста, слог стал более живым и разнообразным по стилю.
Модель уже открыта для всех, в том числе через API по идентификатору
gpt-5.3-chat-latest. Предыдущая версия, GPT-5.2 Instant, останется в Legacy-доступе для платных подписчиков до 3 июня этого года, после чего ее отключат.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Легендарный математик - Дональд Кнут начал свою новую научную работу словами: “Shock! Shock!”
Почему?
Потому что Claude Opus 4.6 решил открытую задачу, над которой Кнут работал несколько недель.
Речь о гипотезе разложения графов из легендарной книги The Art of Computer Programming.
Кнут даже назвал статью в честь ИИ:
“Claude’s Cycles”
Что произошло:
- Claude провёл 31 исследование
- на это ушло примерно 1 час
- Кнут изучил результат
- оформил формальное математическое доказательство
И закончил работу фразой:
> *«Похоже, мне придётся пересмотреть своё мнение о генеративном ИИ.»*
Это сказал человек, который написал библию компьютерных наук.
И назвал научную работу в честь ИИ.
Почитать саму работу можно здесь:
https://cs.stanford.edu/~knuth/papers/claude-cycles.pdf
Почему?
Потому что Claude Opus 4.6 решил открытую задачу, над которой Кнут работал несколько недель.
Речь о гипотезе разложения графов из легендарной книги The Art of Computer Programming.
Кнут даже назвал статью в честь ИИ:
“Claude’s Cycles”
Что произошло:
- Claude провёл 31 исследование
- на это ушло примерно 1 час
- Кнут изучил результат
- оформил формальное математическое доказательство
И закончил работу фразой:
> *«Похоже, мне придётся пересмотреть своё мнение о генеративном ИИ.»*
Это сказал человек, который написал библию компьютерных наук.
И назвал научную работу в честь ИИ.
Почитать саму работу можно здесь:
https://cs.stanford.edu/~knuth/papers/claude-cycles.pdf