✔️ DeepSeek раскатал Vision Mode в чат-боте

DeepSeek запустил Vision Mode в веб-версии и мобильном приложении. Режим поддерживает визуальный CoT для сложных задач (геометрические выводы, анализ графиков и прямую конвертацию UI-скринов в HTML).

В основе функции лежит работа Thinking with Visual Primitives, в которой авторы решили проблему восприятия MMLM при точной локализации и пространственных рассуждениях.

Координаты и граничные рамки используются как минимальные единицы мышления и встраиваются непосредственно в визуальную цепочку CoT.

Это дает модели точную пространственную ориентацию в инференсе без опоры на описания естественным языком.

Vision Mode обрабатывает только статические изображения. Поддержки аудио, видео и генерации картинок нет.


@ai_machinelearning_big_data

#news #ai #ml

✔️ DeepSeek раскатал Vision Mode в чат-боте

DeepSeek запустил Vision Mode в веб-версии и мобильном приложении. Режим поддерживает визуальный CoT для сложных задач (геометрические выводы, анализ графиков и прямую конвертацию UI-скринов в HTML).

В основе функции лежит работа Thinking with Visual Primitives, в которой авторы решили проблему восприятия MMLM при точной локализации и пространственных рассуждениях.

Координаты и граничные рамки используются как минимальные единицы мышления и встраиваются непосредственно в визуальную цепочку CoT.

Это дает модели точную пространственную ориентацию в инференсе без опоры на описания естественным языком.

Vision Mode обрабатывает только статические изображения. Поддержки аудио, видео и генерации картинок нет.


@ai_machinelearning_big_data

#news #ai #ml

✔️ На OpenRouter появилась Fugu Ultra

OpenRouter добавил возможность запуска мультиагентной системы Fugu Ultra, которая по словам Sakana Ai обошла Fable 5 в кодинге на бенчмарках.

Это специализированная LLM для маршрутизации и координации задач между GPT-5.5, Gemini 3.1 Pro и Claude Opus 4.8.

Fugu Ultra поддерживает окно контекста в 1 млн токенов, вызов внешних инструментов и мультимодальность. Максимальная длина генерации - 128 тысяч токенов.

Биллинг формируется из базового тарифа маршрутизатора ($5 за 1 млн токенов ввода и $30 за вывод) и суммарной стоимости задействованных моделей.

Для контроля расходов можно самостоятельно ограничивать глубину рассуждений и лимиты токенов через настройки API.


@ai_machinelearning_big_data

#news #ai #ml

✔️ Японский разработчик выложил в open source drop-in замену NumPy, которая работает на GPU.

Она называется CuPy.

Меняете одну строку:

import numpy as np → import cupy as cp

И тот же код может работать до 100 раз быстрее на CUDA.

→ работает с существующим NumPy/SciPy-кодом
→ без переписывания логики
→ без нового синтаксиса
→ также поддерживает AMD ROCm

100% open source.

https://github.com/Hannibal046/Awesome-LLM

💵 GFusion: как мы обучали диффузионную LLM в GigaChat

«А что, если LLM будет генерировать не строго по одному токену слева направо, а сразу блок текста?»

Именно эту идею мы проверяли в проекте GFusion — диффузионной языковой модели на базе GigaChat3-10B-A1.8B-base.

Отдельно хочется отметить, что этот проект начал и довёл до релиза стажер команды GigaChat Pretrain. Он прошёл весь путь от идеи и первых экспериментов до обучения модели, оптимизаций, поддержки в inference runtime и публикации в open source.

Почему это интересно?

Классические LLM генерируют текст авторегрессионно: каждый следующий токен зависит от всех предыдущих. Это устоявшийся подход, но шаги генерации модели выполняются строго последовательно.

В то же время диффузионная LLM берёт частично замаскированный блок и постепенно восстанавливает токены внутри него. За один forward pass модель может финализировать не один, а сразу несколько токенов.

Так и появляется ускорение. Чем больше токенов модель уверенно восстанавливает за один проход, тем меньше шагов ей нужно для генерации ответа.

Вместо дорогостоящего обучения с нуля мы взяли сильную авторегрессионную LLM и перевели её в диффузионный режим генерации.

Цикл обучения включал:
🔘адаптацию AR-модели к диффузионной генерации;
🔘постепенное увеличение размера блока;
🔘сравнение полностью диффузионного обучения и гибридного подхода AR+dLLM;
🔘SFT с complementary masking и стадией confidence tuning для дополнительного ускорения генерации.

Результаты:

🔘GFusion в режиме одного пользователя генерирует в среднем на 70% быстрее GigaChat3-10B-A1.8B.
🔘Даже по сравнению с GigaChat3-10B-A1.8B + MTP-головой ускорение составило около 39%.
🔘Просадка качества относительно авторегрессионной модели осталась в пределах 2–4 п.п., а сам трейд-офф между скоростью и качеством можно контролировать параметрами диффузионной генерации.
🔘Добавлена поддержка GFusion в SGLang и реализован entropy-bounded sampling — алгоритм семплирования, который ускоряет генерацию не только GFusion, но и других диффузионных LLM.
🔘Для обучения написана и выложена в open-source своя реализация attention на TileLang под структуру диффузионной маски и получено до +77% end-to-end ускорения относительно Flex-Attention на длинном контексте.

💡 Главный вывод GFusion состоит в том, что ускорение LLM может требовать переосмысления самого подхода к генерации. Однако, чтобы это заработало на практике, важно довести до рабочего состояния весь стек от обучения и SFT до декодинга, attention-ядер и поддержки в inference runtime.

➡️Подробности — в статье на Habr.
➡️HF: GFusion-10B-A1.8B-base GFusion-10B-A1.8B
➡️GitVerse