💵 GFusion: как мы обучали диффузионную LLM в GigaChat

«А что, если LLM будет генерировать не строго по одному токену слева направо, а сразу блок текста?»

Именно эту идею мы проверяли в проекте GFusion — диффузионной языковой модели на базе GigaChat3-10B-A1.8B-base.

Отдельно хочется отметить, что этот проект начал и довёл до релиза стажер команды GigaChat Pretrain. Он прошёл весь путь от идеи и первых экспериментов до обучения модели, оптимизаций, поддержки в inference runtime и публикации в open source.

Почему это интересно?

Классические LLM генерируют текст авторегрессионно: каждый следующий токен зависит от всех предыдущих. Это устоявшийся подход, но шаги генерации модели выполняются строго последовательно.

В то же время диффузионная LLM берёт частично замаскированный блок и постепенно восстанавливает токены внутри него. За один forward pass модель может финализировать не один, а сразу несколько токенов.

Так и появляется ускорение. Чем больше токенов модель уверенно восстанавливает за один проход, тем меньше шагов ей нужно для генерации ответа.

Вместо дорогостоящего обучения с нуля мы взяли сильную авторегрессионную LLM и перевели её в диффузионный режим генерации.

Цикл обучения включал:
🔘адаптацию AR-модели к диффузионной генерации;
🔘постепенное увеличение размера блока;
🔘сравнение полностью диффузионного обучения и гибридного подхода AR+dLLM;
🔘SFT с complementary masking и стадией confidence tuning для дополнительного ускорения генерации.

Результаты:

🔘GFusion в режиме одного пользователя генерирует в среднем на 70% быстрее GigaChat3-10B-A1.8B.
🔘Даже по сравнению с GigaChat3-10B-A1.8B + MTP-головой ускорение составило около 39%.
🔘Просадка качества относительно авторегрессионной модели осталась в пределах 2–4 п.п., а сам трейд-офф между скоростью и качеством можно контролировать параметрами диффузионной генерации.
🔘Добавлена поддержка GFusion в SGLang и реализован entropy-bounded sampling — алгоритм семплирования, который ускоряет генерацию не только GFusion, но и других диффузионных LLM.
🔘Для обучения написана и выложена в open-source своя реализация attention на TileLang под структуру диффузионной маски и получено до +77% end-to-end ускорения относительно Flex-Attention на длинном контексте.

💡 Главный вывод GFusion состоит в том, что ускорение LLM может требовать переосмысления самого подхода к генерации. Однако, чтобы это заработало на практике, важно довести до рабочего состояния весь стек от обучения и SFT до декодинга, attention-ядер и поддержки в inference runtime.

➡️Подробности — в статье на Habr.
➡️HF: GFusion-10B-A1.8B-base GFusion-10B-A1.8B
➡️GitVerse

📌 MWS Cloud запустила новый класс S3-хранилища для AI и ML-задач.

Это «теплое» объектное хранилище на NVMe-дисках, которое рассчитано на сценарии, где критичны скорость чтения и минимальные задержки. Сервис является частью MWS Cloud Platform.

Скорость передачи данных составляет до 1,8 ГиБ/с и TTFB около 20 мс. Хранилище подходит для обучения нейросетей, аналитики, медиа сервисов и высоконагруженных веб-приложений, есть совместимость с AWS S3 API, поэтому можно мигрировать в MWS Cloud Platform без переписывания сервисов;

Помимо этого, у хранилища есть шифрование, репликация между дата-центрами, версионирование и IAM-права. Оплата проходит по модели pay-as-you-go.

MWS Cloud опубликовали методологию и результаты внутреннего тестирования, показавшего, что это самое быстрое S3-совместимое объектное хранилище среди крупных российских облачных провайдеров.

@ai_machinelearning_big_data

✔️ В компании LayerX описали новый вектор атак на ИИ-браузеры

Уязвимость, получившая название BioShocking, позволяет злоумышленникам обходить базовые ограничения агентов и незаметно извлекать конфиденциальные данные из активных сессий пользователя.

Эксплойт успешно протестировали на 6 популярных решениях, включая ChatGPT Atlas, Perplexity Comet и расширение Claude для Chrome.

В основе атаки лежит техника манипуляции контекстом

Жертву заманивают на вредоносную страницу с игрой-головоломкой, которую должен решить ИИ-браузер.

По правилам игры правильными признаются абсурдные ответы (например, ИИ заставляют согласиться с тем, что 2 + 2 = 5). Как только ИИ принимает эту альтернативную логику, он начинает считать, что находится в вымышленной среде, где реальные правила безопасности больше не действуют.

На финальном этапе скомпрометированная страница дает агенту команду скопировать текст по скрытому URL-адресу. Этот линк незаметно перенаправляет ИИ в приватный или корпоративный GitHub-репозиторий пользователя.

Поскольку ИИ-браузер работает локально и имеет доступ ко всем авторизованным сессиям, в ходе тестов агенты беспрепятственно похитили SSH-ключи и передали их на сервер атакующего. Ни один из них не классифицировал эту операцию как угрозу и не запросил подтверждения.

Специалисты LayerX призывают разработчиков внедрить строгие проверки разрешений перед тем, как ИИ обращается к конфиденциальным источникам данных.

OpenAI уже устранила уязвимость в ChatGPT Atlas осенью 2025 года, однако остальные вендоры, по данным исследователей, пока не закрыли брешь или полностью проигнорировали отчеты.


@ai_machinelearning_big_data

#news #ai #ml

❤️ Июньский дайджест для разработчиков. Собрали главное: что полезное почитать, посмотреть и куда сходить в следующей месяце.

Почитать:

➕ ICLR 2026 в Рио-де-Жанейро: главные ML-тренды, математика и инсайты с конференции

➕ Как мы перепридумали голосовую активацию для Яндекс Дропс и уместили новую модель в 200 килобайт

➕ Как сетевой инженер в Yandex Infrastructure сделал сканер под iOS и Android для диагностики Wi-Fi-сети

Посмотреть:

➕ Круглый стол с Mobile Runtime. Пригласили мобильных тимлидов и руководителей, чтобы разобраться, как развиваться мобильным разработчикам

➕ Доклад про внедрение AI в инженерные команды. Что важно поменять в процессах и инфраструктуре и как замерять успех

➕ Подкаст «Доверительный интервал» про главные тревоги аналитиков. Обсудили синдром самозванца, страх карьерного роста и другие проблемы

Посетить:

➕ 25 июля — Product Fest в Москве и онлайн. Точка сборки продуктового опыта: приходите, чтобы понять, как создавать продукты, когда космическая скорость стала новой нормой

👀 Делитесь дайджестом с другими разработчиками

✔️ BMW внедряет робота-гуманоида Figure 03 в производственную логистику

Автоконцерн начал использование человекоподобных роботов Figure 03 на заводе в Спартанберге (США) для комплектации и сортировки деталей.

Предыдущая модель, Figure 02, за 10 месяцев тестирования на предприятии поучаствовала в сборке более 30 тысяч автомобильных кузовов.

Новая версия гуманоида от Figure AI получила беспроводную зарядку, мягкие элементы корпуса и аудиосистему для голосового общения с персоналом. Манипуляторы оснастили тактильными сенсорами и встроенными в ладони камерами для повышения точности мелкой моторики.

На конвейере Figure 03 будет распознавать несортированные компоненты в общих контейнерах и извлекать их, раскладывая по логистическим тележкам в заданной последовательности.

Доставку собранных тележек на сборочную линию осуществляют беспилотные складские тягачи.


@ai_machinelearning_big_data

#news #ai #ml