🔎 Как мы объединили фичи картиночной Алисы

На связи команда генеративных моделей в компьютерном зрении Поисковых сервисов и ИИ. Вместе с коллегами мы делаем мультимодального ассистента «Алиса AI». У модели Alice AI ART, которая отвечает за визуальную генерацию, есть два базовых сценария:

⚪️ Text-to-Image (T2I) — генерация фото по текстовому описанию

⚪️ Image-to-Image (I2I) — редактирование по картинке с инструкцией

Всё это время эти сценарии жили как два разных стека: свои базовые модели, данные, метрики и своя отдельная боль в разработке и поддержке. Поэтому мы решили объединить их в одну модель, которая одинаково хорошо умеет и в T2I, и в I2I.

🅿️ Как мы проводили обучение

🔛 I2I-задача редактирования требует от модели понимания референса: входное изображение всегда содержит конкретный объект, который нужно сохранить, трансформировать или дополнить. Чтобы корректно применить инструкцию (например, «замени фон»), модель должна научиться точно кодировать визуальное содержимое и удерживать детали при генерации. Навык «читать картинку» напрямую улучшает и общее визуальное восприятие модели.

🔛 T2I-задача содержит промпты для генерации с нуля, и они, в свою очередь, подтягивают релевантность (соответствие картинки и текста). Так происходит, потому что они, как правило, детальнее editing-инструкций и описывают всё, что должно быть на изображении. Модель, которую обучили воспроизводить такие развёрнутые описания, вырабатывает более глубокое понимание языка и его связи с визуальными элементами.

А ещё через T2I у модели проще расширить понимание концептов: любой именованный или безымянный объект, персонаж, свойство или стиль, с которым можно сопоставить визуальное воплощение.

Ключевая особенность обучения uni-модели — общий для обеих задач претрейн. T2I- и I2I-данные перемешаны, чтобы визуальный и текстовый прайоры были едиными.

🅿️ Как мы провели показательный эксперимент

Взяли набор концептов, которые отсутствовали в наших данных для редактирования, но которые ранее собирались для T2I. Затем смешали данные и провели совместное обучение, а после проверили, что станет с I2I.

Результат оказался такой, на какой мы и надеялись: концепты, выученные из T2I, становятся доступны в редактировании по инструкции. Специфические запросы начинают работать без необходимости повторять работу по сбору узких срезов данных.

Так знания из генерации переносятся в режим редактирования: даже если модель уже что-то знала о концепте, его качество в editing улучшается.

📖 А в статье на Хабре мы рассказали:

⚪️ На каких метриках мы измеряем качество моделей
⚪️ Что изменилось в самой модели
⚪️ Что планируем реализовать в будущем

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexML

🚀 FAIO is back!

Сәлем!

Уже третий раз — и снова международный формат. Обновили дизайн и сайт: https://faio.kz

И главное: в этом году олимпиада будет индивидуальной.

Знаю, командный формат был нашей фишкой — наверное, единственная в мире ИИ-олимпиада для школьников в таком виде. Но давайте объясню, почему мы его меняем.

Когда мы начинали в 2024, это была первая в истории страны олимпиада по ИИ. Дисциплина была новой, и нам было важно, чтобы школьники вникали, не боялись и помогали друг другу — поэтому и сделали командную.

За два года эта цель выполнена. Дисциплина популяризована, у ребят реально горят глаза, многие уже сами добились серьёзных результатов в учёбе и на международных стартах.

Так что теперь можно смело переходить на индивидуальный зачёт. Может, когда-нибудь вернёмся к командному или придумаем что-то новое — посмотрим 😉

💡 Ещё на сайте появилась кнопка «Предложить задачу»

Любой желающий может закинуть свою задачу или идею — welcome! Если вы компания и у вас есть реальные данные, которые можно обезличить и оформить в задачу, это вообще супер. Такие задачи для школьников самые ценные.

📅 FAIO 2026:

20 сентября — отборочный тур, онлайн
27–28 октября — финал в Алматы, на базе РФМШ

🔗 Регистрацию откроем уже на следующей неделе. Ждите!

FAIO only going up 🚀