🔎 Как мы объединили фичи картиночной Алисы

На связи команда генеративных моделей в компьютерном зрении Поисковых сервисов и ИИ. Вместе с коллегами мы делаем мультимодального ассистента «Алиса AI». У модели Alice AI ART, которая отвечает за визуальную генерацию, есть два базовых сценария:

⚪️ Text-to-Image (T2I) — генерация фото по текстовому описанию

⚪️ Image-to-Image (I2I) — редактирование по картинке с инструкцией

Всё это время эти сценарии жили как два разных стека: свои базовые модели, данные, метрики и своя отдельная боль в разработке и поддержке. Поэтому мы решили объединить их в одну модель, которая одинаково хорошо умеет и в T2I, и в I2I.

🅿️ Как мы проводили обучение

🔛 I2I-задача редактирования требует от модели понимания референса: входное изображение всегда содержит конкретный объект, который нужно сохранить, трансформировать или дополнить. Чтобы корректно применить инструкцию (например, «замени фон»), модель должна научиться точно кодировать визуальное содержимое и удерживать детали при генерации. Навык «читать картинку» напрямую улучшает и общее визуальное восприятие модели.

🔛 T2I-задача содержит промпты для генерации с нуля, и они, в свою очередь, подтягивают релевантность (соответствие картинки и текста). Так происходит, потому что они, как правило, детальнее editing-инструкций и описывают всё, что должно быть на изображении. Модель, которую обучили воспроизводить такие развёрнутые описания, вырабатывает более глубокое понимание языка и его связи с визуальными элементами.

А ещё через T2I у модели проще расширить понимание концептов: любой именованный или безымянный объект, персонаж, свойство или стиль, с которым можно сопоставить визуальное воплощение.

Ключевая особенность обучения uni-модели — общий для обеих задач претрейн. T2I- и I2I-данные перемешаны, чтобы визуальный и текстовый прайоры были едиными.

🅿️ Как мы провели показательный эксперимент

Взяли набор концептов, которые отсутствовали в наших данных для редактирования, но которые ранее собирались для T2I. Затем смешали данные и провели совместное обучение, а после проверили, что станет с I2I.

Результат оказался такой, на какой мы и надеялись: концепты, выученные из T2I, становятся доступны в редактировании по инструкции. Специфические запросы начинают работать без необходимости повторять работу по сбору узких срезов данных.

Так знания из генерации переносятся в режим редактирования: даже если модель уже что-то знала о концепте, его качество в editing улучшается.

📖 А в статье на Хабре мы рассказали:

⚪️ На каких метриках мы измеряем качество моделей
⚪️ Что изменилось в самой модели
⚪️ Что планируем реализовать в будущем

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexML