Китайский ответ Stable Diffusion, Midjourney, DALLE, Imagen в лице
ERNIE-ViLG имеет несколько, скажем так, фич.
- И у него в роду свои датасеты.
- Он не умеет в английский язык.

В общедоступном демо на ХаггингФейсе промпты просто автоматически переводятся с китайского на английский и потом уже идут в глотку ИИ. Из это проистекает некоторое количество особенностей.


- Эрни ничего не знает про любимых нами знаменитостей. Наверное у него там есть китайские любимцы публики, но я, темный, кроме Джеки Чана никого не знаю.
- Соответственно, трюк с резким улучшение качества лиц, путем поминания селебов в промптах не работает.
- Перевод с китайского будет довольно сильно искажать некоторое контексты. Если вы не владеет китайским, вас ждут сюрпризы.
- И он ничего, тупицца, не знает про Грега Рутковскаго! Катастрофа!


Ну и как пример, Эрни ничего не знает про Арни.
Выше генерация по тексту "a painting of a arnold shwarzenegger, investor asking for money by tim okamura, featured on artstation, classical realism, hyper realism, chiaroscuro, fine art, cgsociety"

Пейзажи, конечно, пасторальные. Но вот с Арни нехорошо получилось. Продолжаем мучить китайское чудо...

А вот мой любимый промпт, ломающий большиство генераторов "red polygonal pepper" китайский Эрни отрабатывает довольно неплохо. Там есть режим "low poly". С нормалями, конечно беда. Но попытка засчитана.

Оказалось, что мой канал читает сам Николай Иронов.
Который умел генерить логотипы и даже брендбуки по текстовому вводу еще задолго до появления джорней и дифьюженов.
Я перебеседовал с ML-командой Николая и если вам интересно, то вот некоторое количество подробностей, как у него там все устроено в мозгах. Выше примеры работ.
В коментах задавайте вопросы, Коля ответит.

Можно с уверенностью наливать за графических дизайнеров..

"Используется text to image модель.
На входе текстовый промпт собирается из трёх частей. Названия объекта (обычно это то названия, для которого искались картинки на этапе разметки данных) , ключевое слово (это может быть «логотип», «эскиз» и т.д.) и короткое стилистическое описание (это может быть цвет, ближайшая геометрическая форма и т.д.)

На выходе картинка, размером 256 на 256. На которой будет изображен объект, имя которого в промпте. Это и будет образ для будущего логотипа.

Внутри:
Датасет представляет собой понятные изолированные объекты в домене логотипной графики (для генерации разных стилей логотипной графики мы тренируем отдельные модели).

Датасет размечается по большому списку критериев, например, самые простые из них это максимально понятный смысл объекта изображенного на картинке, белый фон, один скейл объекта графики на канвасе.

Вывели эффективную систему разметки текстом, когда основная часть промпта это название объекта, по которому и размечались картинки + keyword, который будет определять область домена внутри претрейнда (в основном находился перебором + анализом начального датасета конкретного претрейнда) + короткое стилистическое описание (цвет, близжайшая геометрическая форма и т.д.), которое в свою очередь получается чем то похожим на клип, но тоже затюненым под требования задачи

Экспериментальным путем вывели, что оптимальный размер датасета 3-5К изображений (здесь время сходимости + качество обучения конкретному стилистическому домену)."

📟Ссылка на сервис
Для читателей канала есть промокод METAVERSE20
И нет, это не реклама.