Эти два изображения, сгенерированные нейросетью, собрали на днях миллионы просмотров, десятки тысяч лайков и сотни реплаев в твиттере. А один из самых уважаемых в мире IT-экспертов Пол Грэм даже написал, что для него «ИИ-искусство прошло тест Тьюринга». Рассказываем, откуда взялись эти картинки и как получить похожий результат (одного правильно составленного текстового запроса тут недостаточно).

Картинки выложил на Reddit пользователь Ugleh. Для их генерации он использовал опенсорс-нейросеть Stable Diffusion. Но ничего бы не вышло без расширения ControlNet.

Возможности творческого контроля при работе со Stable Diffusion ограничены — нейросети можно дать текстовое описание и даже показать картинку-референс, но интерпретировать их нейросеть может не так, как задумал пользователь. В феврале учёные из Стенфорда представили ControlNet — инструмент, позволяющий управлять генерацией изображения и такими его элементами, как композиция, края и поза объектов.

ControlNet работает в паре с исходной нейросетью, например Stable Diffusion, и направляет её генерацию в нужную сторону. Иначе говоря, ControlNet — аналог кальки для копирования. Она позволяет сохранить очертания оригинального изображения, но в новом рисунке можно использовать иной стиль и добавлять детали.

Референсами для ControlNet могут быть любые изображения. Летом завирусились красивые картинки, детали которых образуют считываемый QR-код. Для этого использовалась модель QRCode Monster — специальная версия ControlNet, обученная именно для генерации картинок с QR-кодами.

Этой моделью и воспользовался Ugleh. Он взял простые изображения черно-белой спирали и шашечных узоров и настроил уровень влияния ControlNet на результат. Вот промпт для первой картинки, на которую автор потратил около 10 минут: «Средневековая деревенская сцена с оживленными улицами и замком вдали». Процесс создания второй картинки Ugleh подробно описал — можно повторить.

Подписывайтесь 👉@techno_yandex

Не пропускайте новости Яндекса тут @yandex

чмиз