Пробегал мимо одного чатика и там спрашивали про туториалы по deforum, интересующиеся могут ознакомиться:

🌉 Примеры анимации параметров можно посмотреть на страничке дефорума и на гитхабе

📄 Почитать можно и оф. доку по блокноту, и вики на гитхабе, и на rentry тоже есть

🎥 Неплохое видео у Сабатовского и продвинутое у Всеволода (который тоже моушн). Эти два видео вообще красота (на англ): один и два

Если нужон гайд ставьте🗿, наберем 15 - сделаю

Слили SDXL 0.9

Интересно потестить, чтобы потом сравнить с 1.0
Ссылки для любознательных (торренты):
Базовая: magnet:?xt=urn:btih:45ec120e40c68176ae5414250726cceaffe22001&dn=sd_xl_base_0.9.safetensors
Рефайнер: magnet:?xt=urn:btih:b2685d9ae2026df0697e5f1193406cba16bad435&dn=sd_xl_refiner_0.9.safetensors
Вся репа (обе): magnet:?xt=urn:btih:56d304b8c2a40a92af7f6ff52cdf8b80ace9220d&dn=SDXL%200.9

В автоматике вроде готова поддержка, но честно не знаю выгружали ли ее или она на другой ветке (сходу не заработало), поэтому проще в ComfyUI использовать. Закидываем приложенный файлик в интерфейс (просто перетащить и отпустить) и генерим. На моей кофемолке с 4гб, с lowvram, 1024x1024 делает несколько минут.

Я там в файлике накосячил
Пока генерил, думал, что это я с промптами туплю и все выглядит хуже чем в clipdrop (в SDXL другой обработчик текста (точнее два), поэтому промптить нужно немного по другому), или может это такая сырая версия? Разгадка, как это обычно бывает, куда проще: я просто наебался с нодами для обработки текста и с нодами для семплеров. Слева на картинке неправильно, справа - правильно.
Это все, до релиза про sdxl больше ни слова.
Приложил новый файлик с правильным пайплайном, а у тех, кто работал с неправильным

До этого вышел DragGAN, который позволял двигать картинки, но у него было два минуса:
- как несложно догадаться, он использует GAN'ы (мы с вами на диффузионных моделях сидим)
- Для всего что мы хотим двигать нужна отдельная модель

И теперь на нашей улице праздник, выпустили DragDiffusion и он:
- работает с нашими моделями
- для того чтобы что-нибудь двинуть нужно быстренько натренировать лору с нужной картинкой (в демке учат 200 шагов)

Ждем пока допилят, докрутят и завернут все в расширение для автоматика.

Страница проекта
Репозиторий с кодом
Бумага в архиве

Пу-пу-пу, так
➖ лучший редактор openpose, которым пользовался
➖ прикольный тестер для проверки фоток (сгенерированная или нет?)
➖ небольшая статья про модели, про технические детали/неисправности. Тем, кто работает с моделями или хочет узнать чуть больше можно почитать
➖ хорошая статья про блок-мерж моделей
➖ интересная портянка про тренировку моделей на сгенерированных картинках. Вывод: лучше всего, сгенерированные картинки разбавлять реальными (новыми), тогда все будет ок. Тут конечно речь про большие, полноценные тренировки с кучей картинок, но и для собственных тестов тоже интересный момент.
➖ завтра релиз sdxl, интересующиеся могут ознакомиться с этим и этим. До этого про неё уже писал, так что коротко:
- состоит из двух моделей: базовая делает основную часть, а рефайнер доделывает, поэтому использовать только вместе (что в общем-то стало понятно после игр с 0.9)
- предназначена для размеров 768-1024
- основные проблемы остаются: руки и остальные мелкие/сложные детали
- модель большая (2.6ярда параметров против 0.86ярда у моделей 1.x и 2.x) - требует видеокарточку помощнее (и для генерации и для тренировки)
- попутно в статье немного похуисосили MJ и Dalle за то что не делятся наработками и не имеют права говорить что они самые-самые, потому что модели закрытые и нормально потестировать их нельзя, а SDXL все равно уделывает их по красоте картинок (по тестам авторов, естественно)
- ждем версию 1.5 автоматика, с поддержкой sdxl и остальными плюшками

А в целом работал, поэтому отделаюсь только этим постом. Один из проектов nsfw направления, поэтому пришлось вникнуть в генерацию сисек-писек, так что теперь я обладатель разряда по генерации похабных и фотореалистичных картинок.

Сажусь за гайд по дефоруму

Уведомления в Automatic1111

Когда генерируешь и делаешь что-то параллельно, было бы удобно чтобы автоматик как-то оповещал, когда генерация завершена, чтобы не нужно было поглядывать на вкладку в браузере или сворачивать/разворачивать остальные программы.

Тут, как в известном анекдоте, у нас есть два путя:
1. Использовать звук для уведомлений
Закидываем в папку автоматика файл со звуком оповещения и обязательно обзываем его notification.mp3. Штука прикольная и если вам подходит - используйте, но скорее всего надоест через 10-20 генераций.
2. Включить оповещения в браузере
Переходим в Settings -> Actions и нажимаем на кнопку Request browser notifications и одобряем во всплывающем окне от браузера. картиночка

Мелочь, а удобно

Вариации изображения в Stable diffusion

У Midjourney есть отличная фишка с генерацией вариантов изображения. Он cгенерировал четыре картинки и одна из них мне понравилась. Я нажимаю кнопку V1-V4 и он нагенерит мне еще четыре картинки похожие на изначальную.

Такую же штуку мы можем сделать и у нас, в stable diffusion. Вот мы получили хорошую картинку, но хотелось бы посмотреть ее же, но немного другую. Нажатием на кнопку ♻️ фиксируем seed и ставим галочку в поле Extra рядом. У нас появляются дополнительные поля из которых нас интересует только Variation strength. Это то, насколько наша картинка будет отличаться от оригинала: 0 - получим исходную картинку, 1 - получим абсолютно новую. Ставим что-нибудь в диапазоне от 0.2 до 0.45, в зависимости от картинки и наслаждаемся.

Можно, конечно, делать и через controlnet reference, и через img2img, еще и такая крутая штука с self-attention есть, но как обычно есть несколько но:
1. Controlnet reference и fabric, тоже выполняют некоторую работу, что замедляет генерацию + слабый контроль над количеством изменений
2. img2img хорошая альтернатива и делает по сути тоже самое, но требует слишком много телодвижений. С extra тут два тыка и готово, а так надо send to img2img, проверить параметры, продублировать controlnet, если он был и играться с denoising strength вместо variation strength.