Я там в файлике накосячил
Пока генерил, думал, что это я с промптами туплю и все выглядит хуже чем в clipdrop (в SDXL другой обработчик текста (точнее два), поэтому промптить нужно немного по другому), или может это такая сырая версия? Разгадка, как это обычно бывает, куда проще: я просто наебался с нодами для обработки текста и с нодами для семплеров. Слева на картинке неправильно, справа - правильно.
Это все, до релиза про sdxl больше ни слова.
Приложил новый файлик с правильным пайплайном, а у тех, кто работал с неправильным

До этого вышел DragGAN, который позволял двигать картинки, но у него было два минуса:
- как несложно догадаться, он использует GAN'ы (мы с вами на диффузионных моделях сидим)
- Для всего что мы хотим двигать нужна отдельная модель

И теперь на нашей улице праздник, выпустили DragDiffusion и он:
- работает с нашими моделями
- для того чтобы что-нибудь двинуть нужно быстренько натренировать лору с нужной картинкой (в демке учат 200 шагов)

Ждем пока допилят, докрутят и завернут все в расширение для автоматика.

Страница проекта
Репозиторий с кодом
Бумага в архиве

Пу-пу-пу, так
➖ лучший редактор openpose, которым пользовался
➖ прикольный тестер для проверки фоток (сгенерированная или нет?)
➖ небольшая статья про модели, про технические детали/неисправности. Тем, кто работает с моделями или хочет узнать чуть больше можно почитать
➖ хорошая статья про блок-мерж моделей
➖ интересная портянка про тренировку моделей на сгенерированных картинках. Вывод: лучше всего, сгенерированные картинки разбавлять реальными (новыми), тогда все будет ок. Тут конечно речь про большие, полноценные тренировки с кучей картинок, но и для собственных тестов тоже интересный момент.
➖ завтра релиз sdxl, интересующиеся могут ознакомиться с этим и этим. До этого про неё уже писал, так что коротко:
- состоит из двух моделей: базовая делает основную часть, а рефайнер доделывает, поэтому использовать только вместе (что в общем-то стало понятно после игр с 0.9)
- предназначена для размеров 768-1024
- основные проблемы остаются: руки и остальные мелкие/сложные детали
- модель большая (2.6ярда параметров против 0.86ярда у моделей 1.x и 2.x) - требует видеокарточку помощнее (и для генерации и для тренировки)
- попутно в статье немного похуисосили MJ и Dalle за то что не делятся наработками и не имеют права говорить что они самые-самые, потому что модели закрытые и нормально потестировать их нельзя, а SDXL все равно уделывает их по красоте картинок (по тестам авторов, естественно)
- ждем версию 1.5 автоматика, с поддержкой sdxl и остальными плюшками

А в целом работал, поэтому отделаюсь только этим постом. Один из проектов nsfw направления, поэтому пришлось вникнуть в генерацию сисек-писек, так что теперь я обладатель разряда по генерации похабных и фотореалистичных картинок.

Сажусь за гайд по дефоруму

Уведомления в Automatic1111

Когда генерируешь и делаешь что-то параллельно, было бы удобно чтобы автоматик как-то оповещал, когда генерация завершена, чтобы не нужно было поглядывать на вкладку в браузере или сворачивать/разворачивать остальные программы.

Тут, как в известном анекдоте, у нас есть два путя:
1. Использовать звук для уведомлений
Закидываем в папку автоматика файл со звуком оповещения и обязательно обзываем его notification.mp3. Штука прикольная и если вам подходит - используйте, но скорее всего надоест через 10-20 генераций.
2. Включить оповещения в браузере
Переходим в Settings -> Actions и нажимаем на кнопку Request browser notifications и одобряем во всплывающем окне от браузера. картиночка

Мелочь, а удобно

Вариации изображения в Stable diffusion

У Midjourney есть отличная фишка с генерацией вариантов изображения. Он cгенерировал четыре картинки и одна из них мне понравилась. Я нажимаю кнопку V1-V4 и он нагенерит мне еще четыре картинки похожие на изначальную.

Такую же штуку мы можем сделать и у нас, в stable diffusion. Вот мы получили хорошую картинку, но хотелось бы посмотреть ее же, но немного другую. Нажатием на кнопку ♻️ фиксируем seed и ставим галочку в поле Extra рядом. У нас появляются дополнительные поля из которых нас интересует только Variation strength. Это то, насколько наша картинка будет отличаться от оригинала: 0 - получим исходную картинку, 1 - получим абсолютно новую. Ставим что-нибудь в диапазоне от 0.2 до 0.45, в зависимости от картинки и наслаждаемся.

Можно, конечно, делать и через controlnet reference, и через img2img, еще и такая крутая штука с self-attention есть, но как обычно есть несколько но:
1. Controlnet reference и fabric, тоже выполняют некоторую работу, что замедляет генерацию + слабый контроль над количеством изменений
2. img2img хорошая альтернатива и делает по сути тоже самое, но требует слишком много телодвижений. С extra тут два тыка и готово, а так надо send to img2img, проверить параметры, продублировать controlnet, если он был и играться с denoising strength вместо variation strength.

Пока занят работой и видео про дефорум (будет в субботу) отделываюсь небольшими постами, а так подумываю сделать большой материал про стабилку, в котором рассказал бы про нее все от и до. Держите мем на сдачу

Каждый раз, когда выходит обновление