#stablediffusion
📌 Нейросеть Stable Diffusion. Обзор. Как пользоваться. Инструкция.
Знакомство с нейросетью Стабильная Диффузия. Использование на сторонних сайтах и установка к себе на компьютер. Генерация первых изображений.
Свое внимание на эту нейросеть стоит обращать по разным причинам, но в числе главных я бы выделил возможность создания собственных моделей и тренировка системы на собственных фотографиях и иллюстрациях.
Данную возможность я в полной мере не смог протестировать, по причине отсутствия достаточного объема памяти.
Но уже сейчас я замечаю, что в интернете появляются сервисы, помогающие это сделать за счет их мощностей.
Впереди нас ждет интереснейшее приключение.
https://supermicrostock.ru/stable-diffusion-obzor-how-to-use-guide/
📌 Нейросеть Stable Diffusion. Обзор. Как пользоваться. Инструкция.
Знакомство с нейросетью Стабильная Диффузия. Использование на сторонних сайтах и установка к себе на компьютер. Генерация первых изображений.
Свое внимание на эту нейросеть стоит обращать по разным причинам, но в числе главных я бы выделил возможность создания собственных моделей и тренировка системы на собственных фотографиях и иллюстрациях.
Данную возможность я в полной мере не смог протестировать, по причине отсутствия достаточного объема памяти.
Но уже сейчас я замечаю, что в интернете появляются сервисы, помогающие это сделать за счет их мощностей.
Впереди нас ждет интереснейшее приключение.
https://supermicrostock.ru/stable-diffusion-obzor-how-to-use-guide/
#стабильнаядиффузия #stablediffusion
📌 Как установить Стабильную диффузию на компьютер с Виндовс. Инструкция.
После очередного обновления ПК у меня наконец-то появилась возможность полноценно протестировать нейросеть СД локально у себя на компьютере, установив графический интерфейс Автоматик1111.
Заодно и написал инструкцию для всех заинтересованных. Можете попробовать установить и себе.
П.С. Обновление железа дало о себе знать. Если раньше на генерацию изображения уходило более минуты, то сейчас 4-5 секунд.
https://supermicrostock.ru/how-to-install-stable-diffusion-on-windows-a-complete-guide/
📌 Как установить Стабильную диффузию на компьютер с Виндовс. Инструкция.
После очередного обновления ПК у меня наконец-то появилась возможность полноценно протестировать нейросеть СД локально у себя на компьютере, установив графический интерфейс Автоматик1111.
Заодно и написал инструкцию для всех заинтересованных. Можете попробовать установить и себе.
П.С. Обновление железа дало о себе знать. Если раньше на генерацию изображения уходило более минуты, то сейчас 4-5 секунд.
https://supermicrostock.ru/how-to-install-stable-diffusion-on-windows-a-complete-guide/
#стабильнаядиффузия #stablediffusion
📌 Генерация видео с помощью Стабильной диффузии
Часть 1
Часть 1 | Часть 2 | Часть 3
В этом посте я расскажу, что нужно для генерации, откуда это скачать и что посмотреть, чтобы это правильно установить.
Шаг 1. Устанавливаем КомфиЮАй
КомфиЮАй (англ. ComfyUi) — это альтернативный интерфейс для работы со Стабильной Диффузией. Удобен тем, что пользователь может наглядно увидеть процесс генерации изображений и с помощью специальных модулей, узлов и нодов, и вносить изменения на каждом этапе.
Из плюсов можно выделить простоту установки, быстроту работы, немного меньшие технические требования к компьютеру, чем у Автоматик1111, и быстроту загрузки тяжеловесных моделей.
Как установить КомфиЮАй смотрим здесь с 11:45. Для полноты картины рекомендую посмотреть данное видео полностью.
Шаг 2. Скачиваем модели для СД
Я рекомендую скачать вам две модели:
🔹 SD-XL 1.0-base Model (необходимо скачать файл sd_xl_base_1.0.safetensors, который находится в самом низу списка). Данная модель нужна для генерации изображений.
🔹 Stable Video Diffusion Image-to-Video Model Card (необходимо скачать файл svd_xt_image_decoder.safetensors). Данная модель преобразует изображение в видео. Эта модель была обучена генерировать 25 кадров с разрешением 576x1024.
Скачанные файлы перемещаем в папку \ComfyUI\ComfyUI\models\checkpoints
Шаг 3. Устанавливаем КомфиЮАй менеджер
Менеджер необходим для установки кастомных нодов и доустановки нодов для скачанных проектов из интернета.
Менеджер находится по следующей ссылке: https://github.com/ltdrdata/ComfyUI-Manager
Перед его установкой необходимо установить Git gitforwindows.org Если Гит у вас уже установлен, то пропускаем этот шаг
Переходим в папку C:\ComfyUI\ComfyUI\custom_nodes
Жмем правой кнопкой мышки внутри папки и выбираем пункт Git Bush Here
В открывшемся окне вводим команду «git clone https://github.com/ltdrdata/ComfyUI-Manager.git» и нажимаем энтер. Начнется скачивание расширения. По окончании процесса в папке появится новая папка с именем ComfyUI-Manager. Это значит, что все прошло успешно.
Более наглядно про менеджер смотрим вот это видео.
Менеджер на первых порах может и не пригодиться, но лучше его установить сразу.
—» Супермикросток.ру —» Подписаться на канал
Продолжение завтра...
📌 Генерация видео с помощью Стабильной диффузии
Часть 1
Часть 1 | Часть 2 | Часть 3
В этом посте я расскажу, что нужно для генерации, откуда это скачать и что посмотреть, чтобы это правильно установить.
Шаг 1. Устанавливаем КомфиЮАй
КомфиЮАй (англ. ComfyUi) — это альтернативный интерфейс для работы со Стабильной Диффузией. Удобен тем, что пользователь может наглядно увидеть процесс генерации изображений и с помощью специальных модулей, узлов и нодов, и вносить изменения на каждом этапе.
Из плюсов можно выделить простоту установки, быстроту работы, немного меньшие технические требования к компьютеру, чем у Автоматик1111, и быстроту загрузки тяжеловесных моделей.
Как установить КомфиЮАй смотрим здесь с 11:45. Для полноты картины рекомендую посмотреть данное видео полностью.
Шаг 2. Скачиваем модели для СД
Я рекомендую скачать вам две модели:
🔹 SD-XL 1.0-base Model (необходимо скачать файл sd_xl_base_1.0.safetensors, который находится в самом низу списка). Данная модель нужна для генерации изображений.
🔹 Stable Video Diffusion Image-to-Video Model Card (необходимо скачать файл svd_xt_image_decoder.safetensors). Данная модель преобразует изображение в видео. Эта модель была обучена генерировать 25 кадров с разрешением 576x1024.
Скачанные файлы перемещаем в папку \ComfyUI\ComfyUI\models\checkpoints
Шаг 3. Устанавливаем КомфиЮАй менеджер
Менеджер необходим для установки кастомных нодов и доустановки нодов для скачанных проектов из интернета.
Менеджер находится по следующей ссылке: https://github.com/ltdrdata/ComfyUI-Manager
Перед его установкой необходимо установить Git gitforwindows.org Если Гит у вас уже установлен, то пропускаем этот шаг
Переходим в папку C:\ComfyUI\ComfyUI\custom_nodes
Жмем правой кнопкой мышки внутри папки и выбираем пункт Git Bush Here
В открывшемся окне вводим команду «git clone https://github.com/ltdrdata/ComfyUI-Manager.git» и нажимаем энтер. Начнется скачивание расширения. По окончании процесса в папке появится новая папка с именем ComfyUI-Manager. Это значит, что все прошло успешно.
Более наглядно про менеджер смотрим вот это видео.
Менеджер на первых порах может и не пригодиться, но лучше его установить сразу.
—» Супермикросток.ру —» Подписаться на канал
Продолжение завтра...
#стабильнаядиффузия #stablediffusion
📌 Генерация видео с помощью Стабильной диффузии
Часть 2
Часть 1 | Часть 2 | Часть 3
Если вы сделали, что указано в первой части, то у вас уже должен быть настроен КомфиЮАй с Менеджером нодов и скачаны две модели. Поэтому переходим дальше.
Шаг 4. Загружаем рабочий процесс в КомфиЮАй
Переходим на страничку и сохраняем себе на жесткий диск два представленных изображения. Рабочие процессы вшиты внутрь этих файлов. Вместо них можно скачать файлы в формате Json. Ссылки на них есть под каждым изображением.
Таким образом у вас на компьютере должно быть два файла с двумя рабочими процессами:
🔹 workflow_image_to_video — генерация видео из изображения
🔹 workflow_txt_to_img_to_video — генерация изображения из текста, а затем из изображения в видео
Теперь самое интересное. Запустив КомфиЮАй и дождавшись пока все загрузится. Мы просто перетаскиваем на рабочее пространство один из файлов и начинаем генерировать.
Шаг 5. Генерируем видео
Я буду рассматривать генерацию только через процесс под названием image_to_video. Т.к. у меня есть много изображений из мидджорни и интересно посмотреть, как генерация видео сработает на них.
🔷 Image to Video
1️⃣ В узле под названием "Image Only Checkpoint Loader (img2vid model)" указываем модель "svd_xt_image_decoder.safetensors".
2️⃣ В узле "Load image" указываем изображение, которое будем оживлять. Можно простым перетаскиванием закидывать картинки.
3️⃣ В узле "SVD_img2vid_Conditioning" значение переменной "video_frames" устанавливаем на 25. Т.к. модель, скачанная в первой части предназначена для генерации 25 кадров. Остальные настройки в данном узле лучше оставить по умолчанию.
Для генерации нажимаем Queue Prompt и ждем некоторое время. На выходе мы получаем файл в формате webp. С ним то мы и продолжим работать завтра.
—» Супермикросток.ру —» Подписаться на канал
📌 Генерация видео с помощью Стабильной диффузии
Часть 2
Часть 1 | Часть 2 | Часть 3
Если вы сделали, что указано в первой части, то у вас уже должен быть настроен КомфиЮАй с Менеджером нодов и скачаны две модели. Поэтому переходим дальше.
Шаг 4. Загружаем рабочий процесс в КомфиЮАй
Переходим на страничку и сохраняем себе на жесткий диск два представленных изображения. Рабочие процессы вшиты внутрь этих файлов. Вместо них можно скачать файлы в формате Json. Ссылки на них есть под каждым изображением.
Таким образом у вас на компьютере должно быть два файла с двумя рабочими процессами:
🔹 workflow_image_to_video — генерация видео из изображения
🔹 workflow_txt_to_img_to_video — генерация изображения из текста, а затем из изображения в видео
Теперь самое интересное. Запустив КомфиЮАй и дождавшись пока все загрузится. Мы просто перетаскиваем на рабочее пространство один из файлов и начинаем генерировать.
Шаг 5. Генерируем видео
Я буду рассматривать генерацию только через процесс под названием image_to_video. Т.к. у меня есть много изображений из мидджорни и интересно посмотреть, как генерация видео сработает на них.
🔷 Image to Video
1️⃣ В узле под названием "Image Only Checkpoint Loader (img2vid model)" указываем модель "svd_xt_image_decoder.safetensors".
2️⃣ В узле "Load image" указываем изображение, которое будем оживлять. Можно простым перетаскиванием закидывать картинки.
3️⃣ В узле "SVD_img2vid_Conditioning" значение переменной "video_frames" устанавливаем на 25. Т.к. модель, скачанная в первой части предназначена для генерации 25 кадров. Остальные настройки в данном узле лучше оставить по умолчанию.
Для генерации нажимаем Queue Prompt и ждем некоторое время. На выходе мы получаем файл в формате webp. С ним то мы и продолжим работать завтра.
—» Супермикросток.ру —» Подписаться на канал
#стабильнаядиффузия #stablediffusion
📌 Генерация видео с помощью Стабильной диффузии
Часть 3
Часть 1 | Часть 2 | Часть 3
Шаг 6. Конвертация webp в mp4
Чтобы сконвертировать файлы из webp в mp4, я использую программу Adobe Media Encoder. Она удобна тем, что можно сразу закинуть много файлов и перевести их из одного формата в другой. В настройках я ничего не меняю, разрешение файла оставляю как и у оригинала.
Шаг 7. Увеличиваем разрешение видео и его продолжительность.
Чтобы увеличить разрешение видео, нам понадобится ПО, работа которого основана на ИИ и машинном обучении. Я пользуюсь Topaz Video Enhance AI. Но я также знаю, что для этого можно использовать Adobe After Effects и DaVinci Resolve, но вам необходимо будет установить дополнительные плагины. Я с ними знаком лишь поверхностно, поэтому трогать не буду.
🔷 Topaz Video Enhance AI
1️⃣ Импортируем видео. Простым перетаскиванием переносим видео в программу и начинаем с ним работать.
2️⃣ Выбираем новое разрешение для видео. В поле Resolution можно выбрать либо 2х Upscale либо 4х Upscale.
3️⃣ Увеличиваем кадровую частоту. Изначально, Стабильная Диффузия выдает дерганную картинку, чтобы ее как-то сгладить я выбираю либо 25 кадров (чаще всего) либо 60 кадров в секунду. Чем больше кадровая частота, тем более плавным будет видео, но и его генерация будет происходить дольше.
4️⃣ Выбор модели генерации. Я использую либо Proteus, либо Gaia. Выбор модели зависит от того, что изображено на видео. Более подробно описание каждой модели можно найти в интернете.
5️⃣ Увеличиваем продолжительность. Чтобы увеличить продолжительность я использую эффект slow motion 6х с моделью Chronos Fast.
Проделав все вышеописанное, мы превращаем дерганное видео из СД во что-то более менее пригодное для использования.
Чтобы познакомиться с Топазом чуть ближе, рекомендую посмотреть вот это видео.
По Топазу что хочется сказать. Использование этой программы — это целое искусство. Чтобы подобрать корректно модель и другие параметры, можно потратить не один час.
—» Супермикросток.ру —» Подписаться на канал
📌 Генерация видео с помощью Стабильной диффузии
Часть 3
Часть 1 | Часть 2 | Часть 3
Шаг 6. Конвертация webp в mp4
Чтобы сконвертировать файлы из webp в mp4, я использую программу Adobe Media Encoder. Она удобна тем, что можно сразу закинуть много файлов и перевести их из одного формата в другой. В настройках я ничего не меняю, разрешение файла оставляю как и у оригинала.
Шаг 7. Увеличиваем разрешение видео и его продолжительность.
Чтобы увеличить разрешение видео, нам понадобится ПО, работа которого основана на ИИ и машинном обучении. Я пользуюсь Topaz Video Enhance AI. Но я также знаю, что для этого можно использовать Adobe After Effects и DaVinci Resolve, но вам необходимо будет установить дополнительные плагины. Я с ними знаком лишь поверхностно, поэтому трогать не буду.
🔷 Topaz Video Enhance AI
1️⃣ Импортируем видео. Простым перетаскиванием переносим видео в программу и начинаем с ним работать.
2️⃣ Выбираем новое разрешение для видео. В поле Resolution можно выбрать либо 2х Upscale либо 4х Upscale.
3️⃣ Увеличиваем кадровую частоту. Изначально, Стабильная Диффузия выдает дерганную картинку, чтобы ее как-то сгладить я выбираю либо 25 кадров (чаще всего) либо 60 кадров в секунду. Чем больше кадровая частота, тем более плавным будет видео, но и его генерация будет происходить дольше.
4️⃣ Выбор модели генерации. Я использую либо Proteus, либо Gaia. Выбор модели зависит от того, что изображено на видео. Более подробно описание каждой модели можно найти в интернете.
5️⃣ Увеличиваем продолжительность. Чтобы увеличить продолжительность я использую эффект slow motion 6х с моделью Chronos Fast.
Проделав все вышеописанное, мы превращаем дерганное видео из СД во что-то более менее пригодное для использования.
Чтобы познакомиться с Топазом чуть ближе, рекомендую посмотреть вот это видео.
По Топазу что хочется сказать. Использование этой программы — это целое искусство. Чтобы подобрать корректно модель и другие параметры, можно потратить не один час.
—» Супермикросток.ру —» Подписаться на канал
Media is too big
VIEW IN TELEGRAM
#стабильнаядиффузия #stablediffusion
📌 Генерация видео с помощью Стабильной диффузии
Вместо заключения
Как видите, самостоятельная генерация видео с помощью СД дело не такое простое как кажется. Именно поэтому в мире появляется все больше и больше платных сервисов, которые избавляют пользователей от головной боли и берут техническую часть на себя.
Но если у вас есть желание разобраться в теме и попробовать погенерировать самостоятельно, то вся информация доступна в постах выше, да и в интернете можно найти много полезного. Так что дерзайте!
Если оценивать качество генераций, то у разработчиков есть куда стремиться. Хотя если вспомнить, что представляли из себя генеративные модели для изображений на первых порах, то сегодняшние результаты по видео, выглядят в целом неплохо.
П.С. Прикрепленное видео — это то, что у нас получилось.
—» Супермикросток.ру —» Подписаться на канал
📌 Генерация видео с помощью Стабильной диффузии
Вместо заключения
Как видите, самостоятельная генерация видео с помощью СД дело не такое простое как кажется. Именно поэтому в мире появляется все больше и больше платных сервисов, которые избавляют пользователей от головной боли и берут техническую часть на себя.
Но если у вас есть желание разобраться в теме и попробовать погенерировать самостоятельно, то вся информация доступна в постах выше, да и в интернете можно найти много полезного. Так что дерзайте!
Если оценивать качество генераций, то у разработчиков есть куда стремиться. Хотя если вспомнить, что представляли из себя генеративные модели для изображений на первых порах, то сегодняшние результаты по видео, выглядят в целом неплохо.
П.С. Прикрепленное видео — это то, что у нас получилось.
—» Супермикросток.ру —» Подписаться на канал