Midjourney v6.1 | Ideogram v2 | Flux1 Dev
Сделал сравнение 3 моделей:
📕 Постарался взять все базовые настройки, в данном случае размер mj и flux одинаковый, а вот вертикальные и горизонтальные картинки в ideogram меньше. При этом выборка у всех моделей была из 4 генераций батча по одному промпту.
Промпты:
— Реализм Гопро:
— Артовый 3d:
— Продуктовая картинка:
— Артовый 2d(в комментах):
🐈⬛ Мне сложно сказать мнение по поводу какая модель лучше, например, в повторение эффекта Гопро справилась лучшего всего MJ
— Если брать в пайплайн MJ и Ideogram, как сырье для Лор во Flux, то в этом случае FLUX лучше всего себя покажет + апскейлеры, контролнеты, айпиадаптеры и инпейнтинг.
— Если нужна генерация с минимальными усилиями, то тогда MJ и Ideogram идеально заполнят ваши потребности.
@monkeyinlaw
Сделал сравнение 3 моделей:
Промпты:
— Реализм Гопро:
gopro, steampunk lady with a mohawk wearing a maki-e pattern kimono meditating at the Senso-ji Temple
— Артовый 3d:
hyper realistic, a mix of organic and mechanical elements into a never before seen creature
— Продуктовая картинка:
Sliced barbecue beef brisket on a wooden board, isolated against a white background. Detailed, natural lighting, sharp focus, high-resolution photography.
— Артовый 2d(в комментах):
A work depicting a crazy wild yaks with a Tibetan style in the styles of Jean-Michel Basquiat and Keith Haring, having the styles of world art masters and featuring contemporary surrealistic elements.
(Но для Flux можно спокойно обучить Лору собрав датасет из MJ) С точки зрения продуктовой картинки — Ideogram сгенерил детальный фон, но зря, так как в промпте запрашивалась картинка с белым фоном с изолированным блюдом от него, чтобы проще было вырезать затем. И при этом артовый вариант 100% уходит в Ideogram, понимание художников и смесь их концепта самая удачная! (художники для референса в коментах) — Если брать в пайплайн MJ и Ideogram, как сырье для Лор во Flux, то в этом случае FLUX лучше всего себя покажет + апскейлеры, контролнеты, айпиадаптеры и инпейнтинг.
— Если нужна генерация с минимальными усилиями, то тогда MJ и Ideogram идеально заполнят ваши потребности.
@monkeyinlaw
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍21🔥7🤡2
This media is not supported in your browser
VIEW IN TELEGRAM
Star Wars пластилиновые 80-ые
Совместил две Лоры для FLUX, генерация в Dream Machine:
Dark Fantasy + Clay
🐈⬛ Меня правда по идеи обогнали, но зато с уверенностью скажу, что потратил на это примерно один час, вот стрим, там сначала новости, а потом генерил.
Музыку взял отсюда. Я почему-то никак не могу добиться приятного звука из нейронок, меня очень бесит их шумность и артефактность.
Json в комментах, там все настройки и промпты.
📕 P.S. Сегодня ровно два года, как Stable Diffusion v1.4 стал доступен всем, сколько уже всего прошло с этого времени...
Совместил две Лоры для FLUX, генерация в Dream Machine:
Dark Fantasy + Clay
Музыку взял отсюда. Я почему-то никак не могу добиться приятного звука из нейронок, меня очень бесит их шумность и артефактность.
Json в комментах, там все настройки и промпты.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥30❤3
Media is too big
VIEW IN TELEGRAM
FLUX интерполяция по рандом латентному пространству
📕 Что мне нравится в этом блуждании, так это его абсолютная непредсказуемость. Мы переходим от одного вектора к другому, причем длина и направление этих переходов задаются случайным шумом. В итоге получается нечто похожее на сон или беспорядочный набор кадров, плавно переходящих из одного сюжета в другой.
Если хотите попробовать, вот
GITHUB—COLAB
Пример для SD 1.5 кода от Karpathy
Музыка из Suno
Если хотите попробовать, вот
(требует много VRAM):GITHUB—COLAB
Пример для SD 1.5 кода от Karpathy
Музыка из Suno
Please open Telegram to view this post
VIEW IN TELEGRAM
❤21👍6🔥1
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Пока Карпатый уже не может представить, как работать без копайлота или Cursor, Амазоновские перелопатил половину корпоративного спагетти-кода, юзая их Amazon Q*.
Чуваки прикинули и пришли к выводу, что за пару недель сэкономили 4500 лет (sic!) работы человека-разработчика. Сначало не верится, но если учесть, что 80% кода они отправили напрямую в прод... хочется задуматься о перспективах работы для программистов.
Новая простыня отличается повышенной безопасностью и эффективностью (конечно, со слов разработчиков, ещё посмотрим какие дыры проявятся через некоторое время). А вообще, оптимизация должна принести Безосу лишние 260М в год👍
С одной стороны, в очередной раз press F джунам, с другой — ребята, пока еще не все выкупили фишку, устраивайтесь скорее на синьоров в старые компании и переписывайте им код за нормальную зп😁
* Amazon Q - это амазоноаский копайлот, который под капотом все также использует GPT, имеет доступ ко всей базе кода и документов внутри компании, плюс некий обвес из пайплайнов и интерфейсов вокруг. Вот тут про него.
@ai_newz
Чуваки прикинули и пришли к выводу, что за пару недель сэкономили 4500 лет (sic!) работы человека-разработчика. Сначало не верится, но если учесть, что 80% кода они отправили напрямую в прод... хочется задуматься о перспективах работы для программистов.
Новая простыня отличается повышенной безопасностью и эффективностью (конечно, со слов разработчиков, ещё посмотрим какие дыры проявятся через некоторое время). А вообще, оптимизация должна принести Безосу лишние 260М в год👍
С одной стороны, в очередной раз press F джунам, с другой — ребята, пока еще не все выкупили фишку, устраивайтесь скорее на синьоров в старые компании и переписывайте им код за нормальную зп😁
* Amazon Q - это амазоноаский копайлот, который под капотом все также использует GPT, имеет доступ ко всей базе кода и документов внутри компании, плюс некий обвес из пайплайнов и интерфейсов вокруг. Вот тут про него.
@ai_newz
💊20🔥5👍3❤1🤡1
This media is not supported in your browser
VIEW IN TELEGRAM
UI обертки для Opensource нейронок в одном UI
😳 Есть уже несколько вариантов удобных оберток для закачки известных инструментов, но данная версия намного приятнее по дизайну.
Вот что автора пишет про свою версию в сравнение с Pinokio:
GITHUB Пока только для Windows, Linux версия на подходе.
Еще варианты:
PINOKIO—STABLEMATRIX
Вот что автора пишет про свою версию в сравнение с Pinokio:
«Ты ничего не добьешься с этим проектом». Он уже наткнулся на два проекта, похожих на мой, и отправил мне ссылки на Pinokio и StabilityMatrix.
Да, вы оба правы — существуют другие приложения, которые могут показаться похожими на мое. Однако у меня есть большие планы на мое приложение, которые сделают его уникальным и выделяющимся по-своему.
Возьмем, к примеру, Automatic1111. Когда он только появился, стоило ли всем отказаться от создания других веб-интерфейсов только потому, что один уже существует? Уверен, вы знаете о многих веб-интерфейсах, похожих на A1, но имеющих своих пользователей и уникальные особенности. Некоторые из них даже стали более популярными и лучше поддерживаемыми.
ЛИНК
GITHUB Пока только для Windows, Linux версия на подходе.
Еще варианты:
PINOKIO—STABLEMATRIX
Please open Telegram to view this post
VIEW IN TELEGRAM
🤡6🔥4❤1💊1😡1
Более качественные Union ControlNET для FLUX
и небольшой дайджест за день
📕 Вышли более качественные union controlnet от InstantX Team и Shakker Labs.
HF link
📕 Так же от них вышел depth map ControlNet.
🔥 Региональный маски с промптами в Photoshop с сервером на ComfyUI.
Reddit—Github
👀 Интересная статья про T5 энкодер во Flux и насколько он отличается от привычного нам Clip.
🐈⬛ Тренировка Лоры на ваших логотипах. Автор использовал данный пайплайн для обучения Лоры и меньше 15 картинок с логотипом своим.
@monkeyinlaw
и небольшой дайджест за день
📕 Вышли более качественные union controlnet от InstantX Team и Shakker Labs.
В комментах показываю какие-то безумные манипуляции с pose моделью и Animatediff, интересно узнать подробности.HF link
Reddit—Github
👀 Интересная статья про T5 энкодер во Flux и насколько он отличается от привычного нам Clip.
🐈⬛ Тренировка Лоры на ваших логотипах. Автор использовал данный пайплайн для обучения Лоры и меньше 15 картинок с логотипом своим.
@monkeyinlaw
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
This media is not supported in your browser
VIEW IN TELEGRAM
Небольшой дайджест за день
😳 Генерация 3d сцены из сплатов через две картинки:
— Картинка генерится в Flux (тут 20 бесплатных генераций есть)
— Далее в Gen3 Turbo с промптом:
— Берем крайний кадр лучший с другой стороны сцены
— И в HF space для создания сплатов
Reddit LINK
🍎 HyperSD выложили лоры для FLUX Dev на 16 шагов и 8 шагов, работают правда при силе 0.125 для Лоры и при guidance 3.5.
Для gguf версии в теории тоже работают.
HF weights
👀 И вновь про статью о тренировке Lora для FLUX:
Коротко, говорится, что T5 энкодер больше работает как LLM, и часто в него можно подавать просто картинку с триггер словом, а дальше он сам обучит лучше, чем любой доступный caption. И немного наглядных примеров, ОДИН | ДВА
@monkeyinlaw
— Картинка генерится в Flux (тут 20 бесплатных генераций есть)
— Далее в Gen3 Turbo с промптом:
Orbit Right— Берем крайний кадр лучший с другой стороны сцены
— И в HF space для создания сплатов
Reddit LINK
Это пока быстрый промежуточный вариант, думаю совсем скоро можно будет полноценные 3D сцены делать с таким пайплайном. В отличие от генерации фигурок, 3D полноценные сцены — слабая сторона генеративных нейронок.
Для gguf версии в теории тоже работают.
HF weights
При этом Union ControlNET требует guidance 1 в нодах ComfyUI, а стандартные ControlNET для Flux могут работать при любом guidance. Пока конечно дикий разлад в настройках...
Коротко, говорится, что T5 энкодер больше работает как LLM, и часто в него можно подавать просто картинку с триггер словом, а дальше он сам обучит лучше, чем любой доступный caption. И немного наглядных примеров, ОДИН | ДВА
Примечание: Во втором варианте при обучении были разные параметры, что сильно влияет сравнение. И оба варианта обучались прям на CivitAI
@monkeyinlaw
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥15❤1🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
T2V model CogVideoX-5B
🔥 Выложили веса для CogVideoX-5B — опенсорсный text2video, и уже есть готовые ноды для инференса в ComfyUI, даже с возможностью Vid2Vid.
📕 Для ComfyUI можно использовать T5 энкодер, который для Flux и SD3. А еще ест 13-14GB в пике, но только VAE. Сэмплинг кушает только 5-6GB.
COMFYUI—HF_WEIGHTS—GITHUB
COMFYUI—HF_WEIGHTS—GITHUB
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🔥5❤1
Небольшой дайджест за день по FLUX
🔥 Flux подборка присутствия в датасете художников.
📕 Flux LORA база данных Текстуры | Стили
Картинки — мои примеры генераций с супер детальным пайпалйном с двойной инъекции шума в латент от Маттео. Json в комментах. Он адаптирован под капшионинг через Florence2.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥28👍8
This media is not supported in your browser
VIEW IN TELEGRAM
Я уже писал об интерполяции во FLUX и делал рандомную прогулку по латенту
📕 Вчера выложили вариант для ComfyUI, где мы берем контекстное окно от нод AnimateDiff и прикрепляем к FLUX. Это круто тем, что мы можем использовать и ControlNet и свои Лоры для интерполяции.
🐈⬛ Не круто, что Flux требовательный к памяти и батч из 256 картинок я смог просунуть в gguf Q3 версии с размером 960x540px, и это при карте H100 в 96GB...
🧐 Всегда мечтал о функционале ComfyUI с качеством Midjourney
Json в комментах, иная версия с котом тоже.
Это причина почему AnimateDiff для Flux если и появится, то станет возможным при кластерах H100... Json в комментах, иная версия с котом тоже.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍2🤡1
FLUX тренировка Lora на персонажах
🍎 TheLastBen показал свои наработки для обучения Лоры на персонаже.
LINK
📕 Он заметил что два слоя(
LORA — для тестов.
📕 Добавим сюда еще новое понимание от коммьюнити, что детальное описание вещей переобучает и остальную часть датасета в кашу. То есть нужно описывать словами только те концепции, которые не присутствовали в датасете Flux. При переобучении на больших кэпшионингах можно потерять большую часть остального контента и многие для этого докидывали регуляризационные картинки. Получается можно было просто меньше кэпшионить?
📕 Тут же еще появилась нода от Kijai, которая позволяет вытаскивать на слои вашу обученную лору и смотреть как слой влияет на генерацию (
🔥 Обучение по определенным слоям доступно в AiToolkit. Любителям Kohya-SS пока нужно подождать.
🐈⬛ Пойду перезапишу весь новый урок про тренировку Лора для Flux.
@monkeyinlaw
LINK
single_transformer_blocks.7.proj_out and single_transformer_blocks.20.proj_out) при обучении сильнее всего влияют на персонажа, потому если обучить только эти слои и не трогать остальное, выйдет супер удачная Лора на персонаже. LORA — для тестов.
(Вот бы мне все эти знания год назад...)
пример в последней картинке)@monkeyinlaw
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19🔥13👍7