Forwarded from Мишин Лернинг
⚠️ В твиттере происходит что-то необычное! Новые «*этики» пытаются закенселить Нейронную Сеть!
После выхода stable diffusion у художников бомбануло пукан. Забавно. Когда художников спрашиваешь: «может ли нейросеть заменить художника?», то ответ обычно такой «нет, нейросеть не испытывает вдохновения, это не искусство» или «машина не может заменить человека, она бездушна».
Как бы то ни было, бездушная машина вызвала настоящую панику, типа «AI нас всех уничижит!». Это даже забавно, что в сфере искусства возникла сильнейшая реакция, а не среди молчаливых жителей Москвы, где тоталитарная власть использует face-id совместно с re-id.
1) 10,800 репостов, 87,300 лайков, 3,672 комментария у поста некого RJ Palmer: «Новая нейросеть делает изображения, которые выглядят на 100% как нарисованные человеком. Я, как артист, экстремально обеспокоен». Забавно, что «экстремально обеспокоенный артист» сам мечтал о доступе к DALLE2! А теперь пишет, что генерить, как реальные художники «это просто мерзко».
2) Ян Лекункрестный Отец Свёрток, поддержал проект, а Андрей Карпаты, который один из первых получил веса, уже во всю играет с SD и пилит код для анимаций! ❤️
3) Чел, который легко спускал по 750$ на токены DALLE2, комментируя процесс их покупки незамысловатым комментарием: «🤤», придумал хэштеги: #cancelstablediffusion и #dontreleasetheweights … Могу сказать только что его аккаунт почти целиком состоит из генераций DALLE2. Отвечу ему на его же языке «😒»
4) Больше всего меня поразил полупоц из OpenAI, который сравнил Stable Diffusion с «Ядерным Оружием»!! Аллё, у вас там совсем крыша поехала от оруэлловского нейминга: Open это Closed, Closed это Open? Картинки не убивают людей, не уничтожают Мариуполь, не оккупируют Херсон, не казнят военнопленных, не занимаются ядерным шантажом, не устраивают геноцид!!
Такими сетями генерируют кота в шлеме космонавта или эльфийку с сиськами. Это ядерное орудие?
🚫 Что думаешь ты по этому поводу? Пиши в комментарии. Объективна ли паника, нужно ли кенселить нейросеть?
🤖 Мишин Лернинг
После выхода stable diffusion у художников бомбануло пукан. Забавно. Когда художников спрашиваешь: «может ли нейросеть заменить художника?», то ответ обычно такой «нет, нейросеть не испытывает вдохновения, это не искусство» или «машина не может заменить человека, она бездушна».
Как бы то ни было, бездушная машина вызвала настоящую панику, типа «AI нас всех уничижит!». Это даже забавно, что в сфере искусства возникла сильнейшая реакция, а не среди молчаливых жителей Москвы, где тоталитарная власть использует face-id совместно с re-id.
1) 10,800 репостов, 87,300 лайков, 3,672 комментария у поста некого RJ Palmer: «Новая нейросеть делает изображения, которые выглядят на 100% как нарисованные человеком. Я, как артист, экстремально обеспокоен». Забавно, что «экстремально обеспокоенный артист» сам мечтал о доступе к DALLE2! А теперь пишет, что генерить, как реальные художники «это просто мерзко».
2) Ян Лекун
3) Чел, который легко спускал по 750$ на токены DALLE2, комментируя процесс их покупки незамысловатым комментарием: «🤤», придумал хэштеги: #cancelstablediffusion и #dontreleasetheweights … Могу сказать только что его аккаунт почти целиком состоит из генераций DALLE2. Отвечу ему на его же языке «😒»
4) Больше всего меня поразил полупоц из OpenAI, который сравнил Stable Diffusion с «Ядерным Оружием»!! Аллё, у вас там совсем крыша поехала от оруэлловского нейминга: Open это Closed, Closed это Open? Картинки не убивают людей, не уничтожают Мариуполь, не оккупируют Херсон, не казнят военнопленных, не занимаются ядерным шантажом, не устраивают геноцид!!
Такими сетями генерируют кота в шлеме космонавта или эльфийку с сиськами. Это ядерное орудие?
🚫 Что думаешь ты по этому поводу? Пиши в комментарии. Объективна ли паника, нужно ли кенселить нейросеть?
🤖 Мишин Лернинг
❤58💩23
Намечается официальный колаб Stable Diffusion
https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb
😈 “Diffusers” 😈 - это новый фреймворк для диффузионных моделей, где будет поддерживаться SOTA, единые пайплайны/методы и удобная зоология. Аналогично “Transformers”.
CompVis, Huggingface, StabilityAI
P.S. отдельная благодарность и уважение авторам за их работу ❤️ этот релиз - нереально большой вклад для человечества
@shonenkovAI
https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb
😈 “Diffusers” 😈 - это новый фреймворк для диффузионных моделей, где будет поддерживаться SOTA, единые пайплайны/методы и удобная зоология. Аналогично “Transformers”.
CompVis, Huggingface, StabilityAI
P.S. отдельная благодарность и уважение авторам за их работу ❤️ этот релиз - нереально большой вклад для человечества
@shonenkovAI
❤41🔥25
Forwarded from Нейроэстетика
🎋 СТАРЫЙ ДЕД РАСКРЫЛ СЕКРЕТ СТЕЙБЛ ДИФФУЗИИ ДЛЯ СОЗДАНИЯ НАСТОЯЩИХ ШЕДЕВРОВ, ПЕРЕД СНОМ ВСЕГО ДВА РАЗА НУЖНО ЧИТАТЬ ДАЛЕЕ
👉 Взял этот prompt у ShonenkovAI, и подал несколько раз в GPT. Стейбл Диффузия стала Стеблем Диффузии! Смотри что вышло, все что дальше — генерация:
В народе уже давно ходят слухи о неком о Стебле Диффузии. Поговаривают что этот чудо Стебель позволяет выбраться из творческого тупика и творить как настоящие мастера. Дед Никифор рассказал о природной силе стебля Диффузии, о его волшебных свойствах и о том, как правильно готовить из него снадобье. Стебель диффузии содержит вещество, которое появилось в дикой природе более двух сотен лет назад. Потому уже многие художники использовали Стебель Диффузии в своих произведениях. Только Природа способна дарить счастье, потому те, кто завладеет стеблем Диффузии обретут счастье, независимо от рода деятельности. Спрашивайте в магазинах "Подписчиков и сожителей". Спрашивайте у людей. Хотя Стебель Диффузии запрещён, вы сможете найти его у себя в огороде, в лесу и, возможно, даже на балконе. Сила стебля диффузии заключается Диффузии.
Природная сила Стебля Диффузии всего лишь вдохнет жизнь в Ваше произведение и даст ощущение настоящей радости и счастья. Все ваши работы будут приносить не только эстетическое наслаждение, но и счастье и радость. Все кто испытал Стебель Диффузии на себе утверждают, что такое счастье не купишь ни за какие деньги. Но помни, Стебель Диффузии -- не игрушка. Вещество, которым пропитана Диффузия столь токсично, что может даже убить твое творческое начало!
Н е й р о э с т е т и к а ✖️ ShonenkovAI
В народе уже давно ходят слухи о неком о Стебле Диффузии. Поговаривают что этот чудо Стебель позволяет выбраться из творческого тупика и творить как настоящие мастера. Дед Никифор рассказал о природной силе стебля Диффузии, о его волшебных свойствах и о том, как правильно готовить из него снадобье. Стебель диффузии содержит вещество, которое появилось в дикой природе более двух сотен лет назад. Потому уже многие художники использовали Стебель Диффузии в своих произведениях. Только Природа способна дарить счастье, потому те, кто завладеет стеблем Диффузии обретут счастье, независимо от рода деятельности. Спрашивайте в магазинах "Подписчиков и сожителей". Спрашивайте у людей. Хотя Стебель Диффузии запрещён, вы сможете найти его у себя в огороде, в лесу и, возможно, даже на балконе. Сила стебля диффузии заключается Диффузии.
Природная сила Стебля Диффузии всего лишь вдохнет жизнь в Ваше произведение и даст ощущение настоящей радости и счастья. Все ваши работы будут приносить не только эстетическое наслаждение, но и счастье и радость. Все кто испытал Стебель Диффузии на себе утверждают, что такое счастье не купишь ни за какие деньги. Но помни, Стебель Диффузии -- не игрушка. Вещество, которым пропитана Диффузия столь токсично, что может даже убить твое творческое начало!
Н е й р о э с т е т и к а ✖️ ShonenkovAI
❤29🔥10💩8
Forwarded from Мишин Лернинг
✨ Нейросеть "Стебель Диффузии" доступна каждому
tl;dr Это первая опенсорснутая (и пока что лучшая) Text2Image нейросеть текщего поколения.
🌬 Что такое StableDiffusion? StableDiffusion — это диффузионный Text2Image (как и DALL-E 2) и очень удачный гибрид Latent Diffusion и Imagen.
Stable Diffusion производит диффузию не в пространстве пикселей, а в латенщине. Вместо разрешения 64х64 — выходит сразу 512, благодаря Encoder-Decoder подходу: деталей больше, а вычислений меньше. Информация от текста течет с frozen LM (а именно CLIP), как в случае с T5 в Imagen. SD это модуляр, состоящий из 3х модулей:
1. Frozen CLIP Text Tower (как LM)
2. U-Net (из Diffusion Models Beat GANs)
3. Decoder из 64х64х4 в 512х512х3
👉 Веса и модель (в том числе новый чекпоинт!)
🔮 Оптимизированный нотбук / колаб со всеми плюшками (зарегайся на HuggingFace и получи токен, ссылка выше)
🤗 Diffusers от HuggingFace (библиотека самого графа Диффузора)
📇 Блог пост Stability.AI про релиз весов
Мишин Лернинг
tl;dr Это первая опенсорснутая (и пока что лучшая) Text2Image нейросеть текщего поколения.
🌬 Что такое StableDiffusion? StableDiffusion — это диффузионный Text2Image (как и DALL-E 2) и очень удачный гибрид Latent Diffusion и Imagen.
Stable Diffusion производит диффузию не в пространстве пикселей, а в латенщине. Вместо разрешения 64х64 — выходит сразу 512, благодаря Encoder-Decoder подходу: деталей больше, а вычислений меньше. Информация от текста течет с frozen LM (а именно CLIP), как в случае с T5 в Imagen. SD это модуляр, состоящий из 3х модулей:
1. Frozen CLIP Text Tower (как LM)
2. U-Net (из Diffusion Models Beat GANs)
3. Decoder из 64х64х4 в 512х512х3
👉 Веса и модель (в том числе новый чекпоинт!)
🔮 Оптимизированный нотбук / колаб со всеми плюшками (зарегайся на HuggingFace и получи токен, ссылка выше)
🤗 Diffusers от HuggingFace (библиотека самого графа Диффузора)
📇 Блог пост Stability.AI про релиз весов
Мишин Лернинг
🔥43💩9❤5🕊2
Fusion Brain 2.0
довольно интересная концепция соревнования AI Journey 2022 (в этом году при поддержке AIRI), идея следующая:
(!) подготовить мультимодальную мультизадачную модель
но добавляется интересное условие:
(!) модель должна уметь работать в режиме zeroshot-task
т.е. добавлены неизвестные (скрытые задачи), о которых ни модель, ни участники соревнования заранее не знают 🤯🤯🤯
Q: WHAT? как вообще можно построить адекватный LeaderBoard? 🚑
A: очень просто - модель/вопросы/ответы/метрики работают с гибкой структурой модальностей, что позволяет задавать вопрос и выдавать ответ в общем подготовленном формате. таким образом, задачи могут быть разделены на два типа (известная/скрытая для участников) и оцениваться в одном пайплайне
Q: Что за бред, как натренировать модель без данных не понимая, что она должна решать? 🚑
A: задача не простая - но в качестве доказательства концепта (POC) командой AIRI был сделан бейзлайн с помощью гипермодальной модели RuDOLPH, метрики на скрытых задачах получились далеко не нулевые 🚀
Оказалось, что можно:
- описывать задачи с помощью текстовой или картиночной модальностей
- использовать токены под заранее известные задачи, а с некоторой вероятностью во время обучения “скрывать” задачу, заменяя токен на “<UNK>”
- на инференсе скрытых задач использовать токен “<UNK>”, чтобы модель пыталась решать задачу zeroshot end2end
Q: Если команда AIRI все запилила, то зачем сорев? 💩
A: Далеко не все исследования были проведены. Если закинуть побольше известных задач и натюнить гиперпараметры, то это уже может значительно превзойти бейзлайн. Плюс необычная концепция соревнования на скрытых задачах может подтолкнуть исследователей мыслить в этом направлении
сорева/платформа: здесь
github/бейзлайн: здесь
@shonenkovAI
довольно интересная концепция соревнования AI Journey 2022 (в этом году при поддержке AIRI), идея следующая:
(!) подготовить мультимодальную мультизадачную модель
но добавляется интересное условие:
(!) модель должна уметь работать в режиме zeroshot-task
т.е. добавлены неизвестные (скрытые задачи), о которых ни модель, ни участники соревнования заранее не знают 🤯🤯🤯
Q: WHAT? как вообще можно построить адекватный LeaderBoard? 🚑
A: очень просто - модель/вопросы/ответы/метрики работают с гибкой структурой модальностей, что позволяет задавать вопрос и выдавать ответ в общем подготовленном формате. таким образом, задачи могут быть разделены на два типа (известная/скрытая для участников) и оцениваться в одном пайплайне
Q: Что за бред, как натренировать модель без данных не понимая, что она должна решать? 🚑
A: задача не простая - но в качестве доказательства концепта (POC) командой AIRI был сделан бейзлайн с помощью гипермодальной модели RuDOLPH, метрики на скрытых задачах получились далеко не нулевые 🚀
Оказалось, что можно:
- описывать задачи с помощью текстовой или картиночной модальностей
- использовать токены под заранее известные задачи, а с некоторой вероятностью во время обучения “скрывать” задачу, заменяя токен на “<UNK>”
- на инференсе скрытых задач использовать токен “<UNK>”, чтобы модель пыталась решать задачу zeroshot end2end
Q: Если команда AIRI все запилила, то зачем сорев? 💩
A: Далеко не все исследования были проведены. Если закинуть побольше известных задач и натюнить гиперпараметры, то это уже может значительно превзойти бейзлайн. Плюс необычная концепция соревнования на скрытых задачах может подтолкнуть исследователей мыслить в этом направлении
сорева/платформа: здесь
github/бейзлайн: здесь
@shonenkovAI
Telegram
Мишин Лернинг 🇺🇦
🦌🎄☃️ One Hyper-Modal Transformer can be
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero…
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero…
🕊38
Forwarded from AbstractDL
Kandinsky 2.0: перая мультиязычная диффузия! (by AIRI, SberAI, Сколтех)
Встречайте первую text2image модель для более чем 100 языков! Основано на архитектуре Latent Diffusion + несколько мультиязычных текстовых энкодеров (XLMR-clip, mT5). Код и веса уже доступны!
P.S. Я тоже в этом немного поучаствовал и даже написал статью на хабр 😊
Хабр, HuggingFace, GitHub, демо
Встречайте первую text2image модель для более чем 100 языков! Основано на архитектуре Latent Diffusion + несколько мультиязычных текстовых энкодеров (XLMR-clip, mT5). Код и веса уже доступны!
P.S. Я тоже в этом немного поучаствовал и даже написал статью на хабр 😊
Хабр, HuggingFace, GitHub, демо
🕊46
Forwarded from Мишин Лернинг
🚀 Долгожданный релиз — STABLE DIFFUSION 2
Что будет, если за создание опенсорс решения берутся профессионалы? А что если таких команд много? Представьте:
— LAION собирают 5,000,000,000 пар картинка-текст
— DeepFloyd берут LAION-5B и готовят чистый и роскошный сабсет для трейна
— Rom из LAION делает CLIP-ViT/H
— Robin Rombach из CompVis и StabilityAI собирает роскошный Text2Image — STABLE DIFFUSION 2
Но это еще не все! Встречайте целый зоопарк моделей:
👾 Stable Diffusion 2 base — 512x512
🚀 Stable Diffusion 2 — 768x768
✨ Stable Upscaler 4x
🎨 Stable Diffusion 2 Inpainting
👁 Stable Depth
☠️ Короче, можно смело выбрасывать на помойку всякий шлак) Пришла эпоха STABLE DIFFUSION 2! Генерируй в 768х768, Апскейль до 3072х3072! Делай 3D, Редактируй Инпеинтингом!
p.s.: Я просто боюсь представить, что там может быть дальше! Stability 🫦 ты секс!
🔮 Git настоящего OpenAI
@mishin learning
Что будет, если за создание опенсорс решения берутся профессионалы? А что если таких команд много? Представьте:
— LAION собирают 5,000,000,000 пар картинка-текст
— DeepFloyd берут LAION-5B и готовят чистый и роскошный сабсет для трейна
— Rom из LAION делает CLIP-ViT/H
— Robin Rombach из CompVis и StabilityAI собирает роскошный Text2Image — STABLE DIFFUSION 2
Но это еще не все! Встречайте целый зоопарк моделей:
👾 Stable Diffusion 2 base — 512x512
🚀 Stable Diffusion 2 — 768x768
✨ Stable Upscaler 4x
🎨 Stable Diffusion 2 Inpainting
👁 Stable Depth
☠️ Короче, можно смело выбрасывать на помойку всякий шлак) Пришла эпоха STABLE DIFFUSION 2! Генерируй в 768х768, Апскейль до 3072х3072! Делай 3D, Редактируй Инпеинтингом!
p.s.: Я просто боюсь представить, что там может быть дальше! Stability 🫦 ты секс!
🔮 Git настоящего OpenAI
@mishin learning
🕊32
AbstractDL
Kandinsky 2.0: перая мультиязычная диффузия! (by AIRI, SberAI, Сколтех) Встречайте первую text2image модель для более чем 100 языков! Основано на архитектуре Latent Diffusion + несколько мультиязычных текстовых энкодеров (XLMR-clip, mT5). Код и веса уже доступны!…
я не являюсь автором Kandinsky-Z (2.0) 😳
получил много поздравлений “с новым Kandinsky”, но я не принимал участия в разработке и тем более в релизе!
первое, что я увидел - это готовый пост у @abstractDL (мы когда-то работали вместе в AIRI) - решил поддержать ребят и сделать репост новости 🤝
они выкатили мультиязычную латент-диффузию с демкой, КОДОМ и ВЕСАМИ в открытый доступ, что большая редкость (спасибо closedAI и всем новым правовым законам AI этики 🤮)!
вот список реальных авторов (они есть и на Хабре):
@gradientdip @abstractDL @lovedeathtransformers @complete_ai @rybolos_channel @oulenspiegel_channel + еще несколько сильных разработчиков, которые не ведут каналы
на всякий случай приношу еще раз свои извинения авторам и читателям за то, что случилась такая подмена - наверное, это изза схожего названия, но повлиять ДО релиза возможности не представилось
Всем добра!
P.S. Я также поигрался с генерацией и инпейтингом нового Kandinsky - прикольно - кодовая база другая, но сделано все супер user-friendly, легко поднялось как на колабе, так и на моей железке. А за пару часов даже удалось состряпать концепт-арт (см выше). Но с лицами у модели все же есть нюансы (но это не точно).
@shonenkovAI
получил много поздравлений “с новым Kandinsky”, но я не принимал участия в разработке и тем более в релизе!
первое, что я увидел - это готовый пост у @abstractDL (мы когда-то работали вместе в AIRI) - решил поддержать ребят и сделать репост новости 🤝
они выкатили мультиязычную латент-диффузию с демкой, КОДОМ и ВЕСАМИ в открытый доступ, что большая редкость (спасибо closedAI и всем новым правовым законам AI этики 🤮)!
вот список реальных авторов (они есть и на Хабре):
@gradientdip @abstractDL @lovedeathtransformers @complete_ai @rybolos_channel @oulenspiegel_channel + еще несколько сильных разработчиков, которые не ведут каналы
на всякий случай приношу еще раз свои извинения авторам и читателям за то, что случилась такая подмена - наверное, это изза схожего названия, но повлиять ДО релиза возможности не представилось
Всем добра!
P.S. Я также поигрался с генерацией и инпейтингом нового Kandinsky - прикольно - кодовая база другая, но сделано все супер user-friendly, легко поднялось как на колабе, так и на моей железке. А за пару часов даже удалось состряпать концепт-арт (см выше). Но с лицами у модели все же есть нюансы (но это не точно).
@shonenkovAI
🕊50❤1☃1