Forwarded from тоже моушн
This media is not supported in your browser
VIEW IN TELEGRAM
свершилось! теперь Lucid Sonic Dreams и StyleGAN3 дружат в этом колабе. все очень доступно и просто - подаешь на вход музыку, выбираешь модель для генерации и на выходе получаешь музыкальное видео.
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
🔥WebGPT: теперь GPT-3 умеет гуглить лучше тебя
В OpenAI зафайнтюнили GPT-3 отвечать на вопросы, пользуясь поиском Bing, а получившиеся при этом ответы оказались качественнее, чем у людей.
Сначала они разработали простенький текстовый браузер, которым могла бы пользоваться GPT — там есть основные команды типа: кликнуть на ссылку, поскроллить, найти слово на странице, скопировать фрагмент и тд. Далее они при помощи людей собрали датасет из 6000 примеров использования этого браузера и дообучили на нём GPT-3 (language modeling). Затем они нагенерили этой же моделью датасет из 25к вопросов и вручную разметили их качество. На этой разметке они обучили ранжировщик ответов и использовали его для дальнейшей фильтрации.
В итоге, судя по human evaluations на датасете ELI5, людям чаще нравятся ответы нейронки, чем своих собратьев 💁♂️
P.S. На гифке пример того, как гуглит эта модель, отвечая на вопрос «How do neural networks work?»
Статья, блог
В OpenAI зафайнтюнили GPT-3 отвечать на вопросы, пользуясь поиском Bing, а получившиеся при этом ответы оказались качественнее, чем у людей.
Сначала они разработали простенький текстовый браузер, которым могла бы пользоваться GPT — там есть основные команды типа: кликнуть на ссылку, поскроллить, найти слово на странице, скопировать фрагмент и тд. Далее они при помощи людей собрали датасет из 6000 примеров использования этого браузера и дообучили на нём GPT-3 (language modeling). Затем они нагенерили этой же моделью датасет из 25к вопросов и вручную разметили их качество. На этой разметке они обучили ранжировщик ответов и использовали его для дальнейшей фильтрации.
В итоге, судя по human evaluations на датасете ELI5, людям чаще нравятся ответы нейронки, чем своих собратьев 💁♂️
P.S. На гифке пример того, как гуглит эта модель, отвечая на вопрос «How do neural networks work?»
Статья, блог
Forwarded from Love. Death. Transformers.
#arcanegan v0.4 превращает Илона в самого стильного суперзлодея, которого я когда-либо видел.
Feet pics we need, but do not deserve. CLIP guided Diffusion by @nshepperd1
Результат по запросу "🍇👣"
Результат по запросу "🍇👣"
Forwarded from STACK MORE LAYERS (Alexander Mamaev)
📉TermPlotlib📈
Кстати, вчера нашел полезную библиотечку, которая может выручить в некоторых ситуациях.
Бывает так, что решил почитать какие-то json или csv на сервере, но при этом лень запускать юпитер, поэтому я просто юзаю IPython консоль.
Все хорошо до того момента, пока не нужно нарисовать какой-то график, например bar-plot распределения классов.
Тут выручит эта библиотечка, которая позволяет отрисовывать графики с помощью gnu plot в ASCII формате!
https://github.com/nschloe/termplotlib
+ Бонус, такие графики удобно отправлять в личку в телеге.
Кстати, вчера нашел полезную библиотечку, которая может выручить в некоторых ситуациях.
Бывает так, что решил почитать какие-то json или csv на сервере, но при этом лень запускать юпитер, поэтому я просто юзаю IPython консоль.
Все хорошо до того момента, пока не нужно нарисовать какой-то график, например bar-plot распределения классов.
Тут выручит эта библиотечка, которая позволяет отрисовывать графики с помощью gnu plot в ASCII формате!
https://github.com/nschloe/termplotlib
+ Бонус, такие графики удобно отправлять в личку в телеге.
Cats [ 3] ████████████
Dogs [10] ████████████████████████████████████████
Cows [ 5] ████████████████████
Geese [ 2] ████████
GitHub
GitHub - nschloe/termplotlib: :chart_with_upwards_trend: Plotting on the command line
:chart_with_upwards_trend: Plotting on the command line - nschloe/termplotlib
OpenAI выложили код и урезанную модель для GLIDE - своего ответа своему же DALL-E.
В отличие от полноценного GLIDE из публикации, публичная версия обучалась на отфильтрованном датасете. Видимо, чтобы исключить генерацию всякого непристойного или закопирайченного контента.
Бумага
Код
В отличие от полноценного GLIDE из публикации, публичная версия обучалась на отфильтрованном датасете. Видимо, чтобы исключить генерацию всякого непристойного или закопирайченного контента.
Бумага
Код
GitHub
GitHub - openai/glide-text2im: GLIDE: a diffusion-based text-conditional image synthesis model
GLIDE: a diffusion-based text-conditional image synthesis model - openai/glide-text2im
👍1
Forwarded from Мишин Лернинг
🎲 OpenAI создали и выложили конкурента DALL-E | GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
Ни для кого не секрет, что диффузионные модели генерируют высококачественные синтетические изображения, особенно в сочетании с CLIP.
Ресерчеры начали прикручивать CLIP к Diffusion уже давно, но тут за дело (Diffusion по текстовому описанию) взялись ребята из OpenAI!
Результат — просто топ! И для синтеза, и для изменения изображений!
Кроме топовой 3.5B модели, OpenAI выложили модель поменьше в открытый доступ! Уже сделал колаб..
📰 Paper 💻 Code
🔮 Colab GLIDE OpenAI от Мишин Лернинг
Ни для кого не секрет, что диффузионные модели генерируют высококачественные синтетические изображения, особенно в сочетании с CLIP.
Ресерчеры начали прикручивать CLIP к Diffusion уже давно, но тут за дело (Diffusion по текстовому описанию) взялись ребята из OpenAI!
Результат — просто топ! И для синтеза, и для изменения изображений!
Кроме топовой 3.5B модели, OpenAI выложили модель поменьше в открытый доступ! Уже сделал колаб..
📰 Paper 💻 Code
🔮 Colab GLIDE OpenAI от Мишин Лернинг
ArcaneGAN - топ-1 в трендинге huggingface.co
Спасибо соотечественникам :D
Сейчас ажиотаж немного спал, но в пике очереди доходили до 10к человек.
Спасибо соотечественникам :D
Сейчас ажиотаж немного спал, но в пике очереди доходили до 10к человек.
Тут недавно выложили целый зоопарк из Latent Diffusion Models для различных задач, от Text Conditional Image Synthesis до Super Resolution.
Я могу сказать, что результаты работы CLIP guided diffusion они апскейлят гораздо лучше, чем делает тот же RealESR-GAN, топаз, и иже с ними.
Результат, как говорится, на лицо.
Код
Колаб для апскейла
Я могу сказать, что результаты работы CLIP guided diffusion они апскейлят гораздо лучше, чем делает тот же RealESR-GAN, топаз, и иже с ними.
Результат, как говорится, на лицо.
Код
Колаб для апскейла
Forwarded from Denis Sexy IT 🤖
Когда нейронка пытается сгенерировать трансформеров 🌚
Автор | Сделано с помощью ruDalle, в этом колабе (да, теперь можно делать длинные картинки)
Автор | Сделано с помощью ruDalle, в этом колабе (да, теперь можно делать длинные картинки)
Forwarded from ExMuffin
✍️ NeuralCorrector v.1.0 🦦
Вчера появилась новая нейронка GLIDE от OpenAI, которая помимо уже привычной генерации картинок из текстовых описаний умела дорисовывать объекты на изображение, которое мы подадим. Нужно просто маской указать где хочется добавить объект и все. Но требовать от пользователей заранее готовить картинку с этой маской мне не хотелось, поэтому я прямо в колаб добавил рисовалку, которой нужно будет закрашивать изменяемую область. Плюс встроенный переводчик для тех, кто привык писать запросы на родном языке. Ну и учитывая то, что на выходе мы получаем изображение 256х256, я добавил свежий алгоритм апскейла на диффьюзивных моделях. Инструмент очень сырой, поэтому если объект не добавится, нужно перезапустить блок с генерацией.
P.S. На фото «мужчина и пирог на столе»
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralCorrector.ipynb
Вчера появилась новая нейронка GLIDE от OpenAI, которая помимо уже привычной генерации картинок из текстовых описаний умела дорисовывать объекты на изображение, которое мы подадим. Нужно просто маской указать где хочется добавить объект и все. Но требовать от пользователей заранее готовить картинку с этой маской мне не хотелось, поэтому я прямо в колаб добавил рисовалку, которой нужно будет закрашивать изменяемую область. Плюс встроенный переводчик для тех, кто привык писать запросы на родном языке. Ну и учитывая то, что на выходе мы получаем изображение 256х256, я добавил свежий алгоритм апскейла на диффьюзивных моделях. Инструмент очень сырой, поэтому если объект не добавится, нужно перезапустить блок с генерацией.
P.S. На фото «мужчина и пирог на столе»
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralCorrector.ipynb
Forwarded from Мишин Лернинг
💖🎓 StyleSwin: Transformer-based GAN for High-resolution Image Generation | Microsoft не отстает!
Все мы помним, любим, скорбим и даже … на NVIDIA StyleGAN 1-2-ada-3, и это нормально!
StyleGAN зарекомендовал себя как топовая генеративная модель, способная, за «относительно» небольшие деньги и «относительно» небольшой датасет, обучиться генерировать очень качественные и реалистичные изображения!
Архитектуры StyleGAN базировались на сверхточных генераторах и дискриминаторах. Конечно были попытки, обучить TransGAN (на трансформерах), но увы, резолюшен был не очень. Зато мы получили важный опыт: нужны трюки с постепенным увеличением attention window для стабильности и ускорения обучения.
А кто у нас такой оконный и классный среди Трансформеров? - SWIN!
С сегодняшнего дня объявлена эпоха NEXT GEN для GAN’ов! Свертка мертва, Да здравствует Трансформер!
p.s.: Андрей, спасибо за новость!
📰 paper 💻 code (весов пока нет)
Все мы помним, любим, скорбим и даже … на NVIDIA StyleGAN 1-2-ada-3, и это нормально!
StyleGAN зарекомендовал себя как топовая генеративная модель, способная, за «относительно» небольшие деньги и «относительно» небольшой датасет, обучиться генерировать очень качественные и реалистичные изображения!
Архитектуры StyleGAN базировались на сверхточных генераторах и дискриминаторах. Конечно были попытки, обучить TransGAN (на трансформерах), но увы, резолюшен был не очень. Зато мы получили важный опыт: нужны трюки с постепенным увеличением attention window для стабильности и ускорения обучения.
А кто у нас такой оконный и классный среди Трансформеров? - SWIN!
С сегодняшнего дня объявлена эпоха NEXT GEN для GAN’ов! Свертка мертва, Да здравствует Трансформер!
p.s.: Андрей, спасибо за новость!
📰 paper 💻 code (весов пока нет)
👍1