Forwarded from Мишин Лернинг
🔥🥑 Новый DALL•E: «Imagen» от Google Brain не уступает DALL•E 2 и GLIDE
Наверное устройство DALL•E 2 знают все ваши друзья и родственники. Но давайте быстро повторим как работает DALL•E 2:
▪️Взяли GLIDE диффузию и зафайнтюнили его на парах [CLIP эмбединг, картинка], заменив текстовый энкодер, и назвали это unCLIP
▪️Теперь можно получать множество вариаций картинки, если прогнать ее через CLIP и обратно через unCLIP. Но как генерить картинку из текста?
▪️Для этого обучили Prior, который переводит эмбединг текста в эмбединг картинки
Что же представляет из себя Imagen?
▫️Imagen это каскад из text conditioned classifier-free guidance диффузий: сначала в 64, потом в 256, а потом в 1024pix
▫️В чем же разница с GLIDE? Подход напоминает скорее предка DALL•E 2 — GLIDE
▫️Разница в том, что они не учат text encoder, а используют замороженный T5-XXL. И это вся разница? Ну концептуально — да!
▫️ Плюс авторы предложили dynamic thresholding sampling и улучшили CNN, создав Efficient U-Net
📄 paper
🤖 project
Наверное устройство DALL•E 2 знают все ваши друзья и родственники. Но давайте быстро повторим как работает DALL•E 2:
▪️Взяли GLIDE диффузию и зафайнтюнили его на парах [CLIP эмбединг, картинка], заменив текстовый энкодер, и назвали это unCLIP
▪️Теперь можно получать множество вариаций картинки, если прогнать ее через CLIP и обратно через unCLIP. Но как генерить картинку из текста?
▪️Для этого обучили Prior, который переводит эмбединг текста в эмбединг картинки
Что же представляет из себя Imagen?
▫️Imagen это каскад из text conditioned classifier-free guidance диффузий: сначала в 64, потом в 256, а потом в 1024pix
▫️В чем же разница с GLIDE? Подход напоминает скорее предка DALL•E 2 — GLIDE
▫️Разница в том, что они не учат text encoder, а используют замороженный T5-XXL. И это вся разница? Ну концептуально — да!
▫️ Плюс авторы предложили dynamic thresholding sampling и улучшили CNN, создав Efficient U-Net
📄 paper
🤖 project
Forwarded from эйай ньюз
🔥Ахтунг! Google разбил DALLE-2, выпустив свою text-2-image дифузионную модель Imagen
Основная идея: Large Pretrained Language Model × Cascaded Diffusion Model. То есть, мощная большая предобученная текстовая модель это залог успеха в генерации фотореалистичных картинок по описанию.
В статье есть куча подробного анализа и сравнений.
https://gweb-research-imagen.appspot.com/
@Artem Gradient
Основная идея: Large Pretrained Language Model × Cascaded Diffusion Model. То есть, мощная большая предобученная текстовая модель это залог успеха в генерации фотореалистичных картинок по описанию.
В статье есть куча подробного анализа и сравнений.
https://gweb-research-imagen.appspot.com/
@Artem Gradient
Forwarded from [PYTHON:TODAY]
Forwarded from Open Source
FILM: Frame Interpolation for Large Motion
Нейросетевая модель для интерполяции кадров.
FILM превращает 2 или более фотографий в кадры с замедленным движением, которые выглядят так, как будто они сняты видеокамерой.
https://github.com/google-research/frame-interpolation
YouTube демонстрация: https://www.youtube.com/watch?v=OAD-BieIjH4
Нейросетевая модель для интерполяции кадров.
FILM превращает 2 или более фотографий в кадры с замедленным движением, которые выглядят так, как будто они сняты видеокамерой.
https://github.com/google-research/frame-interpolation
YouTube демонстрация: https://www.youtube.com/watch?v=OAD-BieIjH4
Forwarded from GitHub Community
Best-of-ML-Python – проект, который содержит список «потрясающих» библиотек для машинного обучения на Python
Все библиотеки ранжируются по рейтингу качества проекта и по звёздам GitHub, также списки обновляются не меньше раза в неделю.
GitHub | #Python #Interesting #ML #Archive #Useful
Все библиотеки ранжируются по рейтингу качества проекта и по звёздам GitHub, также списки обновляются не меньше раза в неделю.
GitHub | #Python #Interesting #ML #Archive #Useful
Forwarded from Open Source
DeepFaceLive
От создателей DeepFaceLab
Замена лица в режиме реального времени для потоковой передачи на ПК или видеозвонков.
Вы можете поменять свое лицо с веб-камеры или лицо в видео, используя обученные модели лица.
В приложении DeepFaceLive также есть модуль Face Animator. Вы можете управлять статическим изображением лица с помощью видео или собственного лица с камеры.
https://github.com/iperov/DeepFaceLive
От создателей DeepFaceLab
Замена лица в режиме реального времени для потоковой передачи на ПК или видеозвонков.
Вы можете поменять свое лицо с веб-камеры или лицо в видео, используя обученные модели лица.
В приложении DeepFaceLive также есть модуль Face Animator. Вы можете управлять статическим изображением лица с помощью видео или собственного лица с камеры.
https://github.com/iperov/DeepFaceLive
Forwarded from T.Hunter
#news Гугл втихаря запретил использовать вычислительные мощности своего Colab’a для создания дипфейков.
На этом облачном сервисе для работы с Python-кодом теперь не сделать ни обещающего крипту Маска, ни видео с бывшей подружкой. За счёт многоядерных процессоров Colab ещё недавно отлично подходил для натаскивания машинного интеллекта под дипфейки. Теперь же они на сервисе в одном ряду с майнингом крипты, взлом паролей, торрентами и прочей крамолой.
На фоне мошеннических схем и использования дипфейков в инфовойнах, новость неплохая. Алармисты-то и вовсе грозят, что через несколько лет они совсем поломают реальность и доверие в обществе. Ну, теперь с серверов Гугла дипфейки если и будут, то только одобренные сверху! Что может пойти не так…
@tomhunter
На этом облачном сервисе для работы с Python-кодом теперь не сделать ни обещающего крипту Маска, ни видео с бывшей подружкой. За счёт многоядерных процессоров Colab ещё недавно отлично подходил для натаскивания машинного интеллекта под дипфейки. Теперь же они на сервисе в одном ряду с майнингом крипты, взлом паролей, торрентами и прочей крамолой.
На фоне мошеннических схем и использования дипфейков в инфовойнах, новость неплохая. Алармисты-то и вовсе грозят, что через несколько лет они совсем поломают реальность и доверие в обществе. Ну, теперь с серверов Гугла дипфейки если и будут, то только одобренные сверху! Что может пойти не так…
@tomhunter
Forwarded from Мишин Лернинг
🌊 Лайфхак для промт-инжиниринга DALL•E и Imagen. Баба Люба получает отличные картинки, для этого достаточно при каждой генерации писать..
Дикий промт-инжиниринговый трюк, можно описать следующей формулой:
👉 “A ” + “very “*n + “beautiful painting of “ + your_prompt, где int n >= 0
Автор идеи решил сгенерировать водопад в горах, воспользовавшись формулой.
🐥 Первая картинка, n = 0: "A beautiful painting of a mountain next to a waterfall." Сеть прекрасно понимает описанное, но генерит скучное изображение без деталей.
🐱 Вторая картинка, n = 1: "A very beautiful painting of a mountain next to a waterfall." Сеть генерирует более насыщенное изображение и главное, что проявляются меткие детали гор, зелени, деревьев.
🧠 Третья картинка, n = 6: “A very very very very very very beautiful painting of a mountain next to a waterfall." Генерации очень красивы. Множество мелких деталей, объектов, отражений, эффектов погоды.
🤖 Четвертая картинка, n = 22: Ощущение такое, что выставили все настройки графики на ultra!
Дикий промт-инжиниринговый трюк, можно описать следующей формулой:
👉 “A ” + “very “*n + “beautiful painting of “ + your_prompt, где int n >= 0
Автор идеи решил сгенерировать водопад в горах, воспользовавшись формулой.
🐥 Первая картинка, n = 0: "A beautiful painting of a mountain next to a waterfall." Сеть прекрасно понимает описанное, но генерит скучное изображение без деталей.
🐱 Вторая картинка, n = 1: "A very beautiful painting of a mountain next to a waterfall." Сеть генерирует более насыщенное изображение и главное, что проявляются меткие детали гор, зелени, деревьев.
🧠 Третья картинка, n = 6: “A very very very very very very beautiful painting of a mountain next to a waterfall." Генерации очень красивы. Множество мелких деталей, объектов, отражений, эффектов погоды.
🤖 Четвертая картинка, n = 22: Ощущение такое, что выставили все настройки графики на ultra!