Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Привет, друзья! Каждому в хозяйстве метаверсе нужна хорошая сетка для удаления бэкграунда.
U-2-Net, кажется, одна из расхайпованых* сетей, которая удаляет фон, и ещё в неплохой image-2-image транслейшен умеет. Эта моделька разлетелась по куче приложений не просто так.
Есть код и веса на гитабе. Там же куча ссылок на всевозможные приложения, использующие U-2-NET.
* 5.7к звёзд на гитабе.
@Artem Gradient
U-2-Net, кажется, одна из расхайпованых* сетей, которая удаляет фон, и ещё в неплохой image-2-image транслейшен умеет. Эта моделька разлетелась по куче приложений не просто так.
Есть код и веса на гитабе. Там же куча ссылок на всевозможные приложения, использующие U-2-NET.
* 5.7к звёзд на гитабе.
@Artem Gradient
Forwarded from Cyber Detective
Deep Face Live
Real-time face swap for streaming and video calls
(use and set-up requires considerable effort as well as a lot of free time)
https://github.com/iperov/DeepFaceLive
#python #deepfake #onnx #opensource
Real-time face swap for streaming and video calls
(use and set-up requires considerable effort as well as a lot of free time)
https://github.com/iperov/DeepFaceLive
#python #deepfake #onnx #opensource
Forwarded from ̶с̶а̶м̶̶о̶изолента мёбиуса
Год назад я выложил пост про rubert-tiny, миниатюрный энкодер предложений для русского языка.
В комменты пришёл @snakers4 и справедливо придрался, что я не сравнил свою модель с очевидными бейзлайнами: FastText, USE, Laser.
Спустя полгода я прокачал модель до rubert-tiny2 и сравнил ещё с кучей бейзлайнов.
А сейчас у меня наконец дошли руки накатать про это пост: Рейтинг русскоязычных энкодеров предложений.
TL;DR: если в вашем sentence encoder'е важно только качество на разнообразных задачах, юзайте USE, если очень важна скорость – FastText. Моя rubert-tiny2 – между ними; остальные модели проигрывают по качеству или скорости этим трём.
В комменты пришёл @snakers4 и справедливо придрался, что я не сравнил свою модель с очевидными бейзлайнами: FastText, USE, Laser.
Спустя полгода я прокачал модель до rubert-tiny2 и сравнил ещё с кучей бейзлайнов.
А сейчас у меня наконец дошли руки накатать про это пост: Рейтинг русскоязычных энкодеров предложений.
TL;DR: если в вашем sentence encoder'е важно только качество на разнообразных задачах, юзайте USE, если очень важна скорость – FastText. Моя rubert-tiny2 – между ними; остальные модели проигрывают по качеству или скорости этим трём.
Forwarded from Derp Learning
Forwarded from Open Source
DALL·E Mini
Это модель искусственного интеллекта, которая генерирует изображения по любому вашему запросу
https://github.com/borisdayma/dalle-mini
Тестировать онлайн: https://huggingface.co/spaces/dalle-mini/dalle-mini
Это модель искусственного интеллекта, которая генерирует изображения по любому вашему запросу
https://github.com/borisdayma/dalle-mini
Тестировать онлайн: https://huggingface.co/spaces/dalle-mini/dalle-mini
Forwarded from Мишин Лернинг
This media is not supported in your browser
VIEW IN TELEGRAM
🗽 NVIDIA Создала 3D StyleGAN — EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks
EG3D — нестоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.
Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.
После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.
StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.
EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!
Как же чудесно будущее 3D графики!
💻 Code
🖥 Project
📄 Paper
🎥 YouTube
@мишин_лернинг
EG3D — нестоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.
Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.
После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.
StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.
EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!
Как же чудесно будущее 3D графики!
💻 Code
🖥 Project
📄 Paper
🎥 YouTube
@мишин_лернинг
Forwarded from Библиотека разведчика | Osint | Книги | Курсы
Telegram
Старт в аналитике (2021)
Данные — это новая нефть. Узнаете, какие навыки нужны для старта в аналитике и Data Science. Научитесь пользоваться Excel, SQL, Power BI, Google Data Studio для работы с данными и напишете первый код на языке Python. Узнаете как войти в эту сферу работы.
Forwarded from эйай ньюз
Кстати, видео, где Яник описывает свою поделку (gpt-4chan), довольно развлекательное. Очень советую, если вы ещё не видели.
https://youtu.be/efPrtcLdcdM
https://youtu.be/efPrtcLdcdM
YouTube
GPT-4chan: This is the worst AI ever
#gpt4chan #4chan #ai
GPT-4chan was trained on over 3 years of posts from 4chan's "politically incorrect" (/pol/) board.
(and no, this is not GPT-4)
EXTRA VIDEO HERE: https://www.youtube.com/watch?v=dQw4w9WgXcQ
Website (try the model here): https://gpt…
GPT-4chan was trained on over 3 years of posts from 4chan's "politically incorrect" (/pol/) board.
(and no, this is not GPT-4)
EXTRA VIDEO HERE: https://www.youtube.com/watch?v=dQw4w9WgXcQ
Website (try the model here): https://gpt…
Forwarded from Russian OSINT
This media is not supported in your browser
VIEW IN TELEGRAM
Iperov, автор популярного проекта DeepFaceLab по созданию дипфейков опубликовал новый инструмент у себя на GitHub под названием DeepFaceLive, который позволяет создавать дипфейки с возможностью подмены лица в 🎥реальном времени.
🎭Использоваться может для пранков и розыгрышей например в Steam или Skype.
Выглядит впечатляюще👍узнали Киану?
https://github.com/iperov/DeepFaceLive
🎭Использоваться может для пранков и розыгрышей например в Steam или Skype.
Выглядит впечатляюще👍узнали Киану?
https://github.com/iperov/DeepFaceLive
Forwarded from DL in NLP (Vlad Lialin)
Techniques for Training Large Neural Networks
Блогпост от OpenAI с разбором основных способов параллелизации.
Data Parallel (DP) — держать полную копию сети на каждой карточке, обрабатывать несколько батчей параллельно. Проблема в том, что ты можешь упереться в то что даже batch size = 1 перестаёт помещаться в одну карточку.
Pipeline Parallel (PP) — распилить нейросеть послойно (т.е. вертикально) и держать её на разных карточках. При наивной имплементации работает очень неэффективно. Представьте себе что у вас 10 слойная сеть и вы держите по 1 слою на каждой карточке, если вы просто выполняете forward и backward одного батча на них, то в каждый момент времени у вас 9 видеокарт простаивают. Если нарисовать картинку то у вас есть некий "bubble of idle time". Для того, чтобы этого избежать, можно распилить наш минибатч на микробатчи и начать делать forward pass следующего микробатча (MPS) ещё до того как forward текущего микробатча досчитался. Отсюда и название — pipeline parallel (PP).
Tensor Parallel (TP) — альтернативный способ разделения сети на несколько GPU. Если PP разделяет сетку вертикально, то TP делает это горизонтально. То есть ваши тензоры параметров и активаций теперь могут быть попилены на несколько GPU и одно матричное умножение может считаться на нескольких GPU одновременно. Понятно, что такой подход сильно увеличивает требования по скорости коммуникации между GPU, но при эффективной имплементации (и infiniband + nvlink) это не так медленно как кажется.
Mixture of Experts (MoE) — мы уже рассказывали про MoE, идея состоит в том чтобы вместо одного FCN после attention использовать несколько FCN-экспертов (например 128) и использовать только часть из них (например 4) при каждом forward pass. Для того чтобы выбрать эти 4, добавляется специальный router-слой, который по сути считает attention между экспертами и hidden. Так как на каждом проходе используется только малая часть экспертов можно добиться огромного числа параметров в нейросети. Именно это используют все сетки в 1 триллион и более параметров.
Ещё в статье очень вскользь упомянули ZeRo, который имплементирован в DeepSpeed, которы сейчас становится всё более и более популярен во многом благодаря тому что он позволяет тренировать довольно большие модели (вплоть до 10-20B) в почти DataParallel режиме с помощью разделения на несколько GPU стейта оптимизатора (Stage 1) и рассчёта градиентов (Stage 2). Также есть Stage 3, который по сути tensor parallel, да и практически все остальные способы параллелизации.
Кроме этого, все эти методы можно комбинировать. Например BLOOM от BigScience (176B) тренируется с DP=8, PP=12 (MPS 2), TP=4. Для всего этого используется чуть-чуть модифицированный DeepSpeed.
Сам блогпост даёт неплохое введение в методы параллелизации, и там куча ссылок на релевантные статьи и имплементации, но честно ожидал увидеть в нём что-то большее, тк OpenAI все-таки первопроходцы в этой области. В качестве продолжения (или даже вместо) я бы предложил почитать How To Fit a Bigger Model и Model Parallelism от HuggingFace, они тоже делают отличное введение в эти методы и на мой вкус более техничны.
Блогпост от OpenAI с разбором основных способов параллелизации.
Data Parallel (DP) — держать полную копию сети на каждой карточке, обрабатывать несколько батчей параллельно. Проблема в том, что ты можешь упереться в то что даже batch size = 1 перестаёт помещаться в одну карточку.
Pipeline Parallel (PP) — распилить нейросеть послойно (т.е. вертикально) и держать её на разных карточках. При наивной имплементации работает очень неэффективно. Представьте себе что у вас 10 слойная сеть и вы держите по 1 слою на каждой карточке, если вы просто выполняете forward и backward одного батча на них, то в каждый момент времени у вас 9 видеокарт простаивают. Если нарисовать картинку то у вас есть некий "bubble of idle time". Для того, чтобы этого избежать, можно распилить наш минибатч на микробатчи и начать делать forward pass следующего микробатча (MPS) ещё до того как forward текущего микробатча досчитался. Отсюда и название — pipeline parallel (PP).
Tensor Parallel (TP) — альтернативный способ разделения сети на несколько GPU. Если PP разделяет сетку вертикально, то TP делает это горизонтально. То есть ваши тензоры параметров и активаций теперь могут быть попилены на несколько GPU и одно матричное умножение может считаться на нескольких GPU одновременно. Понятно, что такой подход сильно увеличивает требования по скорости коммуникации между GPU, но при эффективной имплементации (и infiniband + nvlink) это не так медленно как кажется.
Mixture of Experts (MoE) — мы уже рассказывали про MoE, идея состоит в том чтобы вместо одного FCN после attention использовать несколько FCN-экспертов (например 128) и использовать только часть из них (например 4) при каждом forward pass. Для того чтобы выбрать эти 4, добавляется специальный router-слой, который по сути считает attention между экспертами и hidden. Так как на каждом проходе используется только малая часть экспертов можно добиться огромного числа параметров в нейросети. Именно это используют все сетки в 1 триллион и более параметров.
Ещё в статье очень вскользь упомянули ZeRo, который имплементирован в DeepSpeed, которы сейчас становится всё более и более популярен во многом благодаря тому что он позволяет тренировать довольно большие модели (вплоть до 10-20B) в почти DataParallel режиме с помощью разделения на несколько GPU стейта оптимизатора (Stage 1) и рассчёта градиентов (Stage 2). Также есть Stage 3, который по сути tensor parallel, да и практически все остальные способы параллелизации.
Кроме этого, все эти методы можно комбинировать. Например BLOOM от BigScience (176B) тренируется с DP=8, PP=12 (MPS 2), TP=4. Для всего этого используется чуть-чуть модифицированный DeepSpeed.
Сам блогпост даёт неплохое введение в методы параллелизации, и там куча ссылок на релевантные статьи и имплементации, но честно ожидал увидеть в нём что-то большее, тк OpenAI все-таки первопроходцы в этой области. В качестве продолжения (или даже вместо) я бы предложил почитать How To Fit a Bigger Model и Model Parallelism от HuggingFace, они тоже делают отличное введение в эти методы и на мой вкус более техничны.
OpenAI
Techniques for training large neural networks
Large neural networks are at the core of many recent advances in AI, but training them is a difficult engineering and research challenge which requires orchestrating a cluster of GPUs to perform a single synchronized calculation.
Forwarded from OSINT | Информационная разведка | Информационная безопасность
Незаметно прошла новость, о том, что платформа Google Colab предоставляющая площадку для создания DeepFake-ов, в конце мая запретила это делать. Тем не менее, если вы очень хотите похулиганить, то для создания HQ-фейка понадобится немого освоить Adobe After Effects + Mocha Pro (в последней версии он особенно хорош). Шалунов которые любят онлайн, рекомендую обратить внимание на детище SnapChat Lens Studio, реалистичность измененных лиц в режиме onlyfans ... тьфу.... online впечатляет. Для любителей особых извращений можно использовать https://github.com/iperov/DeepFaceLive, но как и все наработки классического клуба "DeepFace", этот продукт страдает качеством детализации подделки. Хотя DF с молодым Торетто выглядит неплохо https://vimeo.com/648449101