Forwarded from Мишин Лернинг
🦌🎄One Hyper-Modal Transformer can be
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero-Shot способностями CLIP.
👀 см картинки к посту
Гипермодальный RuDolph может:
▪️ Генерировать текст
▪️ Генерировать изображения по тексту
▪️ «Проявлять» диффузией в высоком качестве и разрешении сгенерированные изображения
▪️ Изменять (inpainting) изображения по описанию
▪️ Генерировать текстовые описания для изображений
▪️ Быть Feature Extractor’ом для few-shot и linear probe классификации
▪️ Ранжировать изображения по текстовому описанию
▪️ Классифицировать изображения в режиме Zero-Shot
💻 Git Код + Веса
📰 Paper [soon]
🦌 HF demo (только 4 картинки)
🤗 Model Card
🔮 Colab со всеми возможностями
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero-Shot способностями CLIP.
👀 см картинки к посту
Гипермодальный RuDolph может:
▪️ Генерировать текст
▪️ Генерировать изображения по тексту
▪️ «Проявлять» диффузией в высоком качестве и разрешении сгенерированные изображения
▪️ Изменять (inpainting) изображения по описанию
▪️ Генерировать текстовые описания для изображений
▪️ Быть Feature Extractor’ом для few-shot и linear probe классификации
▪️ Ранжировать изображения по текстовому описанию
▪️ Классифицировать изображения в режиме Zero-Shot
💻 Git Код + Веса
📰 Paper [soon]
🦌 HF demo (только 4 картинки)
🤗 Model Card
🔮 Colab со всеми возможностями
👍5🔥4🎉1
Тем временем выложили код для НЮШИ
из этого поста.
Обученной модели пока нет.
Что характерно, это неофициальная имплементация.
из этого поста.
Обученной модели пока нет.
Что характерно, это неофициальная имплементация.
👍14
Forwarded from Love. Death. Transformers.
Оу вау, тут диппавлов выложили в опен сурс свою архитектуру ботов DREAM
блог
блог
This media is not supported in your browser
VIEW IN TELEGRAM
NeROIC - визуализация 3д-объектов из набора фотографий.
Там snapchat опубликовали очередную вариацию NeRF, в которой, судя по описанию, собрано все, что можно.
Работает примерно так:
- определение положения камер на фото,
- сегментация главных объектов,
- итеративная генерация геометрии и уточнение положения камер (NeRF),
- генерация привычных для 3д-рендеринга карт albedo, specular, glossiness, normal
С помощью карт стало возможным сохранить мелкие детали и улучшить освещение при генерации новых кадров.
Судя по примерам, подход работает даже для фото, сделанных разными камерами, в разное время (то есть для фотограмметрии не нужно ехать и фоткать предмет, достаточно удачно загуглить)
Звучит круто, но кода я бы все-таки подождал.
Подробнее
Доклад
Видео
Там snapchat опубликовали очередную вариацию NeRF, в которой, судя по описанию, собрано все, что можно.
Работает примерно так:
- определение положения камер на фото,
- сегментация главных объектов,
- итеративная генерация геометрии и уточнение положения камер (NeRF),
- генерация привычных для 3д-рендеринга карт albedo, specular, glossiness, normal
С помощью карт стало возможным сохранить мелкие детали и улучшить освещение при генерации новых кадров.
Судя по примерам, подход работает даже для фото, сделанных разными камерами, в разное время (то есть для фотограмметрии не нужно ехать и фоткать предмет, достаточно удачно загуглить)
Звучит круто, но кода я бы все-таки подождал.
Подробнее
Доклад
Видео
👍13
Forwarded from Neural Shit
Обожаю такое. Там у чувака в твиттер-треде ещё куча примеров таких слов
👍2
Forwarded from Denis Sexy IT 🤖
Ночью лазил в интернете вместо сна и буквально офигел — знаки зодиака не имеют никакого смысла буквально, а не просто потому что они глупая фигня.
Знаки были созданы 3000 лет назад, с тех пор, из-за процесса прецессии (о ней ниже), созвездия изменили своё местоположение на небе, поэтому у каждого из нас знак зодиака, скорее всего, неправильный.
Как пишет один из профессоров астрономии, он родился под знаком Козерога, но когда он родился, Солнце находилось в середине Стрельца. В астрологии считается, что каждый знак зодиака занимает 30-градусный участок неба, который, если умножить на 12, даст 360 градусов.
На самом деле созвездия сильно различаются по форме и размеру. Например, через созвездие Скорпиона Солнце проходит всего за 5 дней, а через Тельца — за 38. Это одна из причин почему астрологические знаки не совпадают с созвездиями.
Главная же причина — это колебание оси вращения Земли (прецессия), она изменяет вид зодиака с Земли, в результате этого созвездия смещаются к востоку на один градус за жизнь человека. В древние времена весеннее равноденствие находилось в Овне, из-за прецессии оно переместилось в Рыбы около 100 года до н. э., где и находится сейчас и будет находиться до 2700 года, когда переместится в Водолей и т. д. В течение 25 800 лет день весеннего равноденствия вернется в Овен и цикл начнётся снова. В общем, чтобы определить ваш знак зодиака нужна вся инфа, вплоть до координат роддома 🌚
На видео пример той самой прецессии.
Короче, знаки зодиака просто не имеют смысла, я подозревал, но как-то не вчитывался почему 🔙
Знаки были созданы 3000 лет назад, с тех пор, из-за процесса прецессии (о ней ниже), созвездия изменили своё местоположение на небе, поэтому у каждого из нас знак зодиака, скорее всего, неправильный.
Как пишет один из профессоров астрономии, он родился под знаком Козерога, но когда он родился, Солнце находилось в середине Стрельца. В астрологии считается, что каждый знак зодиака занимает 30-градусный участок неба, который, если умножить на 12, даст 360 градусов.
На самом деле созвездия сильно различаются по форме и размеру. Например, через созвездие Скорпиона Солнце проходит всего за 5 дней, а через Тельца — за 38. Это одна из причин почему астрологические знаки не совпадают с созвездиями.
Главная же причина — это колебание оси вращения Земли (прецессия), она изменяет вид зодиака с Земли, в результате этого созвездия смещаются к востоку на один градус за жизнь человека. В древние времена весеннее равноденствие находилось в Овне, из-за прецессии оно переместилось в Рыбы около 100 года до н. э., где и находится сейчас и будет находиться до 2700 года, когда переместится в Водолей и т. д. В течение 25 800 лет день весеннего равноденствия вернется в Овен и цикл начнётся снова. В общем, чтобы определить ваш знак зодиака нужна вся инфа, вплоть до координат роддома 🌚
На видео пример той самой прецессии.
Короче, знаки зодиака просто не имеют смысла, я подозревал, но как-то не вчитывался почему 🔙
типичный рак ♋️👍17😁6😱2
This media is not supported in your browser
VIEW IN TELEGRAM
SeamlessGAN - модель для генерации бесшовных текстур
Фотостоки, настал и ваш черед идти на пенсию :D (как только выложат код и модели)
Подробнее
Публикация
Фотостоки, настал и ваш черед идти на пенсию :D (как только выложат код и модели)
Подробнее
Публикация
👍21👎1
Думаю, все уже так или иначе слышали о wordle - простой, но затягивающей игре по угадыванию слов.
Твиттор не дремлет, и не так давно там выложили целый bash-скрипт для максимально эффективной игры.
Вряд ли он пригодится большинству, а вот график наиболее полезных стартовых слов - вполне.
Источник
Wordle
Wordle (ru)
Твиттор не дремлет, и не так давно там выложили целый bash-скрипт для максимально эффективной игры.
Вряд ли он пригодится большинству, а вот график наиболее полезных стартовых слов - вполне.
Источник
Wordle
Wordle (ru)
👍3
Forwarded from тоже моушн
This media is not supported in your browser
VIEW IN TELEGRAM
отличная новость: появились два инструмента для автоматизации создания ключей, которые можно использовать в колабах Zooming VQGAN+CLIP и Disco Diffusion. первый позволяет рисовать и редактировать кривую в удобном интерфейсе, а второй генерирует ключи из музыкального файла, плюс в нем можно писать стандартные выражения типа синусов косинусов. в прошлый раз все ключи я прописывал вручную, теперь возможностей гораздо больше)
на видео - абстракция в стиле Кандинского под музыку
keyframe string generator
audio keyframe generator
твиттер Chigozie Nri
на видео - абстракция в стиле Кандинского под музыку
keyframe string generator
audio keyframe generator
твиттер Chigozie Nri
❤7👍3
"Variations of surreal 8-bit styled oil painting by Christopher Zetterstrand #surrealism #pixelart #fineart, tintype 1970s" by Flamin
CLIP guided diffusion
Колаб
Колаб для видео (disco diffusion)
CLIP guided diffusion
Колаб
Колаб для видео (disco diffusion)
👍6🔥3
Forwarded from DLStories
А вот и применение AlphaFold подъехало: в тот же самый день, когда ВОЗ окрестила новый штамм covid-19 "Омикроном" и были начаты исследования его генома, ученый Колби Форд из университета Северной Каролины завел AlphaFold на последовательности аминокислот этого вируса и опубликовал результаты в сети.
В публикации Форд поделился предсказанной с помощью AlphaFold формой белка вируса, а также своими соображениями насчет того, что Омикрон должен быть более устойчив ко многим известным лекарствам и вакцинам. Предсказания оказались на удивление верными: позиции центральных атомов в предсказанной AlphaFold модели отличались от настоящих на ~пол ангстрема (это примерно радиус атома водорода). Предсказания насчет устойчивости Омикрона к многим антителам, как мы уже знаем, также оказались верны.
Ученый провел эксперименты и выложил статью до того, как были полученные первые лабораторные результаты по Омикрону. Похоже, что у технологий вроде AlphaFold действительно есть большой потенциал помощи человечеству: особенно в тех случаях, когда исследование вируса занимает много времени.
Ссылки:
Статья на bioRxiv
Статья Wired
А вот еще свежие применения AI для борьбы с вирусами:
- BioNTech совместно с InstaDeep разработали AI для предсказания потенциально опасных мутаций covid-19. Тест показал, что система успешно предсказывает ближайшие мутации и уровень их угрозы для человека;
- В России представили AI-алгоритм BiteNet для поиска новых противовирусных препаратов. Модель анализирует РНК- и ДНК-структуры вирусов и находит в них уязвимые места, на которые могут потенциально воздействовать новые лекарства.
- В Швейцарии разработали AI-алгоритм для определения уровня устойчивости бактерий к различным антибиотикам. Также модель помогает находить уязвимости бактерий, на основе которых могут быть разработаны новые лекарства.
В публикации Форд поделился предсказанной с помощью AlphaFold формой белка вируса, а также своими соображениями насчет того, что Омикрон должен быть более устойчив ко многим известным лекарствам и вакцинам. Предсказания оказались на удивление верными: позиции центральных атомов в предсказанной AlphaFold модели отличались от настоящих на ~пол ангстрема (это примерно радиус атома водорода). Предсказания насчет устойчивости Омикрона к многим антителам, как мы уже знаем, также оказались верны.
Ученый провел эксперименты и выложил статью до того, как были полученные первые лабораторные результаты по Омикрону. Похоже, что у технологий вроде AlphaFold действительно есть большой потенциал помощи человечеству: особенно в тех случаях, когда исследование вируса занимает много времени.
Ссылки:
Статья на bioRxiv
Статья Wired
А вот еще свежие применения AI для борьбы с вирусами:
- BioNTech совместно с InstaDeep разработали AI для предсказания потенциально опасных мутаций covid-19. Тест показал, что система успешно предсказывает ближайшие мутации и уровень их угрозы для человека;
- В России представили AI-алгоритм BiteNet для поиска новых противовирусных препаратов. Модель анализирует РНК- и ДНК-структуры вирусов и находит в них уязвимые места, на которые могут потенциально воздействовать новые лекарства.
- В Швейцарии разработали AI-алгоритм для определения уровня устойчивости бактерий к различным антибиотикам. Также модель помогает находить уязвимости бактерий, на основе которых могут быть разработаны новые лекарства.
👍14
This media is not supported in your browser
VIEW IN TELEGRAM
Тестил стиль Арчера на видео, получился Бордерлендс 🤣🤷♀️
👍10
Forwarded from ExMuffin
This media is not supported in your browser
VIEW IN TELEGRAM
💃 HomeStylist v.1.0 🕺
Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба небыло. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb
Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба небыло. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb
😱5👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Вышла новая версия Disco Diffusion - 4.1
Всем шампанского, господа!
Из нового:
- возможность продолжить предыдущую генерацию (привет бесплатные колабы!)
- отключение анимации
- поддержка видео в качестве источника опорных кадров
- улучшение результата (для фото режима)
Колаб
Всем шампанского, господа!
Из нового:
- возможность продолжить предыдущую генерацию (привет бесплатные колабы!)
- отключение анимации
- поддержка видео в качестве источника опорных кадров
- улучшение результата (для фото режима)
Колаб
🔥16👍2
ciechanow.ski/cameras-and-lenses - клевый сайт про камеры, сенсоры, линзы и даже волны.
Все разложено по полочкам на конкретных интерактивных примерах.
Примеры можно потыкать или покрутить, какой-то поистине титанический труд!
Все разложено по полочкам на конкретных интерактивных примерах.
Примеры можно потыкать или покрутить, какой-то поистине титанический труд!
🔥10👍3😱2