Forwarded from Not Boring Tech
This media is not supported in your browser
VIEW IN TELEGRAM
🤯 Тут показали новую нейросеть, которая превращает голову человека в реалистичную 4D-модель! Для этого нейронке скармливают небольшое видео с лицом этого человека.
Применения обширные — можно, например, использовать модель головы в метавселенной (пока у всех мультяшные головы). Кода пока нет, а здесь подробности.
#AI | Not Boring Tech
Применения обширные — можно, например, использовать модель головы в метавселенной (пока у всех мультяшные головы). Кода пока нет, а здесь подробности.
#AI | Not Boring Tech
kefir.wav
173.5 KB
🎵 Выкатились новые модельки для синтеза речи от silero.
📒 Вот Colab, чтобы погенерировать любые свои тексты.
https://colab.research.google.com/github/snakers4/silero-models/blob/master/examples_tts.ipynb
📒 Вот Colab, чтобы погенерировать любые свои тексты.
https://colab.research.google.com/github/snakers4/silero-models/blob/master/examples_tts.ipynb
#event #nlp
👄 Сегодня и завтра идет NLP конференция AINL 2022. В программе вижу пару интересных докладов — про мультиязычную суммаризацию и генерацию background картинки по тексту (что это вообще такое?).
https://ainlconf.ru/2022/program
👄 Сегодня и завтра идет NLP конференция AINL 2022. В программе вижу пару интересных докладов — про мультиязычную суммаризацию и генерацию background картинки по тексту (что это вообще такое?).
https://ainlconf.ru/2022/program
📎 А вот статья на тему Style-transfer and Paraphrase: Looking for a Sensible Semantic Similarity Metric от автора доклада.
https://arxiv.org/pdf/2004.05001.pdf
https://arxiv.org/pdf/2004.05001.pdf
Forwarded from Мишин Лернинг
Выкатили код LiT🔥: Новационный подход contrastive-tuning от Google Research, Brain Team, Zurich обходит CLIP и ALIGN
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
Forwarded from shonenkov AI
Сделал релиз, теперь можно с помощью моделей ruDALLE генерить изображения с произвольным соотношением сторон
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
🔥3
Forwarded from Пресидский залив (Nadia Zueva)
Фичи google colab, о которых стоит знать 🤓
как достать P100 бесплатно и учить в бекграунде
Основная беда колабов это медленные cpu даже на Pro+, поэтому учить на них сложно. Но если вы хотите сделать какой-нибудь предобученный гибрид или годное демо, то это самое то.
1. подключение google drive
Можно подмаунтить свой или шареный drive через
2. скрытие кода
Допустим, вы кидаете inference ноутбук и хотите скрыть код. Добавьте два текстовых раздела, код между ними скроется
3. открытие ноутбука из github по ссылке
При создании нового ноутбука можно выбрать github и вставить ссылку, откроется ноутбук из публичного репозитория
UPD: если авторизоваться в гх через колаб, то и приватные открывать можно
4. Forms
Это блоки, куда можно вписывать значения переменных. Очень удобно, если показываете промежуточный результат, особенно кому-то из неразработчиков
5. Виджеты
Можно вставить кучу всего. Например, запись с микрофона, аплоад файла или отображение видео по ссылке
6. Еще разный html
Кроме виджетов, можно вставлять бегущие строки, красивые схемы и вообще что хотите
Кстати, примеры про jupyter notebook (не colab) в большом количестве здесь
Пишите, если что-то крутое тоже вспомните)
1. подключение google drive
Можно подмаунтить свой или шареный drive через
google.colab.drive Правда, диск там будет супер медленный, поэтому большие датасеты лучше так не маунтить. А вот тестсеты вполне можно.2. скрытие кода
Допустим, вы кидаете inference ноутбук и хотите скрыть код. Добавьте два текстовых раздела, код между ними скроется
3. открытие ноутбука из github по ссылке
При создании нового ноутбука можно выбрать github и вставить ссылку, откроется ноутбук из публичного репозитория
UPD: если авторизоваться в гх через колаб, то и приватные открывать можно
4. Forms
Это блоки, куда можно вписывать значения переменных. Очень удобно, если показываете промежуточный результат, особенно кому-то из неразработчиков
5. Виджеты
Можно вставить кучу всего. Например, запись с микрофона, аплоад файла или отображение видео по ссылке
6. Еще разный html
Кроме виджетов, можно вставлять бегущие строки, красивые схемы и вообще что хотите
Кстати, примеры про jupyter notebook (не colab) в большом количестве здесь
Пишите, если что-то крутое тоже вспомните)
❤4
#news #big #gpt #nlp
🔥 Сбербанк натренировал и выложил мультиязычную GPT3 модель!
✨ GPT — это модели, способные генерировать тексты. Одной из их крутых способностей является генерация ответа на какую-нибудь "затравку" (так называемый few shot learning). То есть можно подать ей на вход текст "Переведи с русского на английский: стол => table, девушка => girl, кошка => " и модель сгенерирует ответ "кошка". Также ее можно дообучать на свои таски, делать QA системы, генерировать стихи и т.д.
✨ Среди языков есть и много языков России, что лично меня очень радует — татарский, башкирский, осетинский, бурятский, якутский и несколько других. Всего языков 60.
Пойду пробовать. Тоже присоединяйтесь.
https://huggingface.co/sberbank-ai/mGPT
🔥 Сбербанк натренировал и выложил мультиязычную GPT3 модель!
✨ GPT — это модели, способные генерировать тексты. Одной из их крутых способностей является генерация ответа на какую-нибудь "затравку" (так называемый few shot learning). То есть можно подать ей на вход текст "Переведи с русского на английский: стол => table, девушка => girl, кошка => " и модель сгенерирует ответ "кошка". Также ее можно дообучать на свои таски, делать QA системы, генерировать стихи и т.д.
✨ Среди языков есть и много языков России, что лично меня очень радует — татарский, башкирский, осетинский, бурятский, якутский и несколько других. Всего языков 60.
Пойду пробовать. Тоже присоединяйтесь.
https://huggingface.co/sberbank-ai/mGPT
👍5🔥3
#colab #cv #gen
Рисуем пейзажи нейросетью
🎨 По сети гуляет множество Colab'ов (интерактивных страничек с кодом на python), в которых можно генерировать изображение по текстовой подсказке. Я перепробовал много таких, особенно мне нравились картинке в стиле pixel art. Минусом было то, что никак не получалось рисовать картинку произвольного размера за один раз, так как картинка сильно искажалась.
🔮 Недавно исследователь Александр Шоненков выложил замечательный репозиторий на GitHub и собрал к нему Colab, в котором можно рисовать вот такую красоту. В качестве весов используется сберовская RuDalle, дообученная на картинах в стиле сюрреализма. Генерация идет окном, что позволяет вытягивать изображения, сохраняя геометрию.
Рисуем пейзажи нейросетью
🎨 По сети гуляет множество Colab'ов (интерактивных страничек с кодом на python), в которых можно генерировать изображение по текстовой подсказке. Я перепробовал много таких, особенно мне нравились картинке в стиле pixel art. Минусом было то, что никак не получалось рисовать картинку произвольного размера за один раз, так как картинка сильно искажалась.
🔮 Недавно исследователь Александр Шоненков выложил замечательный репозиторий на GitHub и собрал к нему Colab, в котором можно рисовать вот такую красоту. В качестве весов используется сберовская RuDalle, дообученная на картинах в стиле сюрреализма. Генерация идет окном, что позволяет вытягивать изображения, сохраняя геометрию.
❤2👍2🔥1
#data #nlp
MASSIVE — новый мультиязыковой NLU датасет от Amazon
🌗 Amazon запустил соревнование по NLU (natural language understanding) и, в связи с этим, расшарил параллельный датасет.
• 51 язык
• Всего порядка 1 миллиона строк.
🌗 Посмотрел на него, — похоже, что это всё команды для голосового помощника alex'ы.
• Есть разметка типа "можешь создать событие [time : в ночь] на [date : пятницу] с [person : аллой пугачёвой] и [person : киркоровым]"
• Почти все тексты короткие, до 20 слов.
• Попадаются различия в переводе названий. Русский — "включи игру танки онлайн", немецкий "lass uns ein trivia spiel spielen".
Что ж, появился новый параллельный корпус на 51 язык, хотя и немного специфичный. И то хорошо.
GitHub
MASSIVE — новый мультиязыковой NLU датасет от Amazon
🌗 Amazon запустил соревнование по NLU (natural language understanding) и, в связи с этим, расшарил параллельный датасет.
• 51 язык
• Всего порядка 1 миллиона строк.
🌗 Посмотрел на него, — похоже, что это всё команды для голосового помощника alex'ы.
• Есть разметка типа "можешь создать событие [time : в ночь] на [date : пятницу] с [person : аллой пугачёвой] и [person : киркоровым]"
• Почти все тексты короткие, до 20 слов.
• Попадаются различия в переводе названий. Русский — "включи игру танки онлайн", немецкий "lass uns ein trivia spiel spielen".
Что ж, появился новый параллельный корпус на 51 язык, хотя и немного специфичный. И то хорошо.
GitHub
👍5
Сюрреализм онлайн
🐌 Попробовал новую демку по генерации картинок. Дообучена на работах в стиле Сальвадора Дали, поэтому по запросу "улитка на склоне" может выдать вот такое художество (лучше попробовать несколько раз). Работает быстро, так что рекомендую попробовать.
🐌 Попробовал новую демку по генерации картинок. Дообучена на работах в стиле Сальвадора Дали, поэтому по запросу "улитка на склоне" может выдать вот такое художество (лучше попробовать несколько раз). Работает быстро, так что рекомендую попробовать.
👍3❤2
#notes #tools #useful
Заметка. Парсинг веб-страниц
🐤 Если вам время от времени требуется спарсить ту или иную страничку в интернете (мне тут понадобилось вытащить список русских фразеологизмов из википедии), то в простом случае (без переходов по ссылкам) это можно сделать одной строчкой в консоли браузера (та, что открывается по F12). В моем случае вот такой командой:
• В map пишем логику, которая применится к каждому найденному элементу
• Объединяем все в одну строку и копируем
• Profit
...
Заметка. Парсинг веб-страниц
🐤 Если вам время от времени требуется спарсить ту или иную страничку в интернете (мне тут понадобилось вытащить список русских фразеологизмов из википедии), то в простом случае (без переходов по ссылкам) это можно сделать одной строчкой в консоли браузера (та, что открывается по F12). В моем случае вот такой командой:
copy($$('table.wikitable tbody tr').map((e,i) => {a = e.querySelectorAll('td'); let desc = a.length > 1 ? a[1].outerText.replaceAll('\n',' ') : ""; return a[0].outerText.replaceAll('\n',' ') + " | " + desc}).join('\n'))
• Через $$ получаем все элементы, соответствующие css селектору• В map пишем логику, которая применится к каждому найденному элементу
• Объединяем все в одну строку и копируем
• Profit
...
как гром среди ясного неба | неожиданно...
как два пальца об асфальт | сделать просто
👍3🔥2