Forwarded from Denis Sexy IT 🤖
Тут забавно оказалось – если в нейронку которая генерирует картинку из текстового запроса, в конце запроса дописать «unreal engine», то качество генерации сильно повысится 🌝 то есть буквально, ссылаясь в тексте на что-то у чего обычно офигенная графика, можно улучшить качество генерации.
Вот две картинки сгенерированные из текста с припиской в конце «unreal engine» – ангел воздуха и ангел воды ✨ можете сами попробовать в колабе тут
Вот две картинки сгенерированные из текста с припиской в конце «unreal engine» – ангел воздуха и ангел воды ✨ можете сами попробовать в колабе тут
Новый оптимизатор от OpenAI.
В 2 раза быстрее чем Adam на ImageNet, в 2.5 раза быстрее на языковых задачах
ArXiv
#Training #optimizer
В 2 раза быстрее чем Adam на ImageNet, в 2.5 раза быстрее на языковых задачах
ArXiv
#Training #optimizer
Говорят что круче всех на свете работают с табличными данными.
Twitter пост
Но код, что бы это проверить ещё не доступен.
#tabular
Twitter пост
Но код, что бы это проверить ещё не доступен.
#tabular
Twitter
AK
SAINT: Improved Neural Networks for Tabular Data via Row Attention and Contrastive Pre-Training pdf: arxiv.org/pdf/2106.01342… abs: arxiv.org/abs/2106.01342 performs attention over both rows and columns, and it includes an enhanced embedding method
Интересный новый #GAN, который мы скоро наверняка увидим во всяких Snapchat (если им ещё кто-то пользуется) и тд и тп
Project
#StyleTransfer #GAN #generative
Project
#StyleTransfer #GAN #generative
Идея проста как валенок: а что если применять контрастные методы в полностью supervised режиме. Естественно у гугла получается прям хорошо.
Блог-пост
#ContrastiveLearning #images
Блог-пост
#ContrastiveLearning #images
blog.research.google
Extending Contrastive Learning to the Supervised Setting
Датасет гербарий - для автоматического распознавания и таксонофикации растений.
#ScientificML #datasets
#ScientificML #datasets
Paperswithcode
Papers with Code - Herbarium 2021 Half–Earth Dataset
The Herbarium Half-Earth dataset is a large and diverse dataset of herbarium specimens to date for automatic taxon recognition. The Herbarium 2021: Half-Earth Challenge dataset includes more than 2.5M images representing nearly 65,000 species from the Americas…
Классная идея использовать генеративные сетки для репрезентативного обучения:
Project
Но подозреваю что тренировать этого монстра очень и очень сложно.
#ContrastiveLearning #generative #GAN
Project
Но подозреваю что тренировать этого монстра очень и очень сложно.
#ContrastiveLearning #generative #GAN
Сам такой хотел когда-то написать, но руки так и не дошли. Код который помогает расчитать размеры сверток
#CNN
#CNN
Twitter
François Fleuret
I wrote a piece of code that, given an input and output tensor sizes and a depth, computes all the sequences of kernel sizes / strides that do it! No padding. I hate paddings. fleuret.org/git-extract/py… @PyTorch
Не уверен, насколько человек сделал верно обучение и тд, надо чекать, если это вообще возможно.
Но идея сделать датасет с наборами текстов от разных писателей/разных тем и на таком датасете показывать некоторые примеры для гумов кажется приятноф
Colab
#NLP
Но идея сделать датасет с наборами текстов от разных писателей/разных тем и на таком датасете показывать некоторые примеры для гумов кажется приятноф
Colab
#NLP
Google
Копия блокнота
Colaboratory notebook
Дипфейки шагнули на новый уровень. Теперь можно подделать почерк по одному слову.
Twitter пост
#generative #nlp
Twitter пост
#generative #nlp
Twitter
Facebook AI
Today, we’re introducing TextStyleBrush, the first self-supervised AI model that replaces text in existing images of both scenes and handwriting — in one shot — using just a single example word: ai.facebook.com/blog/ai-can-no…
Forwarded from эйай ньюз
Китайцы очень любят делать объёмные обзоры той или иной подобласти машинного обучения с перечислением основных работ и главными прорывными идеями. Статей выходит очень много каждый день, и невозможно все прочесть. Поэтому такие обзоры ценны (если качественно написаны, конечно, что довольно редко).
Недавно вышла очень неплохая статья-обзор различных вариантов Трансформеров с фокусом на моделировании языка (NLP). Это мастр-рид для всех, кто начинает работать с NLP и интересуется Трансформерами. В статье рассматриваются базовые принципы работы self-attention и такие подробности современных вариантов Трансформеров как модификации архитектуры, претрейнинг и их приложения.
Статья: A Survey of Transformers.
Недавно вышла очень неплохая статья-обзор различных вариантов Трансформеров с фокусом на моделировании языка (NLP). Это мастр-рид для всех, кто начинает работать с NLP и интересуется Трансформерами. В статье рассматриваются базовые принципы работы self-attention и такие подробности современных вариантов Трансформеров как модификации архитектуры, претрейнинг и их приложения.
Статья: A Survey of Transformers.
Блог известный, но тут еще ссылку на него не кидали вродь.
Статьи интересные и дают вопросы "на понимание".
https://dyakonov.org/
#resources
Статьи интересные и дают вопросы "на понимание".
https://dyakonov.org/
#resources
Анализ малых данных
КвазиНаучный блог Александра Дьяконова