Аватарка канала сгенерированна с помощью OpenAI DALL-E.
Блог-пост
#generative #text2image #CLIP #images
Блог-пост
#generative #text2image #CLIP #images
Openai
DALL·E: Creating images from text
We’ve trained a neural network called DALL·E that creates images from text captions for a wide range of concepts expressible in natural language.
Ещё в тему отладки и объяснения сетей, на этот раз в основном картиночных. Библиотека для торча с реализацией основных методов explainability.
GitHub
#debugging #XAI
GitHub
#debugging #XAI
GitHub
GitHub - jacobgil/pytorch-grad-cam: Advanced AI Explainability for computer vision. Support for CNNs, Vision Transformers, Classification…
Advanced AI Explainability for computer vision. Support for CNNs, Vision Transformers, Classification, Object detection, Segmentation, Image similarity and more. - jacobgil/pytorch-grad-cam
Геометрический лернинг от его (по сути) создателя, который ещё и в Туле родился, а сейчас мега профессор в ICL и рулит графовыми сетями в Twitter.
Блог-пост
#geometric #GNN #graph
Блог-пост
#geometric #GNN #graph
Medium
Geometric foundations of Deep Learning
Geometric Deep Learning is an attempt to unify a broad class of ML problems from the perspectives of symmetry and invariance.
AI Для Всех
Аватарка канала сгенерированна с помощью OpenAI DALL-E. Блог-пост #generative #text2image #CLIP #images
Так как код к этой статье не выпущен (и вряд ли когда-нибудь будет. OpenAI как обычно очень *open*), нашлись умельцы которые сетку реплицировали и как смогли - обучили:
GitHub
#generative #images #text2image #CLIP
GitHub
#generative #images #text2image #CLIP
GitHub
GitHub - lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch
Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch - lucidrains/DALLE-pytorch
Прорыв в области self-supervised segmentation. Теперь можно сегментировать картинки вообще без размеренных данных 🦕 🐾
Ян Лекун Ликует :)
Блог-пост
Demo на Spaces
#segmentation #images #SSL #classification
Ян Лекун Ликует :)
Блог-пост
Demo на Spaces
#segmentation #images #SSL #classification
Meta
DINO and PAWS: Advancing the state of the art in computer vision
Working with Inria researchers, we’ve developed a self-supervised image representation method, DINO, which produces remarkable results when trained with Vision Transformers. We are also detailing PAWS, a new method for 10x more efficient training.
Для тех кто ещё не знаком: один из наиболее релевантных, по отношению к нам, источников информации. Physics meets ML. Раз в пару недель крутые физики рассказывают в зуме как и для чего они применяют ML
#community #ScientificML
#community #ScientificML
Для форматирования кода, который будет публичным я использую BlackCellMagic.
Аналогичный функционал есть во многих IDE, но конкретно этот работает как магия в блокнотах.
#Python #presentation #code
Аналогичный функционал есть во многих IDE, но конкретно этот работает как магия в блокнотах.
#Python #presentation #code
GitHub
GitHub - csurfer/blackcellmagic: IPython magic command to format python code in cell using black.
IPython magic command to format python code in cell using black. - GitHub - csurfer/blackcellmagic: IPython magic command to format python code in cell using black.
У гугла (как впрочем и у многих других сервисов) есть отличная програма грантов на исследования. Для получения нужно прислать им тезисы и оценку необходимых ресурсов. В течение 2х недель вам выделят отдельную VM с GPU и прочими ништяками (совершенно бесплатно и без обязательств):
https://edu.google.com/programs/credits/research/
#resources #GPU
https://edu.google.com/programs/credits/research/
#resources #GPU
Google for Education
Research Credits | Google for Education
Apply for Google Cloud research credits and access computing power to help advance your research, develop ideas, and make cutting-edge discoveries.
Зачем нам использовать нейросети в физических симуляциях? #TwoMinutesPapers отвечает:
YouTube
#physics #ScientificML
YouTube
#physics #ScientificML
YouTube
How Well Can DeepMind's AI Learn Physics? ⚛
❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambdalabs.com/papers
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
AI Для Всех
Прорыв в области self-supervised segmentation. Теперь можно сегментировать картинки вообще без размеренных данных 🦕 🐾 Ян Лекун Ликует :) Блог-пост Demo на Spaces #segmentation #images #SSL #classification
Не прошло и недели, а finetuning DINO уже доступен в PyTorch Lightnings Flash:
Twitter пост
#segmentation #SSL
Twitter пост
#segmentation #SSL
Twitter
Ari Bornstein
⚡️📣Excited to announce that @PyTorchLightnin Flash supports FineTuning of the new @facebookai Dino self-supervised backbones for Computer Vision Tasks.⚡️ Docs: bit.ly/3tfLeqm Repo: bit.ly/2RiAV7Z Dino Repo: bit.ly/3nGjlqk twitter.com/schrep/status/…
MLP-Mixer: An all-MLP Architecture for Vision. В этой сетке есть только полносвязанные слои, а работает она не хуже сверхточных сетей и визуальных трансформеров.
ArXiv
Думаю в ближайшие пару недель все будут обсуждать universal approximation theory и иже с ней. А для нас это значит что пора перестать рассказывать об особой эффективности conv по сравнению с linear.
Блог-пост разбор
#images #MLP #classification
ArXiv
Думаю в ближайшие пару недель все будут обсуждать universal approximation theory и иже с ней. А для нас это значит что пора перестать рассказывать об особой эффективности conv по сравнению с linear.
Блог-пост разбор
#images #MLP #classification
Forwarded from DL in NLP (nlpcontroller_bot)
Revisiting Simple Neural Probabilistic Language Models
Sun and Iyyer [UMass Amherst]
arxiv.org/abs/2104.03474
Помните на курсе по NLP мы говорили, что просто конкатенировать эмбеддинги текста и пихать их в полносвязную сетку — это тупо и не работает? И что лучше использовать RNN/Трансфрмеры.
В общем это не совсем так. Если сделать полносвязную сетку из 16 слоёв с layer norm, dropout и skip connections, то на коротких контекстах (<20 токенов) она работает сопоставимо с трансформерами на языковом моделировании 🤯
Кажется, мне нужно будет переделать пару слайдов...
Sun and Iyyer [UMass Amherst]
arxiv.org/abs/2104.03474
Помните на курсе по NLP мы говорили, что просто конкатенировать эмбеддинги текста и пихать их в полносвязную сетку — это тупо и не работает? И что лучше использовать RNN/Трансфрмеры.
В общем это не совсем так. Если сделать полносвязную сетку из 16 слоёв с layer norm, dropout и skip connections, то на коротких контекстах (<20 токенов) она работает сопоставимо с трансформерами на языковом моделировании 🤯
Кажется, мне нужно будет переделать пару слайдов...
#Explainability tool для 🤗 #transformer. Если действительно работает как написано - удобный инструмент.
GitHub
#NLP #XAI
GitHub
#NLP #XAI
GitHub
GitHub - cdpierse/transformers-interpret: Model explainability that works seamlessly with 🤗 transformers. Explain your transformers…
Model explainability that works seamlessly with 🤗 transformers. Explain your transformers model in just 2 lines of code. - GitHub - cdpierse/transformers-interpret: Model explainability that works...
Альманах №4_Web_v.4.18.pdf
5.5 MB
Пример с , кол-вом научных публикаций
Forwarded from эйай ньюз
Очередная крутая работа от OpenAI: Diffusion Models Beat GANs on Image Synthesis. SOTA для генерации картинок на ImageNet
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.