Геометрический лернинг от его (по сути) создателя, который ещё и в Туле родился, а сейчас мега профессор в ICL и рулит графовыми сетями в Twitter.
Блог-пост
#geometric #GNN #graph
Блог-пост
#geometric #GNN #graph
Medium
Geometric foundations of Deep Learning
Geometric Deep Learning is an attempt to unify a broad class of ML problems from the perspectives of symmetry and invariance.
AI Для Всех
Аватарка канала сгенерированна с помощью OpenAI DALL-E. Блог-пост #generative #text2image #CLIP #images
Так как код к этой статье не выпущен (и вряд ли когда-нибудь будет. OpenAI как обычно очень *open*), нашлись умельцы которые сетку реплицировали и как смогли - обучили:
GitHub
#generative #images #text2image #CLIP
GitHub
#generative #images #text2image #CLIP
GitHub
GitHub - lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch
Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch - lucidrains/DALLE-pytorch
Прорыв в области self-supervised segmentation. Теперь можно сегментировать картинки вообще без размеренных данных 🦕 🐾
Ян Лекун Ликует :)
Блог-пост
Demo на Spaces
#segmentation #images #SSL #classification
Ян Лекун Ликует :)
Блог-пост
Demo на Spaces
#segmentation #images #SSL #classification
Meta
DINO and PAWS: Advancing the state of the art in computer vision
Working with Inria researchers, we’ve developed a self-supervised image representation method, DINO, which produces remarkable results when trained with Vision Transformers. We are also detailing PAWS, a new method for 10x more efficient training.
Для тех кто ещё не знаком: один из наиболее релевантных, по отношению к нам, источников информации. Physics meets ML. Раз в пару недель крутые физики рассказывают в зуме как и для чего они применяют ML
#community #ScientificML
#community #ScientificML
Для форматирования кода, который будет публичным я использую BlackCellMagic.
Аналогичный функционал есть во многих IDE, но конкретно этот работает как магия в блокнотах.
#Python #presentation #code
Аналогичный функционал есть во многих IDE, но конкретно этот работает как магия в блокнотах.
#Python #presentation #code
GitHub
GitHub - csurfer/blackcellmagic: IPython magic command to format python code in cell using black.
IPython magic command to format python code in cell using black. - GitHub - csurfer/blackcellmagic: IPython magic command to format python code in cell using black.
У гугла (как впрочем и у многих других сервисов) есть отличная програма грантов на исследования. Для получения нужно прислать им тезисы и оценку необходимых ресурсов. В течение 2х недель вам выделят отдельную VM с GPU и прочими ништяками (совершенно бесплатно и без обязательств):
https://edu.google.com/programs/credits/research/
#resources #GPU
https://edu.google.com/programs/credits/research/
#resources #GPU
Google for Education
Research Credits | Google for Education
Apply for Google Cloud research credits and access computing power to help advance your research, develop ideas, and make cutting-edge discoveries.
Зачем нам использовать нейросети в физических симуляциях? #TwoMinutesPapers отвечает:
YouTube
#physics #ScientificML
YouTube
#physics #ScientificML
YouTube
How Well Can DeepMind's AI Learn Physics? ⚛
❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambdalabs.com/papers
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
AI Для Всех
Прорыв в области self-supervised segmentation. Теперь можно сегментировать картинки вообще без размеренных данных 🦕 🐾 Ян Лекун Ликует :) Блог-пост Demo на Spaces #segmentation #images #SSL #classification
Не прошло и недели, а finetuning DINO уже доступен в PyTorch Lightnings Flash:
Twitter пост
#segmentation #SSL
Twitter пост
#segmentation #SSL
Twitter
Ari Bornstein
⚡️📣Excited to announce that @PyTorchLightnin Flash supports FineTuning of the new @facebookai Dino self-supervised backbones for Computer Vision Tasks.⚡️ Docs: bit.ly/3tfLeqm Repo: bit.ly/2RiAV7Z Dino Repo: bit.ly/3nGjlqk twitter.com/schrep/status/…
MLP-Mixer: An all-MLP Architecture for Vision. В этой сетке есть только полносвязанные слои, а работает она не хуже сверхточных сетей и визуальных трансформеров.
ArXiv
Думаю в ближайшие пару недель все будут обсуждать universal approximation theory и иже с ней. А для нас это значит что пора перестать рассказывать об особой эффективности conv по сравнению с linear.
Блог-пост разбор
#images #MLP #classification
ArXiv
Думаю в ближайшие пару недель все будут обсуждать universal approximation theory и иже с ней. А для нас это значит что пора перестать рассказывать об особой эффективности conv по сравнению с linear.
Блог-пост разбор
#images #MLP #classification
Forwarded from DL in NLP (nlpcontroller_bot)
Revisiting Simple Neural Probabilistic Language Models
Sun and Iyyer [UMass Amherst]
arxiv.org/abs/2104.03474
Помните на курсе по NLP мы говорили, что просто конкатенировать эмбеддинги текста и пихать их в полносвязную сетку — это тупо и не работает? И что лучше использовать RNN/Трансфрмеры.
В общем это не совсем так. Если сделать полносвязную сетку из 16 слоёв с layer norm, dropout и skip connections, то на коротких контекстах (<20 токенов) она работает сопоставимо с трансформерами на языковом моделировании 🤯
Кажется, мне нужно будет переделать пару слайдов...
Sun and Iyyer [UMass Amherst]
arxiv.org/abs/2104.03474
Помните на курсе по NLP мы говорили, что просто конкатенировать эмбеддинги текста и пихать их в полносвязную сетку — это тупо и не работает? И что лучше использовать RNN/Трансфрмеры.
В общем это не совсем так. Если сделать полносвязную сетку из 16 слоёв с layer norm, dropout и skip connections, то на коротких контекстах (<20 токенов) она работает сопоставимо с трансформерами на языковом моделировании 🤯
Кажется, мне нужно будет переделать пару слайдов...
#Explainability tool для 🤗 #transformer. Если действительно работает как написано - удобный инструмент.
GitHub
#NLP #XAI
GitHub
#NLP #XAI
GitHub
GitHub - cdpierse/transformers-interpret: Model explainability that works seamlessly with 🤗 transformers. Explain your transformers…
Model explainability that works seamlessly with 🤗 transformers. Explain your transformers model in just 2 lines of code. - GitHub - cdpierse/transformers-interpret: Model explainability that works...
Альманах №4_Web_v.4.18.pdf
5.5 MB
Пример с , кол-вом научных публикаций
Forwarded from эйай ньюз
Очередная крутая работа от OpenAI: Diffusion Models Beat GANs on Image Synthesis. SOTA для генерации картинок на ImageNet
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.