Зачем нам использовать нейросети в физических симуляциях? #TwoMinutesPapers отвечает:
YouTube
#physics #ScientificML
YouTube
#physics #ScientificML
YouTube
How Well Can DeepMind's AI Learn Physics? ⚛
❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambdalabs.com/papers
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
AI Для Всех
Прорыв в области self-supervised segmentation. Теперь можно сегментировать картинки вообще без размеренных данных 🦕 🐾 Ян Лекун Ликует :) Блог-пост Demo на Spaces #segmentation #images #SSL #classification
Не прошло и недели, а finetuning DINO уже доступен в PyTorch Lightnings Flash:
Twitter пост
#segmentation #SSL
Twitter пост
#segmentation #SSL
Twitter
Ari Bornstein
⚡️📣Excited to announce that @PyTorchLightnin Flash supports FineTuning of the new @facebookai Dino self-supervised backbones for Computer Vision Tasks.⚡️ Docs: bit.ly/3tfLeqm Repo: bit.ly/2RiAV7Z Dino Repo: bit.ly/3nGjlqk twitter.com/schrep/status/…
MLP-Mixer: An all-MLP Architecture for Vision. В этой сетке есть только полносвязанные слои, а работает она не хуже сверхточных сетей и визуальных трансформеров.
ArXiv
Думаю в ближайшие пару недель все будут обсуждать universal approximation theory и иже с ней. А для нас это значит что пора перестать рассказывать об особой эффективности conv по сравнению с linear.
Блог-пост разбор
#images #MLP #classification
ArXiv
Думаю в ближайшие пару недель все будут обсуждать universal approximation theory и иже с ней. А для нас это значит что пора перестать рассказывать об особой эффективности conv по сравнению с linear.
Блог-пост разбор
#images #MLP #classification
Forwarded from DL in NLP (nlpcontroller_bot)
Revisiting Simple Neural Probabilistic Language Models
Sun and Iyyer [UMass Amherst]
arxiv.org/abs/2104.03474
Помните на курсе по NLP мы говорили, что просто конкатенировать эмбеддинги текста и пихать их в полносвязную сетку — это тупо и не работает? И что лучше использовать RNN/Трансфрмеры.
В общем это не совсем так. Если сделать полносвязную сетку из 16 слоёв с layer norm, dropout и skip connections, то на коротких контекстах (<20 токенов) она работает сопоставимо с трансформерами на языковом моделировании 🤯
Кажется, мне нужно будет переделать пару слайдов...
Sun and Iyyer [UMass Amherst]
arxiv.org/abs/2104.03474
Помните на курсе по NLP мы говорили, что просто конкатенировать эмбеддинги текста и пихать их в полносвязную сетку — это тупо и не работает? И что лучше использовать RNN/Трансфрмеры.
В общем это не совсем так. Если сделать полносвязную сетку из 16 слоёв с layer norm, dropout и skip connections, то на коротких контекстах (<20 токенов) она работает сопоставимо с трансформерами на языковом моделировании 🤯
Кажется, мне нужно будет переделать пару слайдов...
#Explainability tool для 🤗 #transformer. Если действительно работает как написано - удобный инструмент.
GitHub
#NLP #XAI
GitHub
#NLP #XAI
GitHub
GitHub - cdpierse/transformers-interpret: Model explainability that works seamlessly with 🤗 transformers. Explain your transformers…
Model explainability that works seamlessly with 🤗 transformers. Explain your transformers model in just 2 lines of code. - GitHub - cdpierse/transformers-interpret: Model explainability that works...
Альманах №4_Web_v.4.18.pdf
5.5 MB
Пример с , кол-вом научных публикаций
Forwarded from эйай ньюз
Очередная крутая работа от OpenAI: Diffusion Models Beat GANs on Image Synthesis. SOTA для генерации картинок на ImageNet
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.
Jakub_Langr,_Vladimir_Bok_GANs_in_Action_Deep_learning_with_Generative.pdf
22 MB
На картинке не было ошибки (стр. 114)
Посмотрел очень по диагонали, но выглядит довольно релевантно (на концептуальном уровне как минимум):
YouTube
#ScientificML #Julia
YouTube
#ScientificML #Julia
YouTube
Webinar: Scientific Machine Learning for Enterprises | Feb 25 2020
Scientific machine learning is an emerging discipline which pulls together scientific modeling and machine learning techniques in order to allow for data-efficient, interpretable, and extrapolatable neural architectures. This webinar will dive into this Julia…
Как получить гарантии генерализации машинного обучения? В статье моих любимейших ACME Labs предлагается использовать смесь размеченных данных и данных размеченных случайным образом.
Если модель выдает маленькую ошибку на чистых данных и большую ошибку на случайной разметке - мы можем надеятся на хорошую генерализацию.
В статье есть формальные доказательства и ещё много всего интересного
ArXiv
#training #classification
Если модель выдает маленькую ошибку на чистых данных и большую ошибку на случайной разметке - мы можем надеятся на хорошую генерализацию.
В статье есть формальные доказательства и ещё много всего интересного
ArXiv
#training #classification
Я вообще не представляю как это кому-то может понадобиться, но посмотрите как мило!
Twitter пост
P.s.: обратите внимание на сайт. Papers with #datasets - отличный ресурс для поиска датасетов
Twitter пост
P.s.: обратите внимание на сайт. Papers with #datasets - отличный ресурс для поиска датасетов
Twitter
Papers with Datasets
🐇 SyntheticFur: A dataset for neural rendering with high quality lighting simulation via ray tracing. It contains approximately 140,000 procedurally generated images and 15 simulations with Houdini. Paper: paperswithcode.com/paper/syntheti… Dataset: pape…
Если у кого-то есть аспиранты гуманитарии или интересующиеся, нашёл семинар BERT для гумунитариаев: https://melaniewalsh.github.io/BERT-for-Humanists/workshop/
#ScientificML #гумунитарии #social
#ScientificML #гумунитарии #social