Video contrastive learning with global context.
Предлагают новый метод контрастивного обучения на уровне видео, основанный на сегментах для формирования положительных пар.
Формулировка в статье позволяет улавливать глобальный контекст в видео, что делает ее устойчивой к временным изменениям контента. Авторы так же включают термин регуляризации временного порядка, чтобы обеспечить соблюдение присущей видео последовательной структуры.
GitHub
#ContrastiveLearning #video
Предлагают новый метод контрастивного обучения на уровне видео, основанный на сегментах для формирования положительных пар.
Формулировка в статье позволяет улавливать глобальный контекст в видео, что делает ее устойчивой к временным изменениям контента. Авторы так же включают термин регуляризации временного порядка, чтобы обеспечить соблюдение присущей видео последовательной структуры.
GitHub
#ContrastiveLearning #video
EarthQuake Transformer.
Обнаружение сигналов землетрясений и выделение сейсмических фаз - сложные задачи в обработке зашумленных данных и мониторинге микроземлетрясений. Здесь авторы представляют глобальную модель глубокого обучения для одновременного обнаружения землетрясений и выделения фаз.
Авторы показывают, что их модель превосходит предыдущие алгоритмы глубокого обучения и традиционные алгоритмы выделения и обнаружения фаз.
Применив модель к данным, записанных во время землетрясения 2000 года в Японии, авторы смогли обнаружить и локализовать в два раза большее количество землетрясений, используя только часть (менее 1/3) сейсмических станций. Их модель выбирает P и S фазы с точностью, близкой к точности ручного выбора человеческими аналитиками; однако ее высокая эффективность и более высокая чувствительность может привести к обнаружению и определению характеристик большего числа и меньших событий.
Статья
GitHub
#ScientificML #earthscience #transformer #waveforms
Обнаружение сигналов землетрясений и выделение сейсмических фаз - сложные задачи в обработке зашумленных данных и мониторинге микроземлетрясений. Здесь авторы представляют глобальную модель глубокого обучения для одновременного обнаружения землетрясений и выделения фаз.
Авторы показывают, что их модель превосходит предыдущие алгоритмы глубокого обучения и традиционные алгоритмы выделения и обнаружения фаз.
Применив модель к данным, записанных во время землетрясения 2000 года в Японии, авторы смогли обнаружить и локализовать в два раза большее количество землетрясений, используя только часть (менее 1/3) сейсмических станций. Их модель выбирает P и S фазы с точностью, близкой к точности ручного выбора человеческими аналитиками; однако ее высокая эффективность и более высокая чувствительность может привести к обнаружению и определению характеристик большего числа и меньших событий.
Статья
GitHub
#ScientificML #earthscience #transformer #waveforms
The AI Economist: Optimal Economic Policy Design via Two-level Deep Reinforcement Learning
ArXiv
Работа расширяющая Фреймворк
#ScientificML #RL #economics
ArXiv
Работа расширяющая Фреймворк
#ScientificML #RL #economics
Sketch your own #GAN.
Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.
Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника
#images
Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.
Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника
#images
Twitter
AK
Sketch Your Own GAN pdf: arxiv.org/pdf/2108.02774… abs: arxiv.org/abs/2108.02774 project page: peterwang512.github.io/GANSketching/ method can mold GANs to match shapes and poses specified by sketches while maintaining realism and diversity
🦠 AGAR: база данных изображений колоний микроорганизмов, выращенных на агаровой пластине.
Содержит 18000 фотографий пяти различных микроорганизмов, сделанных при различных условиях освещения двумя разными камерами.
Датасет
#ScientificML #datasets #biology
Содержит 18000 фотографий пяти различных микроорганизмов, сделанных при различных условиях освещения двумя разными камерами.
Датасет
#ScientificML #datasets #biology
Forwarded from Data Science by ODS.ai 🦜
27.23TB of research data in torrents! Includes dataset such as:
- Breast Cancer Cell Segmentation
- Liver Tumor Segmentation
- MRI Lesion Segmentation in Multiple Sclerosis
- Electron Microscopy, Hippocampus
- Digital Surface & Digital Terrain Model
And courses recordings, including:
- Introduction to Computer Science [CS50x] [Harvard] [2018]
- Artificial Intelligence(EDX)
- Richard Feynman's Lectures on Physics (The Messenger Lectures) (🔥)
- [Coursera] Machine Learning (Stanford University) (ml)
- [Coursera] Natural Language Processing (Stanford University) (nlp)
- [Coursera] Neural Networks for Machine Learning (University of Toronto) (neuralnets)
http://academictorrents.com/
#course #torrent #dataset
- Breast Cancer Cell Segmentation
- Liver Tumor Segmentation
- MRI Lesion Segmentation in Multiple Sclerosis
- Electron Microscopy, Hippocampus
- Digital Surface & Digital Terrain Model
And courses recordings, including:
- Introduction to Computer Science [CS50x] [Harvard] [2018]
- Artificial Intelligence(EDX)
- Richard Feynman's Lectures on Physics (The Messenger Lectures) (🔥)
- [Coursera] Machine Learning (Stanford University) (ml)
- [Coursera] Natural Language Processing (Stanford University) (nlp)
- [Coursera] Neural Networks for Machine Learning (University of Toronto) (neuralnets)
http://academictorrents.com/
#course #torrent #dataset
Academic Torrents
A distributed system for sharing enormous datasets - for researchers, by researchers. The result is a scalable, secure, and fault-tolerant repository for data, with blazing fast download speeds.
Forwarded from Data Science by ODS.ai 🦜
And #Google also launched #DataSet search. This is a huge breakthrough for the DS community, because now it will be easier to access some interesting data.
https://toolbox.google.com/datasetsearch
https://toolbox.google.com/datasetsearch
Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
MedCLIP
Позволяет осуществлять поиск по медицинским изображениям.
Поиграть можно тут 👉
Онлайн-демо
#CLIP #images #medicine #multimodal #demo
Позволяет осуществлять поиск по медицинским изображениям.
Поиграть можно тут 👉
Онлайн-демо
#CLIP #images #medicine #multimodal #demo
huggingface.co
Medical image retrieval using a CLIP model - a Hugging Face Space by kaushalya
Discover amazing ML apps made by the community
Genji - CoPilot для бедных.
Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.
Colab
Модель на Huggingface
Spaces
#code #generative #nlp #gpt
Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.
Colab
Модель на Huggingface
Spaces
#code #generative #nlp #gpt
6b.eleuther.ai
EleutherAI - text generation testing UI
EleutherAI web app testing for language models
Раз уже на то пошло. GPT-J это модель обученная сообществом EutherAI (к которому я скромно тоже немного причастен, правда больше в области генерации картинок).
Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)
Colab
Блог-пост
Видео-разбор
#gpt #nlp #generative
Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)
Colab
Блог-пост
Видео-разбор
#gpt #nlp #generative
#scientificml #approximation
Статья о том, как DeepMind применяют для получения *приближенного* решения NP-hard проблемы.
Статья интересна в качестве примера на первую лекцию для математиков и прогеров.
Статья о том, как DeepMind применяют для получения *приближенного* решения NP-hard проблемы.
Статья интересна в качестве примера на первую лекцию для математиков и прогеров.
Synced | AI Technology & Industry Review
DeepMind & Google Use Neural Networks to Solve Mixed Integer Programs | Synced
Linear programming is used to maximize or minimize a linear objective function subject to one or more constraints, while mixed integer programming (MIP) adds one additional condition: that at least one of the variables can only take on integer values. MIP…
AI Шеф-повар 👨🍳.
Посмотрите какая крутая штука!!! Выбираете себе повара, даёте ему ингредиенты и он генерирует рецептик и даже показывает, как блюдо будет выглядеть.
🤗 Онлайн-демо (можно играться с телефона)
#generative #images #multimodal #nlp #transformer #demo
Посмотрите какая крутая штука!!! Выбираете себе повара, даёте ему ингредиенты и он генерирует рецептик и даже показывает, как блюдо будет выглядеть.
🤗 Онлайн-демо (можно играться с телефона)
#generative #images #multimodal #nlp #transformer #demo
Huggingface 🤗 Spaces.
Spaces - это простой способ разместить демо приложение ML в интернете.
Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.
Документация к Spaces
В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.
Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.
#demo #resources #gpu
Spaces - это простой способ разместить демо приложение ML в интернете.
Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.
Документация к Spaces
В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.
Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.
#demo #resources #gpu
JAX - что это такое и с чем его едят?
В последнее время много новинок от Google и DeepMind выходит на JAX, вместо привычного PyTorch или TF.
JAX - это новая библиотека в мире машинного обучения (ML), которая обещает сделать программирование ML более интуитивным, структурированным и чистым.
Основная и единственная цель JAX - выполнение числовых операций в высокопроизводительной форме. Это означает, что синтаксис практически идентичен Numpy.
Одним из главных преимуществ JAX является то, что мы можем запускать одну и ту же программу без каких-либо изменений на аппаратных ускорителях, таких как GPU и TPU.
Другой важный момент - это скорость. JAX быстрее. Намного быстрее. Например перемножение двух матриц (1000,1000) в NumPy занимает ~50ms, а в JAX ~1.5ms (на GPU).
В библиотеку встроен автоград. JAX способен дифференцировать всевозможные функции python и NumPy, включая циклы, ветвления, рекурсии и многое другое.
Факторы, делающие JAX таким быстрым:
* ускоренная линейная алгебра (Accelerated Linear Algebra или XLA).
* Just in time compilation (jit) - способ выполнения компьютерного кода, который предполагает компиляцию программы - во время выполнения - а не перед выполнением.
* Репликация вычислений между устройствами с помощью pmap - еще одно преобразование, которое позволяет нам реплицировать вычисления на несколько ядер или устройств и выполнять их параллельно (p в pmap означает parallel).
И ещё много различных трюков и улучшений.
Ещё одной особенностью JAX (и возможно даже более важной чем скорость) является Pseudo-Random number generator. В отличие от NumPy или PyTorch, в JAX состояния случайности должны быть поданы пользователем в качестве аргумента (что делает JAX по умолчанию намного более воспроизводимым).
Ещё больше деталей и примеров кода
Официальный GitHub
#gpu #code #jax
В последнее время много новинок от Google и DeepMind выходит на JAX, вместо привычного PyTorch или TF.
JAX - это новая библиотека в мире машинного обучения (ML), которая обещает сделать программирование ML более интуитивным, структурированным и чистым.
Основная и единственная цель JAX - выполнение числовых операций в высокопроизводительной форме. Это означает, что синтаксис практически идентичен Numpy.
Одним из главных преимуществ JAX является то, что мы можем запускать одну и ту же программу без каких-либо изменений на аппаратных ускорителях, таких как GPU и TPU.
Другой важный момент - это скорость. JAX быстрее. Намного быстрее. Например перемножение двух матриц (1000,1000) в NumPy занимает ~50ms, а в JAX ~1.5ms (на GPU).
В библиотеку встроен автоград. JAX способен дифференцировать всевозможные функции python и NumPy, включая циклы, ветвления, рекурсии и многое другое.
Факторы, делающие JAX таким быстрым:
* ускоренная линейная алгебра (Accelerated Linear Algebra или XLA).
* Just in time compilation (jit) - способ выполнения компьютерного кода, который предполагает компиляцию программы - во время выполнения - а не перед выполнением.
* Репликация вычислений между устройствами с помощью pmap - еще одно преобразование, которое позволяет нам реплицировать вычисления на несколько ядер или устройств и выполнять их параллельно (p в pmap означает parallel).
И ещё много различных трюков и улучшений.
Ещё одной особенностью JAX (и возможно даже более важной чем скорость) является Pseudo-Random number generator. В отличие от NumPy или PyTorch, в JAX состояния случайности должны быть поданы пользователем в качестве аргумента (что делает JAX по умолчанию намного более воспроизводимым).
Ещё больше деталей и примеров кода
Официальный GitHub
#gpu #code #jax
OpenXLA Project
#resources #literature #normalization #optimizer #transformer #nlp #generative #cnn
Наверно, стоит в принципе отметить сайт https://theaisummer.com/
На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.
На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.
Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.
Примеры приятных статей:
In-layer normalization techniques for training very deep neural networks
A journey into Optimization algorithms for Deep Neural Networks
Intuitive Explanation of Skip Connections in Deep Learning
How Transformers work in deep learning and NLP: an intuitive introduction
The theory behind Latent Variable Models: formulating a Variational Autoencoder
Best deep CNN architectures and their principles: from AlexNet to EfficientNet
Наверно, стоит в принципе отметить сайт https://theaisummer.com/
На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.
На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.
Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.
Примеры приятных статей:
In-layer normalization techniques for training very deep neural networks
A journey into Optimization algorithms for Deep Neural Networks
Intuitive Explanation of Skip Connections in Deep Learning
How Transformers work in deep learning and NLP: an intuitive introduction
The theory behind Latent Variable Models: formulating a Variational Autoencoder
Best deep CNN architectures and their principles: from AlexNet to EfficientNet
AI Summer
AI Summer | Learn Deep Learning and Artificial Intelligence
AI Dungeon 👹
Текстовая ролевая игра типа Dungeon & Dragons, только вместо гейм-мастера человека - гейм-мастер GPT-3.
У вас есть полная свобода действий. Можно делать вообще что угодно! Игра очень захватывает, а если что-то идет не так - можно последние действия отменить или даже резетнуть GPT.
Играть тут
#nlp #game #gpt #demo
Текстовая ролевая игра типа Dungeon & Dragons, только вместо гейм-мастера человека - гейм-мастер GPT-3.
У вас есть полная свобода действий. Можно делать вообще что угодно! Игра очень захватывает, а если что-то идет не так - можно последние действия отменить или даже резетнуть GPT.
Играть тут
#nlp #game #gpt #demo
AI Для Всех pinned «Тэги доступные в канале на данный момент: #alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, …»
VideoGPT: Video Generation using VQ-VAE and Transformers
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative