AI Для Всех
12.8K subscribers
1.17K photos
153 videos
10 files
1.38K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
🦠 AGAR: база данных изображений колоний микроорганизмов, выращенных на агаровой пластине.

Содержит 18000 фотографий пяти различных микроорганизмов, сделанных при различных условиях освещения двумя разными камерами.

Датасет

#ScientificML #datasets #biology
27.23TB of research data in torrents! Includes dataset such as:
- Breast Cancer Cell Segmentation
- Liver Tumor Segmentation
- MRI Lesion Segmentation in Multiple Sclerosis
- Electron Microscopy, Hippocampus
- Digital Surface & Digital Terrain Model

And courses recordings, including:
- Introduction to Computer Science [CS50x] [Harvard] [2018]
- Artificial Intelligence(EDX)
- Richard Feynman's Lectures on Physics (The Messenger Lectures) (🔥)
- [Coursera] Machine Learning (Stanford University) (ml)
- [Coursera] Natural Language Processing (Stanford University) (nlp)
- [Coursera] Neural Networks for Machine Learning (University of Toronto) (neuralnets)

http://academictorrents.com/

#course #torrent #dataset
And #Google also launched #DataSet search. This is a huge breakthrough for the DS community, because now it will be easier to access some interesting data.

https://toolbox.google.com/datasetsearch
MedCLIP

Позволяет осуществлять поиск по медицинским изображениям.

Поиграть можно тут 👉
Онлайн-демо

#CLIP #images #medicine #multimodal #demo
Genji - CoPilot для бедных.

Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.

Colab
Модель на Huggingface
Spaces

#code #generative #nlp #gpt
Раз уже на то пошло. GPT-J это модель обученная сообществом EutherAI (к которому я скромно тоже немного причастен, правда больше в области генерации картинок).

Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)

Colab
Блог-пост
Видео-разбор

#gpt #nlp #generative
#scientificml #approximation

Статья о том, как DeepMind применяют для получения *приближенного* решения NP-hard проблемы.

Статья интересна в качестве примера на первую лекцию для математиков и прогеров.
AI Шеф-повар 👨‍🍳.

Посмотрите какая крутая штука!!! Выбираете себе повара, даёте ему ингредиенты и он генерирует рецептик и даже показывает, как блюдо будет выглядеть.

🤗 Онлайн-демо (можно играться с телефона)

#generative #images #multimodal #nlp #transformer #demo
Huggingface 🤗 Spaces.

Spaces - это простой способ разместить демо приложение ML в интернете.

Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.

Документация к Spaces

В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.

Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.

#demo #resources #gpu
JAX - что это такое и с чем его едят?

В последнее время много новинок от Google и DeepMind выходит на JAX, вместо привычного PyTorch или TF.

JAX - это новая библиотека в мире машинного обучения (ML), которая обещает сделать программирование ML более интуитивным, структурированным и чистым.

Основная и единственная цель JAX - выполнение числовых операций в высокопроизводительной форме. Это означает, что синтаксис практически идентичен Numpy.

Одним из главных преимуществ JAX является то, что мы можем запускать одну и ту же программу без каких-либо изменений на аппаратных ускорителях, таких как GPU и TPU.

Другой важный момент - это скорость. JAX быстрее. Намного быстрее. Например перемножение двух матриц (1000,1000) в NumPy занимает ~50ms, а в JAX ~1.5ms (на GPU).

В библиотеку встроен автоград. JAX способен дифференцировать всевозможные функции python и NumPy, включая циклы, ветвления, рекурсии и многое другое.

Факторы, делающие JAX таким быстрым:
* ускоренная линейная алгебра (Accelerated Linear Algebra или XLA).
* Just in time compilation (jit) - способ выполнения компьютерного кода, который предполагает компиляцию программы - во время выполнения - а не перед выполнением.
* Репликация вычислений между устройствами с помощью pmap - еще одно преобразование, которое позволяет нам реплицировать вычисления на несколько ядер или устройств и выполнять их параллельно (p в pmap означает parallel).
И ещё много различных трюков и улучшений.

Ещё одной особенностью JAX (и возможно даже более важной чем скорость) является Pseudo-Random number generator. В отличие от NumPy или PyTorch, в JAX состояния случайности должны быть поданы пользователем в качестве аргумента (что делает JAX по умолчанию намного более воспроизводимым).

Ещё больше деталей и примеров кода
Официальный GitHub

#gpu #code #jax
#resources #literature #normalization #optimizer #transformer #nlp #generative #cnn

Наверно, стоит в принципе отметить сайт https://theaisummer.com/

На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.

На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.

Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.

Примеры приятных статей:

In-layer normalization techniques for training very deep neural networks

A journey into Optimization algorithms for Deep Neural Networks

Intuitive Explanation of Skip Connections in Deep Learning

How Transformers work in deep learning and NLP: an intuitive introduction

The theory behind Latent Variable Models: formulating a Variational Autoencoder

Best deep CNN architectures and their principles: from AlexNet to EfficientNet
AI Dungeon 👹

Текстовая ролевая игра типа Dungeon & Dragons, только вместо гейм-мастера человека - гейм-мастер GPT-3.

У вас есть полная свобода действий. Можно делать вообще что угодно! Игра очень захватывает, а если что-то идет не так - можно последние действия отменить или даже резетнуть GPT.

Играть тут

#nlp #game #gpt #demo
AI Для Всех pinned «Тэги доступные в канале на данный момент: #alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, …»
VideoGPT: Video Generation using VQ-VAE and Transformers

Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.

VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.

Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).

Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.

ArXiv
Проект
Colab

#video #generative
Статья про предсказание энергии молекулы нейросетью.

В принципе - работает. Зачем нужно - в молдинамике часть расчетов опирается на энергию, которую и пытается предсказать нейросеть. Предсказания можно засовывать вместо времязатратных алгоритмов и за счет этого ускорять работу молдинамики.

У нейросети очень простая архитектура - предобработанные признаки кормятся в многослойный персептрон. Единственная выгода по сравнению с обычным бустингом - можно дообучить на интересующий вас класс веществ.

Почему-то авторы до сих пор не пытаются делать GNN - учитывая простоту действа, по-видимому, что-то тривиальное из графовых нейронок не работает лучше. Вполне возможно, ибо признаки хитроватые и придуманные не из головы, а на основе подходов до этого.

Статья

#ScientificML #chemistry #MLP
Evaluating CLIP: Towards Characterization of Broader Capabilities and Downstream Implications

В новой статье OpenAI анализирует #CLIP. CLIP снижает потребность в обучающих данных для конкретной задачи, что потенциально открывает многие нишевые задачи для автоматизации. CLIP также позволяет пользователям гибко задавать классы классификации изображений на естественном языке, что, как выяснили авторы, может изменить характер проявления баесов.

Результаты дополняют растущее число работ, призывающих изменить понятие "лучшей" модели - перейти от простого определения более высокой точности, к более широкому понятию "лучше", которое учитывает критически важные особенности инференса, такие как различные контексты использования и людей, которые взаимодействуют с моделью.

Статья

#generative #multimodal #images #nlp
ILVR: Conditioning Method for Denoising Diffusion Probabilistic Models.

Диффузионно-вероятностные модели (DDPM) показали замечательную производительность при отменном в качестве генерации изображений. Однако из-за стохастичности процесса генерации в DDPM сложно генерировать изображения с желаемой семантикой.

В данной работе предлагается итеративное уточнение латентных переменных (ILVR) - метод, позволяющий направлять генеративный процесс для создания высококачественных изображений на основе заданного эталонного изображения. Это улучшение позволяет одному DDPM выбирать изображения из различных наборов, определяемых эталонном.

Управляемость метода позволяет адаптировать DDPM без дополнительного обучения к различным задачам генерации изображений, таким как генерация с различными коэффициентами понижения дискретизации (downsampling), перевод изображений в несколько областей, раскраска изображения и редактирование с помощью каракулей.

Статья

#generative #diffusion #images