Нейроморфные чипы для нейросетей

Достижения в области машинного обучения напрямую связаны с увеличивающимеся (с годами) вычислительными ресурсами. Но есть нюанс - ML требует больше ресурсов быстрее, чем эти ресурсы становятся доступны (например OpenAI посчитали что ресурсы необходимые для достижениня SOTA удваиваются каждые 3.4 месяца).

В качестве решения предлагают использовать нйероморфные чипы - то есть чипы, которые тем или иным способом иммитируют природные мозги. Например, у человеческого мозга крайне низкие энергозатраты - всего 20 ватт. Для сравнения, для GPT-3 нужно 20 Мегаватт.

В статье рассказывается про современные подходы к реализации нейроморфных чипов:
1) Spiking Neural Networks
2) Highly Parallel Systems
3) Analogue Computing

И про лабы и стратапы, которые такие чипы уже делают.

#hardware

Неплохая вводная книга по генеративным сетям. Устаревшая местами, но для новичков хорошая (нуу и она на tensorflow).

Неформальное описание задачи для AE и GAN очень творческие и красивые. Имхо для GAN у автора лучше получилось описание, чем классическое сыщик-фальшивомонетчик

#generative #GAN #gpt #книги

Красивая статья на kaggle. Автор не добивается на соревновании прям огонь результата. Но при этом очень аккуратно работает с пропущенными значениями и кодированием категориальных переменных. Читать интересно

Ну и в комментах есть ссылка на статью, где автор ручками чистит немного данные и тоже логрегом получает хорошие резы

#categorical

Есть такой пакет DeepTables.

Для работы с табличными данными, содержит реализации нескольких красивых решений.

На соревновании сверху почти с нуля добивается топ-качества.

Части совсем новых сетей (типа TabNet) не имплементировано + реализации в принципе на tensorflow. Что немного затрудняет внедрение их в курс - сложно будет делать transfer learning и прочее.

Плюс качество они меряют на этом датасете в основном, а датасет по отзывам почти не содержит взаимодействия признаков и тд.
Потому можно пока упомянуть вскользь, пока/если никто из нас на реальной задаче не обнаружит, что пакет - топыч

#tabular

Насчет датасетов - набор датасетов для демонстраций ML на химии.

К сожалению, есть нюанс - все датасеты очень простые. Но именно для иллюстрации - почему бы и нет

#ScientificML #chemistry #datasets

Так же стоит отметить ициативу DeepChem, которые автоматизируют обучение на химических веществах.

GitHub

Там много неликвида или упрощенных схем, которые часто не будут работать, но как пример, что в принципе можно делать - они подходят.

#ScientificML #chemistry

Также в нем есть полезные фишки хотя бы для понимания - например, реализован один из правильных способов разбиение химических молекул

Wasserstein WGAN-GP для генерации молекул. Опять же, датасет используется довольно бесмысленный, но можем адаптировать этот пример с tensorflow на pytorch.
Ну и взять что-нить хоть чуть осмысленнее, типа ингибиторов киназ

#ScientificML #chemistry #graph #GAN

Perceiver IO: позволяет работать с различными модальностями (текст, картинки, звук, видео), в том числе одновременно

Блог-пост DeepMind
GitHub (код, колабы, предобученные модели JAX)
GitHub (реплика на PyTorch)

#transformer #multimodal

Моя версия блокнота VQGAN+CLIP добралась до 🤗 Spaces.

Поиграться можно хоть с телефона

#text2image #GAN #CLIP #demo

SpeechBrain - классный репозиторий для всего связанного со звуком. Сам им пользовался пару раз.

#sound #speech #audio

Где машинка применяется в drug design
Довольно по верхам имхо. Только общее представление получить.

И, да, генерация молекул упоминается.

YouTube
NeurIPS

#ScientificML #medicine

Ну или вот талк от главы Insilico Medicine. Про то, как у них пайплайн по разработке лекарств работает
Про longevity я бы не слушал, но это у меня аллергия.

YouTube

#ScientificML #medicine

На NeurIPS будет целая отдельная секция про AI for Science:

http://ai4sciencecommunity.github.io

Шикарный line-up и до 18 сентября можно подать абстракты

#ScientificML #conference

Немного растянуто, но зато на русском. Текст про применение ML в астрономии.

#ScientificML #astronomy

StyleGAN-NADA преобразует предварительно обученный генератор в новые домены, используя только текстовую подсказку и без обучающих данных.

Естественно направляет его CLIP.

Project

#GAN #CLIP #multimodal

Kaggle про патологии растений.

#ScientificML #biology #botany #images

Репозиторий для fine-tuning (ну и обучения с нуля, если надо) CLIP.

#CLIP #multimodal #training

Туториал + Colab по DeepChem от Weights & Biases

#ScientificML #chemistry #tutorial

Датасет жужжания москитов. Видимо что бы по звуку можно было определять виды этих комаров.

#datasets #ScientificML #sound #audio