У гугла (как впрочем и у многих других сервисов) есть отличная програма грантов на исследования. Для получения нужно прислать им тезисы и оценку необходимых ресурсов. В течение 2х недель вам выделят отдельную VM с GPU и прочими ништяками (совершенно бесплатно и без обязательств):

https://edu.google.com/programs/credits/research/

#resources #GPU

Блог известный, но тут еще ссылку на него не кидали вродь.
Статьи интересные и дают вопросы "на понимание".

https://dyakonov.org/

#resources

Хороший гитхаб и блог на медиум.

Например, он там разбирает модифицию LIME для интерпретации моделей. И много чего еще интересного

GitHub
Medium

#resources

Хороший ресурс для вдохновления. Все как мы хотим, только тем больше и на английском.

#resources

напомнило вот этот источник.

Что не нравится в https://madewithml.com/ - очень скупые объяснения. Те же трансформеры вообще не объяснены - просто запуск кода.

#resources

Ян Лекун поделился ссылкой на пакет для работы с массивными линейными слоями

Medium

#code #resources #python

#resources #gpu

1) Google Research Credits

2) NVIDIA Research Grants

3) Yandex Research Grants

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

Huggingface 🤗 Spaces.

Spaces - это простой способ разместить демо приложение ML в интернете.

Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.

Документация к Spaces

В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.

Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.

#demo #resources #gpu

#resources #literature #normalization #optimizer #transformer #nlp #generative #cnn

Наверно, стоит в принципе отметить сайт https://theaisummer.com/

На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.

На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.

Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.

Примеры приятных статей:

In-layer normalization techniques for training very deep neural networks

A journey into Optimization algorithms for Deep Neural Networks

Intuitive Explanation of Skip Connections in Deep Learning

How Transformers work in deep learning and NLP: an intuitive introduction

The theory behind Latent Variable Models: formulating a Variational Autoencoder

Best deep CNN architectures and their principles: from AlexNet to EfficientNet

Интерактивная книга Deep Learning for Molecules and Materials.

Глубокое обучение становится стандартным инструментом в химии и материаловедении. Классический пример - соединение активности и структуры молекулы. Недавний пример - значительное ускорение квантовых расчетов до такой степени, что вы можете достичь точности уровня DFT с помощью быстрого дифференцируемого расчета. Что делает глубокое обучение особенно актуальным, так это его способность генерировать новые данные.

В Веб-книге куча интерактивных примеров с кодом для различных задач.

#ScientificML #books #chemistry #resources

Learning Machine Book - бесплатная нтерактивная книга, скорее даже не книга, а справочник по машинному обучению.

В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.

Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.

Сайт
GitHub
Видео-обзор Яника

#book #resources

В связи с тем что сегодня от NVidia пришло письмо что они дают мне 400 GPU часов на V100, спешу поделиться доступными ресурсами где ещё такое дают:

1) Google Research Credits

2) NVIDIA Research Grants

3) Yandex Research Grants

#resources #gpu

Git Education

GitHub Education помогает студентам, преподавателям и школам получить доступ к инструментам и мероприятиям, необходимым для формирования нового поколения разработчиков программного обеспечения.

По сути, регистрируясь как образовательное учреждение вы получаете бесплатный Git Enterprise со всеми вытекающими плюшками

Сайт

#resources

WarpDrive: Extremely Fast End-to-End Deep Multi-Agent Reinforcement Learning on a GPU

WarpDrive - это гибкая, легкая и простая в использовании система обучения с подкреплением (RL) с открытым исходным кодом, которая реализует многоагентный RL на одном GPU.

Используя возможности экстремального распараллеливания графических процессоров, WarpDrive позволяет на порядки ускорить RL по сравнению с симуляцией на CPU + реализацией моделей на GPU. Он чрезвычайно эффективен, поскольку позволяет избежать копирования данных "туда-сюда" между CPU и GPU, а также параллельно выполнять моделирование для нескольких агентов и нескольких копий среды. В совокупности это позволяет пользователю запускать тысячи параллельных мультиагентных симуляций и тренироваться на очень больших батчах, достигая более чем 100-кратной пропускной способности по сравнению с аналогами на базе CPU.

GitHub

#RL #resources