Huggingface 🤗 Spaces.

Spaces - это простой способ разместить демо приложение ML в интернете.

Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.

Документация к Spaces

В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.

Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.

#demo #resources #gpu

#resources #literature #normalization #optimizer #transformer #nlp #generative #cnn

Наверно, стоит в принципе отметить сайт https://theaisummer.com/

На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.

На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.

Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.

Примеры приятных статей:

In-layer normalization techniques for training very deep neural networks

A journey into Optimization algorithms for Deep Neural Networks

Intuitive Explanation of Skip Connections in Deep Learning

How Transformers work in deep learning and NLP: an intuitive introduction

The theory behind Latent Variable Models: formulating a Variational Autoencoder

Best deep CNN architectures and their principles: from AlexNet to EfficientNet

Интерактивная книга Deep Learning for Molecules and Materials.

Глубокое обучение становится стандартным инструментом в химии и материаловедении. Классический пример - соединение активности и структуры молекулы. Недавний пример - значительное ускорение квантовых расчетов до такой степени, что вы можете достичь точности уровня DFT с помощью быстрого дифференцируемого расчета. Что делает глубокое обучение особенно актуальным, так это его способность генерировать новые данные.

В Веб-книге куча интерактивных примеров с кодом для различных задач.

#ScientificML #books #chemistry #resources

Learning Machine Book - бесплатная нтерактивная книга, скорее даже не книга, а справочник по машинному обучению.

В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.

Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.

Сайт
GitHub
Видео-обзор Яника

#book #resources

В связи с тем что сегодня от NVidia пришло письмо что они дают мне 400 GPU часов на V100, спешу поделиться доступными ресурсами где ещё такое дают:

1) Google Research Credits

2) NVIDIA Research Grants

3) Yandex Research Grants

#resources #gpu

Git Education

GitHub Education помогает студентам, преподавателям и школам получить доступ к инструментам и мероприятиям, необходимым для формирования нового поколения разработчиков программного обеспечения.

По сути, регистрируясь как образовательное учреждение вы получаете бесплатный Git Enterprise со всеми вытекающими плюшками

Сайт

#resources

WarpDrive: Extremely Fast End-to-End Deep Multi-Agent Reinforcement Learning on a GPU

WarpDrive - это гибкая, легкая и простая в использовании система обучения с подкреплением (RL) с открытым исходным кодом, которая реализует многоагентный RL на одном GPU.

Используя возможности экстремального распараллеливания графических процессоров, WarpDrive позволяет на порядки ускорить RL по сравнению с симуляцией на CPU + реализацией моделей на GPU. Он чрезвычайно эффективен, поскольку позволяет избежать копирования данных "туда-сюда" между CPU и GPU, а также параллельно выполнять моделирование для нескольких агентов и нескольких копий среды. В совокупности это позволяет пользователю запускать тысячи параллельных мультиагентных симуляций и тренироваться на очень больших батчах, достигая более чем 100-кратной пропускной способности по сравнению с аналогами на базе CPU.

GitHub

#RL #resources

На днях нашёл новый формат для Jupyter - Jupyter Books.

Позволяет собрать несколько разных блокнотов в одну интерактивную книгу с оглавлением и всем таким. Выглядит классно!

Сайт

#resources #presentation

С помощью краудсорсинга, передачи простых заданий большому числу исполнителей, можно быстро и эффективно собрать и разметить данные для любых проектов — в том числе и исследовательских.

Яндекс.Толока запустила проект Toloka Academy:

— Toloka Research Grant

Это грантовая программа для поддержки data-heavy исследований. Грант представляет собой промокод на сумму от 100 до 500 долларов, активировав который, исследователь получает возможность запускать проекты по сбору и разметке данных в Яндекс.Толоке. Подать заявку может каждый, единственное условие — Yandex просим лауреатов указывать в статьях и на конференциях, что данные для исследования они собирали с помощью их сервиса.

— Toloka Education Pricing Plan

Это специальный тариф для студентов и университетов, который дает возможность в течение года пользоваться Толокой с нулевой комиссией, оплачивая только труд толокеров. Для подключения тарифа, нужно подать заявку, указав университетскую почту или прикрепив официальный документ.

#resources

⚡️Комментарии в Colab

В Colab (Jupyter Notebooks с бесплатными GPU от Google) появилась возможность оставлять комментарии, как к Google Docs. Теперь совместная работа над блокнотами стала еще более удобной. Ура-ура-ура!

#resources