AI Для Всех
12.8K subscribers
1.17K photos
152 videos
10 files
1.37K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
У гугла (как впрочем и у многих других сервисов) есть отличная програма грантов на исследования. Для получения нужно прислать им тезисы и оценку необходимых ресурсов. В течение 2х недель вам выделят отдельную VM с GPU и прочими ништяками (совершенно бесплатно и без обязательств):

https://edu.google.com/programs/credits/research/

#resources #GPU
Huggingface 🤗 Spaces.

Spaces - это простой способ разместить демо приложение ML в интернете.

Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.

Документация к Spaces

В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.

Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.

#demo #resources #gpu
JAX - что это такое и с чем его едят?

В последнее время много новинок от Google и DeepMind выходит на JAX, вместо привычного PyTorch или TF.

JAX - это новая библиотека в мире машинного обучения (ML), которая обещает сделать программирование ML более интуитивным, структурированным и чистым.

Основная и единственная цель JAX - выполнение числовых операций в высокопроизводительной форме. Это означает, что синтаксис практически идентичен Numpy.

Одним из главных преимуществ JAX является то, что мы можем запускать одну и ту же программу без каких-либо изменений на аппаратных ускорителях, таких как GPU и TPU.

Другой важный момент - это скорость. JAX быстрее. Намного быстрее. Например перемножение двух матриц (1000,1000) в NumPy занимает ~50ms, а в JAX ~1.5ms (на GPU).

В библиотеку встроен автоград. JAX способен дифференцировать всевозможные функции python и NumPy, включая циклы, ветвления, рекурсии и многое другое.

Факторы, делающие JAX таким быстрым:
* ускоренная линейная алгебра (Accelerated Linear Algebra или XLA).
* Just in time compilation (jit) - способ выполнения компьютерного кода, который предполагает компиляцию программы - во время выполнения - а не перед выполнением.
* Репликация вычислений между устройствами с помощью pmap - еще одно преобразование, которое позволяет нам реплицировать вычисления на несколько ядер или устройств и выполнять их параллельно (p в pmap означает parallel).
И ещё много различных трюков и улучшений.

Ещё одной особенностью JAX (и возможно даже более важной чем скорость) является Pseudo-Random number generator. В отличие от NumPy или PyTorch, в JAX состояния случайности должны быть поданы пользователем в качестве аргумента (что делает JAX по умолчанию намного более воспроизводимым).

Ещё больше деталей и примеров кода
Официальный GitHub

#gpu #code #jax
В связи с тем что сегодня от NVidia пришло письмо что они дают мне 400 GPU часов на V100, спешу поделиться доступными ресурсами где ещё такое дают:

1) Google Research Credits

2) NVIDIA Research Grants

3) Yandex Research Grants

#resources #gpu
Ускорители для AI (GPU, TPU, IPU)

В 📓серии из 5 постов Adi Fuchs рассказывает все, что только можно об ускорителях - как они работают, чем отличаются и зачем нужны.

А если читать вам нравится меньше, чем смотреть - то есть 🎥 видео версия/пересказ на канале у Яника.

#hardware #gpu #tpu #ipu