У гугла (как впрочем и у многих других сервисов) есть отличная програма грантов на исследования. Для получения нужно прислать им тезисы и оценку необходимых ресурсов. В течение 2х недель вам выделят отдельную VM с GPU и прочими ништяками (совершенно бесплатно и без обязательств):
https://edu.google.com/programs/credits/research/
#resources #GPU
https://edu.google.com/programs/credits/research/
#resources #GPU
Google for Education
Research Credits | Google for Education
Apply for Google Cloud research credits and access computing power to help advance your research, develop ideas, and make cutting-edge discoveries.
Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
Huggingface 🤗 Spaces.
Spaces - это простой способ разместить демо приложение ML в интернете.
Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.
Документация к Spaces
В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.
Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.
#demo #resources #gpu
Spaces - это простой способ разместить демо приложение ML в интернете.
Поддерживают два замечательных SDK, которые позволяют создавать классные приложения на Python: Streamlit и Gradio.
Документация к Spaces
В настоящее время каждая среда ограничена 16 ГБ ОЗУ и 8 ядрами ЦП.
Для подписчиков hf.co Pro или Organization (план Lab или Startup), Spaces могут получить один GPU T4 на индивидуальной основе.
#demo #resources #gpu
JAX - что это такое и с чем его едят?
В последнее время много новинок от Google и DeepMind выходит на JAX, вместо привычного PyTorch или TF.
JAX - это новая библиотека в мире машинного обучения (ML), которая обещает сделать программирование ML более интуитивным, структурированным и чистым.
Основная и единственная цель JAX - выполнение числовых операций в высокопроизводительной форме. Это означает, что синтаксис практически идентичен Numpy.
Одним из главных преимуществ JAX является то, что мы можем запускать одну и ту же программу без каких-либо изменений на аппаратных ускорителях, таких как GPU и TPU.
Другой важный момент - это скорость. JAX быстрее. Намного быстрее. Например перемножение двух матриц (1000,1000) в NumPy занимает ~50ms, а в JAX ~1.5ms (на GPU).
В библиотеку встроен автоград. JAX способен дифференцировать всевозможные функции python и NumPy, включая циклы, ветвления, рекурсии и многое другое.
Факторы, делающие JAX таким быстрым:
* ускоренная линейная алгебра (Accelerated Linear Algebra или XLA).
* Just in time compilation (jit) - способ выполнения компьютерного кода, который предполагает компиляцию программы - во время выполнения - а не перед выполнением.
* Репликация вычислений между устройствами с помощью pmap - еще одно преобразование, которое позволяет нам реплицировать вычисления на несколько ядер или устройств и выполнять их параллельно (p в pmap означает parallel).
И ещё много различных трюков и улучшений.
Ещё одной особенностью JAX (и возможно даже более важной чем скорость) является Pseudo-Random number generator. В отличие от NumPy или PyTorch, в JAX состояния случайности должны быть поданы пользователем в качестве аргумента (что делает JAX по умолчанию намного более воспроизводимым).
Ещё больше деталей и примеров кода
Официальный GitHub
#gpu #code #jax
В последнее время много новинок от Google и DeepMind выходит на JAX, вместо привычного PyTorch или TF.
JAX - это новая библиотека в мире машинного обучения (ML), которая обещает сделать программирование ML более интуитивным, структурированным и чистым.
Основная и единственная цель JAX - выполнение числовых операций в высокопроизводительной форме. Это означает, что синтаксис практически идентичен Numpy.
Одним из главных преимуществ JAX является то, что мы можем запускать одну и ту же программу без каких-либо изменений на аппаратных ускорителях, таких как GPU и TPU.
Другой важный момент - это скорость. JAX быстрее. Намного быстрее. Например перемножение двух матриц (1000,1000) в NumPy занимает ~50ms, а в JAX ~1.5ms (на GPU).
В библиотеку встроен автоград. JAX способен дифференцировать всевозможные функции python и NumPy, включая циклы, ветвления, рекурсии и многое другое.
Факторы, делающие JAX таким быстрым:
* ускоренная линейная алгебра (Accelerated Linear Algebra или XLA).
* Just in time compilation (jit) - способ выполнения компьютерного кода, который предполагает компиляцию программы - во время выполнения - а не перед выполнением.
* Репликация вычислений между устройствами с помощью pmap - еще одно преобразование, которое позволяет нам реплицировать вычисления на несколько ядер или устройств и выполнять их параллельно (p в pmap означает parallel).
И ещё много различных трюков и улучшений.
Ещё одной особенностью JAX (и возможно даже более важной чем скорость) является Pseudo-Random number generator. В отличие от NumPy или PyTorch, в JAX состояния случайности должны быть поданы пользователем в качестве аргумента (что делает JAX по умолчанию намного более воспроизводимым).
Ещё больше деталей и примеров кода
Официальный GitHub
#gpu #code #jax
OpenXLA Project
В связи с тем что сегодня от NVidia пришло письмо что они дают мне 400 GPU часов на V100, спешу поделиться доступными ресурсами где ещё такое дают:
1) Google Research Credits
2) NVIDIA Research Grants
3) Yandex Research Grants
#resources #gpu
1) Google Research Credits
2) NVIDIA Research Grants
3) Yandex Research Grants
#resources #gpu
Google for Education
Research Credits | Google for Education
Apply for Google Cloud research credits and access computing power to help advance your research, develop ideas, and make cutting-edge discoveries.
Ускорители для AI (GPU, TPU, IPU)
В 📓серии из 5 постов Adi Fuchs рассказывает все, что только можно об ускорителях - как они работают, чем отличаются и зачем нужны.
А если читать вам нравится меньше, чем смотреть - то есть 🎥 видео версия/пересказ на канале у Яника.
#hardware #gpu #tpu #ipu
В 📓серии из 5 постов Adi Fuchs рассказывает все, что только можно об ускорителях - как они работают, чем отличаются и зачем нужны.
А если читать вам нравится меньше, чем смотреть - то есть 🎥 видео версия/пересказ на канале у Яника.
#hardware #gpu #tpu #ipu