Приятная новость для любителей тренировать нейросети PyTorch, фреймворк для нейронных сетей от facebook, основной конкурент tensorflow, фреймворк от google самый популярный в настоящее время , теперь предустановлен на google colab https://colab.research.google.com . Установить pytorch давно можно было, но теперь стало удобнее.

Напомню. На colab вам доступны CPU, GPU и TPU от google бесплатно, colab работает с jyputer совместимым форматом, можно подмонтировать google drive для загрузки и сохранения данных.

#google #colab #pytorch #torch

Сегодня хочу поделиться несколькими ссылками на обучающие статьи, первая из них о нейронных сетях на PyTorch, очень хороший туториал для того, чтобы начать, достаточно подробно и небольшими шагами объясняются всё более сложные идеи фреймворка https://pytorch.org/tutorials/beginner/nn_tutorial.html

Вторая о TensorFlow 2.0, он вот-вот выйдет, интересного там много и важные новшества отображены в виде серии твитов https://twitter.com/fchollet/status/1105139360226140160 ( есть документ, где можно сразу и запустить https://colab.research.google.com/drive/17u-pRZJnKN0gO5XZmq8n5A2bKGrfKEUg)

Дальше про математику, не сложная серия статей про важные концепции, которые нужны Data Science https://towardsdatascience.com/statistics-is-the-grammar-of-data-science-part-1-c306cd02e4db объяснение поверхностное, но не плохое в качестве отправной точки. Последняя статья из серии о важной теореме Байеса, о которой рекомендую почитать серию статей https://arbital.com/p/bayes_rule_guide/ подробно, на примерах с картинками, всё как мы любим

#nn #math #pytorch #tf #stats #tuturial

Меня часто спрашивают что нужно изучить, чтобы создавать свои нейронные сети. Помимо знаний в математике вам понадобится какой-нибудь deep learning фреймворк. Появление tensoflow упростило исследования и позволило внедрять их в продакшен. PyTorch - это новая "звезда", и темпы распространения в сообществе разработчиков действительно удивляют. Он проще tf и если вы не изучали ничего, то pytorch покажется вам проще и логичнее. График взят с твита https://twitter.com/RitchieNg/status/1155026908855226369/photo/1 #dl #ml #tf #pytorch

Недавно был опубликован проект PyTorch-Transformers https://github.com/huggingface/pytorch-transformers, где "из коробки" доступны самые мощные (на данный момент) языковые модели: BERT, GPT, GPT-2, Transformer-XL, XLNet, XLM, кстати их не только для текстов можно использовать, помните MuseNet, которая использует GPT-2.

Проект очень интересный и пока я ждал выходных, чтобы проверить, SpaCy (ещё одна из передовых библиотек для NLP) адоптировали проект и теперь без лишних усилий можно использовать и дообучать такие мощные модели — это хорошая новость для production. Ребята из Explosion не перестают удивлять своей оперативностью, в целом работать со SpaCy удобно.

https://explosion.ai/blog/spacy-pytorch-transformers
GitHub: https://github.com/explosion/spacy-pytorch-transformers

#tool #spacy #nlp #pytorch

И ещё новость, вышел pytorch 1.4 https://pytorch.org/blog/pytorch-1-dot-4-released-and-domain-libraries-updated/

Обновление библиотеки это не большое дело обычно, но в этот раз появились интересные фичи, которые очень важны для создания data-продуктов

1. PyTorch Mobile — теперь обещают улучшенную поддержку мобилок, если кто-то попробует, поделитесь плз мнением
2. Distributed model parallel training — тоже важно, модели сейчас большие
3. Java bindings (Experimental) — кажется при чём тут джава? Но уж простите, мир энтерпрайза он такой, и там разные джавы водились, водятся и будут ещё долго

#pytorch