Kaggle мощная платформа для Data Science, там можно не только соревноваться, но и находить готовые решения, статьи и интересные обсуждения. Сегодня заметил, что у них появился раздел для обучения https://www.kaggle.com/learn/overview На первый взгляд всё последовательно и в удобном формате. Важная подборка материалов для начинающих, здесь информация как о python и в целом о ML, так основы pandas, визуализации и deep learning

#learn #course #kaggle #ml

Собираетесь изучить deeplearning фреймворк и всё ещё думаете с чего начать? Прежде всего перестаньте собираться и наконец начните, а вот с чего начать, можете посмотреть kernel на kaggle https://www.kaggle.com/discdiver/deep-learning-framework-power-scores-2018

Всё вполне ожидаемо, сейчас 3 лидера:

1. tensorflow (google)
2. keras
3. pyTorch (facebook)

Мой совет начинать с keras, а когда его возможностей не будет хватать двигайтесь в tensorflow (keras это удобный фронтенд для tensorflow или CNTK). В то же время pyTorch выглядит очень привлекательно сейчас, так что смотреть на него определённо нужно.

#dl #frameworks #learn

Без лишних слов, нагляднейшее объяснение таких не простых идей NLP, как word2vec, attention, BERT, ELMo. Если вы хотели разобраться, но читать слишком математические статьи вам не нравится, посмотрите ссылки ниже. Авторские качественные визуализации делают материал доступным.

The Illustrated Word2vec - https://jalammar.github.io/illustrated-word2vec/

The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning) - https://jalammar.github.io/illustrated-bert/

The Illustrated Transformer - https://jalammar.github.io/illustrated-transformer/

Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) - https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/

#learn #nlp #text #word2vec #bert #attention #text

Многие задаются вопросом, что значит обучение нейронной сети? Что значат все эти параметры и как они влияют на обучение сети.

Обучение сети — решение некоторой оптимизационной задачи, нахождение таких значений весов сети, при которых вы будете получать минимальное количество ошибок на ваших тренировочных данных (что именно значит ошибка для вашей задачи описывается некоторой функцией потерь)

Вы возможно знаете про старую демку от google https://playground.tensorflow.org где можно выбрать разные параметры и посмотреть, как и что работает.

Недавно вышел крутой блог пост от deeplearning.ai, где они очень подробно рассказали про обучение сети https://www.deeplearning.ai/ai-notes/optimization/ (там всё интерактивно, можно кликать, настраивать, смотреть) — кажется это наиболее полезная вводная статья для понимания как учится сеть.

#learn #deeplearning #link #visualization

Хорошая подборка лекций-ноутбуков по pytorch для работы с текстами. От самых основ до fine-tuning BERT, что в общем то выглядит не плохо, если вы давно хотели попробовать, но всё не решались. Ноутбуки подробные и можно запускать прямо в google colab https://github.com/dair-ai/pytorch_notebooks

В добавок советую заглядывать на сайт https://dair.ai/ там много интересного про NLP собирают, включая обзорные статьи и краткое содержание научных статей.

#nlp #learn