Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF

Когда начинаешь погружаться в сферу NLP, сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно(как проводить операции со словами?).

Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF.

Читать далее

#nlp #ai #machinelearning #deeplearning #python #tfidfvectorizer #numpy #pandas #math #jupyter_notebook | @habr_ai

To Docker or not to Docker? Вот в чём JupyterLab

Локальная работа в Jupyter-ноутбуках – неотъемлемая часть исследований и экспериментов нашего ML-отдела. Но из какой среды эти ноутбуки лучше запускать?

Мы пользуемся двумя вариантами: запуском из Docker-контейнера и запуском в изолированном локальном poetry-окружении.

В статье соберем минимальный сетап для работы с Jupyter-ноутбуками и ссылки на полезные ресурсы для ознакомления. Читать далее

#poetry #docker #docker_compose #mlops #ml #jupyterlab #jupyter #jupyter_notebook #infrastructure #mlops_tools | @habr_ai

Почему Python стал языком нейросетей и как это работает на практике

Python давно перестал быть просто «языком скриптов» и уверенно вышел в лидеры среди инструментов для нейросетей. Его синтаксис понятен «с первого взгляда», а мощные библиотеки позволяют сосредоточиться на идее, а не на рутине. Сегодня, от первых численных расчётов в NumPy до сложных моделей в TensorFlow и PyTorch, всё строится вокруг привычного Python-кода. 

В этой статье мы пройдём путь от базовых скриптов до «ручных» нейросетей и ноукод-решений, чтобы понять, почему именно Python стал стандартом в мире ИИ и как с его помощью оживить ваши первые нейросети. Читать далее

#python_для_анализа_данных #зачем_учить_python #numpy #scipy #jupyter_notebook #julia #машинное_обучение #ручная_реализация_нейросети #как_устроена_нейросеть #стандарты_в_ии | @habr_ai