Что такое векторизация текста в NLP и какая она бывает: One-hot encoding, Bag of words, TF-IDF, Word2Vec, BERT и другие
Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников, и в этой статье я расскажу про разные способы векторизации текстов.
Всем привет! Вдохновившись прикольной и понятной статьей на английском языке, и не найдя сходу чего-то похожего в русскоязычном сегменте интернета, решил написать о том, как обрабатывается текст перед тем, как на нем начинают применять разные модели ИИ. Эту статью я напишу нетехническим языком, потому что сам не технарь и не математик. Надеюсь, что она поможет узнать о NLP тем, кто не сталкивается с AI в продуктах на ежедневной основе.
О чем эта статья:
Читать далее
#one_hot_encoding #bag_of_words #tf_idf #word2vec #bert #nlp #nlp_natural_language_processing_ #nlp_модели | @habr_ai
Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников, и в этой статье я расскажу про разные способы векторизации текстов.
Всем привет! Вдохновившись прикольной и понятной статьей на английском языке, и не найдя сходу чего-то похожего в русскоязычном сегменте интернета, решил написать о том, как обрабатывается текст перед тем, как на нем начинают применять разные модели ИИ. Эту статью я напишу нетехническим языком, потому что сам не технарь и не математик. Надеюсь, что она поможет узнать о NLP тем, кто не сталкивается с AI в продуктах на ежедневной основе.
О чем эта статья:
Читать далее
#one_hot_encoding #bag_of_words #tf_idf #word2vec #bert #nlp #nlp_natural_language_processing_ #nlp_модели | @habr_ai
Хабр
Что такое векторизация текста в NLP и какая она бывает: One-hot encoding, Bag of words, TF-IDF, Word2Vec, BERT и другие
Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников , и в этой статье я расскажу про разные способы векторизации текстов. Всем привет! Вдохновившись прикольной и...
😁1
Введение в Feature Engineering для начинающих дата-сайентистов и ML-инженеров
Подготовили гайд о том, какие бывают признаки, когда и с помощью каких методов проводить генерацию фич и как решить распространенные ошибки при работе с признаками.
Составить его помогла Виктория Тюфякова, Senior Data Scientist компании ecom.tech.
Читать далее
#feature_engineering #features #фичи #scaling #one_hot_encoding #scikit_learn #xgboost #shap #lime #feature_selection | @habr_ai
Подготовили гайд о том, какие бывают признаки, когда и с помощью каких методов проводить генерацию фич и как решить распространенные ошибки при работе с признаками.
Составить его помогла Виктория Тюфякова, Senior Data Scientist компании ecom.tech.
Читать далее
#feature_engineering #features #фичи #scaling #one_hot_encoding #scikit_learn #xgboost #shap #lime #feature_selection | @habr_ai
Хабр
Введение в Feature Engineering для начинающих дата-сайентистов и ML-инженеров
Feature Engineering, или генерация признаков — это процесс создания новых признаков (характеристик или фич) из имеющихся данных, чтобы улучшить работу модели машинного обучения. Он может включать...