«Во всякой вещи скрыт узор, который есть часть Вселенной. В нём есть симметрия, элегантность и красота — качества, которые прежде всего схватывает всякий истин...

Представте себе, как было бы удобно, написать предложение и найти похожее к нему по смыслу. Для этого нужно уметь векторизовать всё предложение, что может быть о...

Что нужно, чтобы с помощью BERT организовать поиск похожих текстов, а также как можно решить задачу многоклассовой классификации нестандартным способом. Введение Эта статья является логическим...

Эмбеддинги текстов (они же семантические векторные представления) обычно получают из нейросетевых языковых моделей и затем используют в прикладных задачах: классификации,...

Немного патетики Для семантического анализа обычно используется косинусное сходство — довольно привычный и всем понятный инструмент. В современном мире NLP часто отдается предпочтение более...

Казалось бы, в посгресе и так есть неплохой полнотекстовый поиск (tsvector/tsquery), и вы из коробки можете проиндексировать ваши тексты, а потом поискать по ним. Но на самом деле это не совсем то,...

Приветствую, хабровчане! Сегодня хочу рассказать вам историю о том, как я обучил простую и компактную независящую от языка (language agnostic) модель-эмбеддер, которая умеет работать с техническими...

Работая с прикладными задачами для больших языковых моделей (LLM), постепенно понимаешь, что большинство задач сводятся к двум основным целям: Структурирование неструктурированных данных:...