Как и любая технология, NLP несовершенна. В основном ошибки в обработке и создании текста случаются из-за низкого качества и объема данных, на которых они обучались. Часто модели GPT-3 сбоят, если в основе плохо размеченные данные.

Второй фактор: многозначность языка. Метафоры, сарказм или несколько значений слова сбивают с толку NLP-модели. Отсюда возникают мемы из Google Translate с неверным переводом или созданием новых слов. В «Яндекс.Переводчике», например, этот баг снизили до 1% благодаря двойному переводу от статистической модели и нейросетей.

Еще один риск — злоупотребление NLP. ChatGPT в руках киберпреступников создает фишинговые письма, дипфейки, вирусы и плагины для браузеров. Чат-бот может даже пройти капчу. Все это лишь усиливает запрос бизнеса на опытных NLP-инженеров, которые отвечают за качество работы таких решений и интеграцию моделей в реальные продукты.

#касаемо_трендов

Fine-tuning на небольших датасетах👇🏻

В конце недели поговорим про fine-tuning — дообучение большой языковой модели для решения узких задач на специальном датасете. Сейчас есть тренд на работу с маленькими языковыми моделями (SLM): DistilBERT, TinyGPT или ALBERT. Этот подход актуален для мобильных и облачных сервисов из-за своей энергоемкости.

Основной плюс — маленькие модели быстрее обучаются, требуют меньше памяти и вычислительных мощностей. Как следствие, снижается стоимость и риски передачи данных на сторонние ресурсы. В остальном, процесс fine-tuning включает те же этапы: выбор модели, подготовка данных, настройка параметров обучения и тестирование.

#конец_недели