#чтивонаночь

Недавно от заказчика пришел запрос сделать классификатор текстов. При этом ни обучающих данных, ни домена, ни количества классов он предоставлять не стал.

Штош. Сделал TF-IDF + логрег, засунул в два докера — train и predict, написал как пользоваться и отдал.

Через какое-то время ко мне вернулись со словами, что балалайка не работает. Подумал. Так как это бейзлайн и хоть как-то он работать должен, то дело может быть в их разметке.

Попросил взять немного данных, дать нескольким сотрудникам на разметку и посмотреть совпадут ли они с между собой и с обучающей выборкой.

Тут заказчик сознался, что классов несколько сотен, тексты размечаются автоматически на уровне рандома и что человеки само собой тоже путаются. А на самом деле им нужно поделить на два класса спам/не спам.

Общайтесь с заказчиком и сначала делайте бейзлайн. Аминь.

#notes #data #nlp #lingtrain

Делаем корпус парафраз

Если выровнять два текста на разных языках, то получится параллельный корпус. Если выравнивать тексты на одном языке, — то корпус парафраз (предложений, имеющих один смысл, но написанных по разному).

💡 Пришла в голову идея по использованию lingtrain'а для выравнивания переводов книг на одном языке.

〰️ Зачем?

Обычно такие корпуса используют для обучения генеративных моделей переписывать тексты с сохранением смысла, переноса стиля или аугментирования.

Кроме того, так как это не просто тексты, а профессиональные художественные переводы, то и сам корпус будет представлять из себя интерес (можно будет, например, проанализировать разницу между переводами Норы Галь и современными переводчиками).

Если к нему добавить еще и оригинальный текст, то получится референсный словарь для переводчиков с несколькими вариантами.

➕ Из плюсов видится то, что книг для выравнивания много — классика и популярные произведения часто переводятся по нескольку раз разными переводчиками. Предложения получаются очень разнообразными (иногда даже слишком), так как каждый переводчик имеет свой неповторимый стиль.

➖Последний пункт может являться и минусом, так как некоторые переводчики склонны чересчур обогащать текст. На это надо обратить внимание перед выравниванием.

👉 P.S. Попробовал на русских переводах Агаты Кристи, получается довольно неплохо.

GitHub c выравнивателем | agata.tmx

#notes #nlp #books

NLP против Тарантино

📚 Попалась на глаза книжка "The Secret Life of Pronouns". В ней при помощи инструментов обработки текста автор изучает аспекты использования функциональных слов.

Это такие слова, которые обозначают отношения между словами, но сами по себе не несут почти никакой смысловой нагрузки (к таким можно отнести предлоги, частицы, артикли и союзы).

Так вот, изучив сценарии Тарантино, Пеннебейкер приходит к выводу, что героини в фильмах этого режиссера разговаривают как мужчины. Затем он идет дальше и видит, что и сам "The Bard", а другими словами Шекспир, хоть и мастерски описывал сложные жизненные ситуации женщин, тоже использует функциональные слова в мужской стилистике.

💡Думаю, из этого можно вынести не только то, что Тарантино и Шекспир "fails at getting inside the minds of women", но и то, что в тексте заложена информация об авторе — пол, возраст, настроение, стиль, актуальность.

Это значит, что можно не только определять эти показатели, но и извлекать их и переносить на другие тексты. Например, сделать так, чтобы конкретный текст выглядел, как будто его написала женщина-ученый среднего возраста или школьник 19-го века.

👉 Идея не нова и такие исследования есть, но, кажется, что в данной задаче можно более продуктивно использовать ресурс переводов — переводчики работающие над одним текстом могут быть разного возраста и пола. Тем самым мы получаем корпус парафраз, в котором одни и те же предложения написаны в разной стилистике. По-моему, это был бы полезный ресурс в задаче переноса стиля.

#colab #cv #useful

Детекция произвольных объектов

Выложена очередная полезная сетка. На этот раз при помощи CLIP (модель, совместно натренированная на текстах и картинках) реализована детекция объектов по тексту. Реализовано это по статье "Simple Open-Vocabulary Object Detection with Vision Transformers" и названо OWL-ViT.

Если раньше нужно было знать, что мы хотим детектировать (машины, лица и т.д.) еще перед началом обучения, то теперь сделан шаг в сторону Open-vocabulary детекции.

👆 На картинке я попробовал найти "ботинок", "лицо", "пиджак", "чемодан" и "ножку от скамейки". При поиске можно задавать порог уверенности.

Чем проще запрос тем качественнее детекция, — попробовал на фотке Роналду и Месси найти Роналду и Месси, сеть распознала обоих как Роналду, так что определенный bias есть 😁.

〰️ Зачем?

Задача детекции (фото- и видеоаналитика) очень распространена. По кадрам с камер определяют номера машин и лица людей. Приложения находят товары в магазинах по фото. На медицинских снимках ищутся патологии и т.д. Также детекция используется при составлении датасетов, когда нужно среди миллионов изображений найти и вырезать какой-то объект.

Сеть выложена на huggingface, можно пробовать.

👉 Colab | Huggingface | Статья

#asr #repo

Потоковое распознавание речи

👄 Если вы занимаетесь распознаванием речи, то знаете, что есть проект NeMo от NVIDIA, в котором реализованы плюс-минус все SOTA архитектуры (Conformer-CTC, Conformer-Transducer, etc.). Какое-то время назад я занимался ASR и смотрел это решение, — есть скрипты для обучения, качество распознавания получается хорошее. Особенно, если обучить и добавить LM (обычно это kenlm) для рескоринга гипотез акустической модели.

Так вот, можно было без проблем обучить отличную оффлайн модель. Но если попробовать сделать на ней стриминг (распознавание в realtime), то ничего хорошего не выйдет, — сильно упадет качество (мы хотим быстрый отклик, режем контекст, модели становится плохо).

Есть ряд статей о том как делать такие модели, например вот эта от Microsoft. В ней предлагается изменить не архитектуру, а процесс тренировки, — при помощи масок подавать на обучение ограниченный заданным параметром контекст. Мы такой подход не реализовали, но если долго сидеть у реки, то можно увидеть как плывет pull request.

👉 Недавно PR с этим подходом въехал в основную ветку NeMo. Что там по качеству надо смотреть, но появились скрипты и примеры для обучения online ASR. Кто будет пробовать, напишите как оно.

GitHub | код / примеры