#опятьэтолицо #pr #habr

〰️ Рассказывал недавно коллегам про то, как переходил в машинное обучение (занимаюсь в основном NLP), — какие были трудности и легкости.

Особенных советов, по-моему, не дал, но все же. Если кто-то тоже хочет ворваться в NLP или в другой ML, то давайте обсудим. Пишите, что вас останавливает или наоборот, мотивирует (это важно).

👉 Хабр

#news #video #models

CogVideo — генерируем видео по тексту

🇨🇳 Китайские коллеги из Tsinghua University выложили веса модели CogVideo.

〰️ Что это?

Это модель, которая позволяет сгенерировать уже не одну статическую картинку, а последовательность кадров, из которых можно сделать видео.

〰️ Что внутри?

Внутри трансформерная модель, размером в 9B параметров. Генерация происходит их предыдущей разработкой — моделью CogView2, которая рисует картинки по тексту. При обучении придумали добавлять к входной последовательности частотный frame-rate токен. Картинки для обучения сэмплирутся из видео с этой же частотой.

👉 Как и остальные исследователи, авторы беспокоятся о генерации фейков, но модель в открытый доступ все же выложили. Какие молодцы.

GitHub, Статья, Демо

#news #tools

🧨 Diffusers

Huggingface выкатили новую библиотеку под названием diffusers. В ней будут собраны предтренированные диффузионные генеративные модели.

• для генерации аудио
• для RL (обучение с подкреплением)
• для генерации видео
• само собой и для картинок тоже

👉 Можно дообучать на своем датасете, менять пайплайн генерации, задавать различные виды шума (из которого проявляется результат).

Модели добавляются, уже можно подгружать генераторы изображений. Можно поиграться тут (порисовать лица несуществующих знаменитостей).

GitHub

#чтивонаночь

Недавно от заказчика пришел запрос сделать классификатор текстов. При этом ни обучающих данных, ни домена, ни количества классов он предоставлять не стал.

Штош. Сделал TF-IDF + логрег, засунул в два докера — train и predict, написал как пользоваться и отдал.

Через какое-то время ко мне вернулись со словами, что балалайка не работает. Подумал. Так как это бейзлайн и хоть как-то он работать должен, то дело может быть в их разметке.

Попросил взять немного данных, дать нескольким сотрудникам на разметку и посмотреть совпадут ли они с между собой и с обучающей выборкой.

Тут заказчик сознался, что классов несколько сотен, тексты размечаются автоматически на уровне рандома и что человеки само собой тоже путаются. А на самом деле им нужно поделить на два класса спам/не спам.

Общайтесь с заказчиком и сначала делайте бейзлайн. Аминь.

#notes #data #nlp #lingtrain

Делаем корпус парафраз

Если выровнять два текста на разных языках, то получится параллельный корпус. Если выравнивать тексты на одном языке, — то корпус парафраз (предложений, имеющих один смысл, но написанных по разному).

💡 Пришла в голову идея по использованию lingtrain'а для выравнивания переводов книг на одном языке.

〰️ Зачем?

Обычно такие корпуса используют для обучения генеративных моделей переписывать тексты с сохранением смысла, переноса стиля или аугментирования.

Кроме того, так как это не просто тексты, а профессиональные художественные переводы, то и сам корпус будет представлять из себя интерес (можно будет, например, проанализировать разницу между переводами Норы Галь и современными переводчиками).

Если к нему добавить еще и оригинальный текст, то получится референсный словарь для переводчиков с несколькими вариантами.

➕ Из плюсов видится то, что книг для выравнивания много — классика и популярные произведения часто переводятся по нескольку раз разными переводчиками. Предложения получаются очень разнообразными (иногда даже слишком), так как каждый переводчик имеет свой неповторимый стиль.

➖Последний пункт может являться и минусом, так как некоторые переводчики склонны чересчур обогащать текст. На это надо обратить внимание перед выравниванием.

👉 P.S. Попробовал на русских переводах Агаты Кристи, получается довольно неплохо.

GitHub c выравнивателем | agata.tmx

#notes #nlp #books

NLP против Тарантино

📚 Попалась на глаза книжка "The Secret Life of Pronouns". В ней при помощи инструментов обработки текста автор изучает аспекты использования функциональных слов.

Это такие слова, которые обозначают отношения между словами, но сами по себе не несут почти никакой смысловой нагрузки (к таким можно отнести предлоги, частицы, артикли и союзы).

Так вот, изучив сценарии Тарантино, Пеннебейкер приходит к выводу, что героини в фильмах этого режиссера разговаривают как мужчины. Затем он идет дальше и видит, что и сам "The Bard", а другими словами Шекспир, хоть и мастерски описывал сложные жизненные ситуации женщин, тоже использует функциональные слова в мужской стилистике.

💡Думаю, из этого можно вынести не только то, что Тарантино и Шекспир "fails at getting inside the minds of women", но и то, что в тексте заложена информация об авторе — пол, возраст, настроение, стиль, актуальность.

Это значит, что можно не только определять эти показатели, но и извлекать их и переносить на другие тексты. Например, сделать так, чтобы конкретный текст выглядел, как будто его написала женщина-ученый среднего возраста или школьник 19-го века.

👉 Идея не нова и такие исследования есть, но, кажется, что в данной задаче можно более продуктивно использовать ресурс переводов — переводчики работающие над одним текстом могут быть разного возраста и пола. Тем самым мы получаем корпус парафраз, в котором одни и те же предложения написаны в разной стилистике. По-моему, это был бы полезный ресурс в задаче переноса стиля.

#colab #cv #useful

Детекция произвольных объектов

Выложена очередная полезная сетка. На этот раз при помощи CLIP (модель, совместно натренированная на текстах и картинках) реализована детекция объектов по тексту. Реализовано это по статье "Simple Open-Vocabulary Object Detection with Vision Transformers" и названо OWL-ViT.

Если раньше нужно было знать, что мы хотим детектировать (машины, лица и т.д.) еще перед началом обучения, то теперь сделан шаг в сторону Open-vocabulary детекции.

👆 На картинке я попробовал найти "ботинок", "лицо", "пиджак", "чемодан" и "ножку от скамейки". При поиске можно задавать порог уверенности.

Чем проще запрос тем качественнее детекция, — попробовал на фотке Роналду и Месси найти Роналду и Месси, сеть распознала обоих как Роналду, так что определенный bias есть 😁.

〰️ Зачем?

Задача детекции (фото- и видеоаналитика) очень распространена. По кадрам с камер определяют номера машин и лица людей. Приложения находят товары в магазинах по фото. На медицинских снимках ищутся патологии и т.д. Также детекция используется при составлении датасетов, когда нужно среди миллионов изображений найти и вырезать какой-то объект.

Сеть выложена на huggingface, можно пробовать.

👉 Colab | Huggingface | Статья