🔺 Woland-10

Сделал параллельный корпус на 10 языков (ru, be, uk, en, de, it, fr, es, hu, zh) из различных редакций романа Мастер и Маргарита. Всего получилось ~7.5k параллельных групп строк.

〰️ Выровнял при помощи своей выравнивалки Lingtrain (а это, напомню, проект открытый). Получилось довольно быстро, особенно с новой картой, — со своей GPU жизнь действительно заиграла новыми красками 😁

Сначала нашел и разметил 10 текстов на разных языках, потом выровнял каждую пару с оригиналом. Потом все выравнивания совместно. Могу описать подробней, если интересно.

Могут встречаться шероховатости, так как все равно надо дополнительно проверять качество, но в целом выглядит пристойно (если что — пишите), буду ещё улучшать.

🇷🇺 Вино какой страны предпочитаете в это время дня?
🇧🇾 Вiно з якое краiны вы любiце ў гэтую пару дня?
🇺🇦 Вино якої країни вам більше до вподоби цієї пори дня?
🇬🇧 What country's wine do you prefer at this time of day?'
🇩🇪 Den Wein welches Landes bevorzugen Sie zu dieser Tageszeit?"
🇫🇷 Du vin de quel pays préférez-vous, à cette heure de la journée ?
🇮🇹 Il vino di quale paese preferisce a quest'ora del giorno?
🇪🇸 ¿De qué país lo prefiere a esta hora del día?
🇭🇺 Milyen bort szeret a legjobban ilyenkor déltájban?
🇨🇳 平常在这个时间您喜欢喝哪国产的葡萄酒？

👉 GitHub

@doomgrad

#nlp #lecture

🚀 Третья лекция Карпати

Андрей выпустил следующее занятие о языковом моделировании и о сетках в целом. Как он сам говорит "Если вы не поймете моих объяснений, то я съем ботинок" 👞.

На пути к построению GPT-подобной модели мы уже рассмотрели статистические подходы, познакомились с pytorch и идеей backpropagation.

В этой лекции идем дальше и погружаемся в deep learning. Слушается легко, как и предыдущие лекции. Сейчас еще добавлю расшифровки лекций whisper'ом 👄.

👉 Материалы лекций | Видео | makemore

🔺 Мультиязычное распознавание речи с Whisper

Наконец дошли руки до ASR модели whisper от OpenAI. Она, по заверениям авторов, умеет распознавать с 90+ языков (хотя только для 5-ти языков из всех данных было более 100 тыс. часов, русский в том числе).

〰️ Качество хорошее, хотя иногда может зацикливаться, так как модель авторегрессионная. Еще она умеет генерировать субтитры и определять язык, так что модель полезная.

Написал про это статью на хабр с примерами и нюансами использования. Транскрибировал несколько выпусков Своей игры и лекции Карпати для примера.

👉 Статья | whisper

#nlp #open_source

🔺 UL2. Mixture of denoisers

Друзья, тот момент, когда Google выложил свои наработки в open-source. А именно языковую модель на 20B параметров, которая показывает себя отлично одновременно на двух типах постановки задач:

• Fine-tuning (дообучение под конкретную задачу)
• In context learning (few-shot — даем несколько целевых примеров в качестве затравки и chain of thought — подсказываем модели как надо рассуждать)

〰️ Обычно модели ведут себя значительно лучше в одном из указанных режимов, так как на это влияет задача (objective), которую модель учится решать во время тренировки.

В UL2 ребята применили подход Mixture of Denoisers, при котором есть несколько objective, которые выбираются случайно с учетом заданной человеком пропорции.

А свой лучший чекпоинт авторы выложили в открытый доступ.

👉 GitHub | Блог | Статья

#nlp #transformers

Про параллелизм

Красивый слайд из курса CS25. В последних двух колонках у нас sparse модели (MoE). Одним цветом обозначены одни и те же копии данных.

〰️ Зачем?

При масштабировании архитектуры и тренировочных данных можно упереться в ограничения по памяти/времени. Для параллельного обучения на нескольких устройствах и приходится что-то партиционировать — либо данные, либо модель, либо все вместе.

#новости

Друзья, все стремительно меняется, вот и я ухожу из одной компании и выхожу в другую. IT-мир очень тесен и среди подписчиков есть люди из обоих мест (шалом, ребята).

Хочу порекомендовать предыдущего работодателя — Криптонит (крипто- здесь от слова криптография, а не крипта 😁), где я занимался NLP в лаборатории больших данных. В компании работает много толковых людей, есть мощный грандмастер Юра и крутой роботостроитель Олег. В команды набирают сотрудников, так что, кому интересно, — пишите Карине @karinish.

А еще коллеги придумали и сделали целый музей — Музей Криптографии, который откроется в ноябре (я уже был на экскурсии, там очень круто).

P.S. Куда перехожу, напишу после выхода. Всем добра! 🤝

#ml #transformers

🔺 Transformers United

Самая вездесущая на сегодняшний день архитектура в DL — это трансформеры. Есть сотни их модификаций и применений, берущих начало из оригинальной статьи.

Для погружения в тему можно посмотреть актуальный курс от Стенфорда [cs25] — Transformers United (содержание курса).

👉 Лекции и TLDR;

1️⃣ Что такое трансформер. tldr; Предыстория, применение. Про энкодер и декодер. Механизм внимания (attention). Недостатки (квадратичная сложность).

2️⃣ NLP. Развитие GPT подобных моделей. tldr; Универсальность авторегрессионных моделей. Обучение без учителя (unsupervised learning). Генерация кода, сэмплирование.

3️⃣ CV. Про Visual Transformer (ViT). tldr; BigTransfer (BiT). Как делали ViT (делили картинку на патчи). Эксперименты с глубиной/шириной слоев (увеличивали/уменьшали).

4️⃣ RL. Decision Transformer. tldr; Трансформеры в задачах обучения с подкреплением. Онлайн и оффлайн обучение. Нестабильность обучения.

5️⃣ Mixture of Experts. Улучшаем Switch Transformer. Sparse модели (во время инференса активируется только часть весов) → триллионы параметров. Трюки с инициализацией (уменьшаем масштаб, увеличивая стабильность). Load Balance loss для обучения экспертов разной семантике.

6️⃣ Perceiver. Кросс-модальные взаимодействия. tldr; Модальностей в мире много (картинки, звуки, текст, датчики, ряды, т.д.). Хотим выучивать взаимодействия между модальностями. Deepmind.

7️⃣ Non-parametric transformers. Альтернативные подходы в обучении. Извлекаем зависимости из всего датасета сразу. Рассказ от автора статьи.

8️⃣ Transformers circuits. tldr; Интерпретируемость. Сравнение нейросети и скомпилированного кода. Как сделать reverse engineering? (До конца непонятно).

9️⃣ Аудио. tldr; Звуки и их представления, мел-спектрограммы. Сигнал непрерывен, нужно дискретизировать. Wavelets.

🔟 Бонус от Джеффри Хинтона. tldr; Размышления о том, чтобы сети понимали изображения и язык как люди (part-whole hierarchy). Рассказывает про идею GLOM (от слова aglomerate). Чтобы разобраться, надо читать статью.

👋 Друзья! Нас здесь собралось 1024 человека, – можно сказать, килочелобайт. И так совпало, что у меня сегодня ДР.

🎈 Пара слов про именинника: характер нордический зовут Сергеем. Родился на Колыме, ел, пил, писал бэкенд, перешел в ML. Увлекается языками, футболом, музыкой, NLP, научной фантастикой, чем угодно, лишь бы не работать. В порочащих связях, к сожалению, замечен не был.

👉 И к новостям, — вышел на новое место работы в замечательную команду AGI NLP в SberDevices (ruGPT, mGPT, Russian SuperGLUE — их рук дело). Попытаюсь соответствовать уровню и принести пользу в области мультиязычных и мультимодальных моделей 😄

〰️

#book #future

📚 Трансгуманизм, душа и пустота

Читаю книгу "Искусственный ты" за авторством Сьюзан Шнайдер. Тема книги — будущее разума и искусственного интеллекта.

🔸 Если мы будем модифицировать мозг устройствами, то в какой момент мы перестанем быть самими собой?
🔸 Есть ли принципиальная возможность скопировать личность на цифровой носитель?
🔸 Как проверить, есть ли у нейросети сознание? (Да, уже есть такие тесты).

🧠 Есть несколько направлений по поводу того, что считать сознанием. Очень логичным кажется паттернизм, — для идентификации личности важен не носитель, а некий набор шаблонов, который делает нас собой.

Ведь человек, который был тобой в детстве, и ты сегодняшний состоите из разных клеток (у вас разные тела, все клетки уже по нескольку раз обновились), тем не менее мы считаем, что это одна и та же личность.

🦾 Такой подход допускает и радикальное усовершенствование мозга и перенос на цифровой носитель и прочий киберпанк. Но есть и другие теории, каждая из которых имеет право на жизнь.

👉 Книга заслуживает внимания, рекомендую. Скидывайте, если читаете что-то интересное.

"Это всё придумал Юрген в 18-м году" (с)

Юрген Шмидхубер славится не только тем, что придумал LSTM и имеет под 200 тысяч цитирований на Google Scholar, но и тем, что любит говорить уважаемым людям, что их изобретения уже давно придуманы им и его командой.

Оказывается, что недавний топ-5 прорывных идей AI за прошедшее десятилетие (по версии Ле Куна, список годный) ожидаемо были лишь развитием прошлых работ мастера 😁

👉 Пруф