#nlp #open_source

🔺 UL2. Mixture of denoisers

Друзья, тот момент, когда Google выложил свои наработки в open-source. А именно языковую модель на 20B параметров, которая показывает себя отлично одновременно на двух типах постановки задач:

• Fine-tuning (дообучение под конкретную задачу)
• In context learning (few-shot — даем несколько целевых примеров в качестве затравки и chain of thought — подсказываем модели как надо рассуждать)

〰️ Обычно модели ведут себя значительно лучше в одном из указанных режимов, так как на это влияет задача (objective), которую модель учится решать во время тренировки.

В UL2 ребята применили подход Mixture of Denoisers, при котором есть несколько objective, которые выбираются случайно с учетом заданной человеком пропорции.

А свой лучший чекпоинт авторы выложили в открытый доступ.

👉 GitHub | Блог | Статья

#nlp #transformers

Про параллелизм

Красивый слайд из курса CS25. В последних двух колонках у нас sparse модели (MoE). Одним цветом обозначены одни и те же копии данных.

〰️ Зачем?

При масштабировании архитектуры и тренировочных данных можно упереться в ограничения по памяти/времени. Для параллельного обучения на нескольких устройствах и приходится что-то партиционировать — либо данные, либо модель, либо все вместе.

#новости

Друзья, все стремительно меняется, вот и я ухожу из одной компании и выхожу в другую. IT-мир очень тесен и среди подписчиков есть люди из обоих мест (шалом, ребята).

Хочу порекомендовать предыдущего работодателя — Криптонит (крипто- здесь от слова криптография, а не крипта 😁), где я занимался NLP в лаборатории больших данных. В компании работает много толковых людей, есть мощный грандмастер Юра и крутой роботостроитель Олег. В команды набирают сотрудников, так что, кому интересно, — пишите Карине @karinish.

А еще коллеги придумали и сделали целый музей — Музей Криптографии, который откроется в ноябре (я уже был на экскурсии, там очень круто).

P.S. Куда перехожу, напишу после выхода. Всем добра! 🤝

#ml #transformers

🔺 Transformers United

Самая вездесущая на сегодняшний день архитектура в DL — это трансформеры. Есть сотни их модификаций и применений, берущих начало из оригинальной статьи.

Для погружения в тему можно посмотреть актуальный курс от Стенфорда [cs25] — Transformers United (содержание курса).

👉 Лекции и TLDR;

1️⃣ Что такое трансформер. tldr; Предыстория, применение. Про энкодер и декодер. Механизм внимания (attention). Недостатки (квадратичная сложность).

2️⃣ NLP. Развитие GPT подобных моделей. tldr; Универсальность авторегрессионных моделей. Обучение без учителя (unsupervised learning). Генерация кода, сэмплирование.

3️⃣ CV. Про Visual Transformer (ViT). tldr; BigTransfer (BiT). Как делали ViT (делили картинку на патчи). Эксперименты с глубиной/шириной слоев (увеличивали/уменьшали).

4️⃣ RL. Decision Transformer. tldr; Трансформеры в задачах обучения с подкреплением. Онлайн и оффлайн обучение. Нестабильность обучения.

5️⃣ Mixture of Experts. Улучшаем Switch Transformer. Sparse модели (во время инференса активируется только часть весов) → триллионы параметров. Трюки с инициализацией (уменьшаем масштаб, увеличивая стабильность). Load Balance loss для обучения экспертов разной семантике.

6️⃣ Perceiver. Кросс-модальные взаимодействия. tldr; Модальностей в мире много (картинки, звуки, текст, датчики, ряды, т.д.). Хотим выучивать взаимодействия между модальностями. Deepmind.

7️⃣ Non-parametric transformers. Альтернативные подходы в обучении. Извлекаем зависимости из всего датасета сразу. Рассказ от автора статьи.

8️⃣ Transformers circuits. tldr; Интерпретируемость. Сравнение нейросети и скомпилированного кода. Как сделать reverse engineering? (До конца непонятно).

9️⃣ Аудио. tldr; Звуки и их представления, мел-спектрограммы. Сигнал непрерывен, нужно дискретизировать. Wavelets.

🔟 Бонус от Джеффри Хинтона. tldr; Размышления о том, чтобы сети понимали изображения и язык как люди (part-whole hierarchy). Рассказывает про идею GLOM (от слова aglomerate). Чтобы разобраться, надо читать статью.

👋 Друзья! Нас здесь собралось 1024 человека, – можно сказать, килочелобайт. И так совпало, что у меня сегодня ДР.

🎈 Пара слов про именинника: характер нордический зовут Сергеем. Родился на Колыме, ел, пил, писал бэкенд, перешел в ML. Увлекается языками, футболом, музыкой, NLP, научной фантастикой, чем угодно, лишь бы не работать. В порочащих связях, к сожалению, замечен не был.

👉 И к новостям, — вышел на новое место работы в замечательную команду AGI NLP в SberDevices (ruGPT, mGPT, Russian SuperGLUE — их рук дело). Попытаюсь соответствовать уровню и принести пользу в области мультиязычных и мультимодальных моделей 😄

〰️

#book #future

📚 Трансгуманизм, душа и пустота

Читаю книгу "Искусственный ты" за авторством Сьюзан Шнайдер. Тема книги — будущее разума и искусственного интеллекта.

🔸 Если мы будем модифицировать мозг устройствами, то в какой момент мы перестанем быть самими собой?
🔸 Есть ли принципиальная возможность скопировать личность на цифровой носитель?
🔸 Как проверить, есть ли у нейросети сознание? (Да, уже есть такие тесты).

🧠 Есть несколько направлений по поводу того, что считать сознанием. Очень логичным кажется паттернизм, — для идентификации личности важен не носитель, а некий набор шаблонов, который делает нас собой.

Ведь человек, который был тобой в детстве, и ты сегодняшний состоите из разных клеток (у вас разные тела, все клетки уже по нескольку раз обновились), тем не менее мы считаем, что это одна и та же личность.

🦾 Такой подход допускает и радикальное усовершенствование мозга и перенос на цифровой носитель и прочий киберпанк. Но есть и другие теории, каждая из которых имеет право на жизнь.

👉 Книга заслуживает внимания, рекомендую. Скидывайте, если читаете что-то интересное.

"Это всё придумал Юрген в 18-м году" (с)

Юрген Шмидхубер славится не только тем, что придумал LSTM и имеет под 200 тысяч цитирований на Google Scholar, но и тем, что любит говорить уважаемым людям, что их изобретения уже давно придуманы им и его командой.

Оказывается, что недавний топ-5 прорывных идей AI за прошедшее десятилетие (по версии Ле Куна, список годный) ожидаемо были лишь развитием прошлых работ мастера 😁

👉 Пруф

🚀 SD 2.0 и Depth-Conditional SD

Несколько часов назад на 🤗 выложили чекпоинты новой версии Stable Diffusion!

Кроме того, в репозитории на GitHub появилась еще одна модель — Depth-Conditional SD, которая позволяет делать генерацию по картинке с сохранением формы (пример наверху).

Для этого, через MiDaS строится карта глубины изображения с последующим обуславливанием SD на эту карту. Выглядит очень круто.

👉 GitHub | SD 2.0 | Depth-Conditional SD

👉 Upd. Завели в колабе

👉 Upd 2. Добавили в diffusers