🔺 Новости недели #ml_news

🔸 Обрусевшая Альпака. Сообщество активно взялось за создание аналога ChatGPT для русского языка и повторяет подход Stanford Alpaca. Уже собран датасет с инструкциями. Ведется его валидация через бота — @InstructAnnotBot. Проверка каждого примера двигает процесс вперед, так что подключайтесь! (Советы по проверке здесь).
🔸 PANGU-Σ. Huawei натренировали языковую модель на 1.085T параметров. Сделали все на своем кластере из Ascend 910 и фреймворке MindSpore. Тестили год назад с коллегами такой сетап на одной карте, и либо он был сырой, либо руки кривые, но смогли завести только пару простых CV сеток. Видимо, MindSpore — убийца PyTorch (в Китае).
🔸 Плагины для ChatGPT. На волне успеха OpenAI реализовала альфа-версию механизма плагинов. Разработчики из waitlist'а могут начинать действовать, есть документация.
🔸 Файнтюним LLaMA. Репозиторий Simple LLaMA Finetuner для простого дообучения 7B модели через LoRA. С небольшим датасетом и длинной контекста 256 заведется даже в Colab'е. Напоминаю, что токенизация для русского в LLaMA практически посимвольная, так что контекст поместится небольшой.
🔸 Nvidia GTC. Прошла ежегодная конференция от Nvidia. Вот keynote с его главой Хуангом. Анонсировали видеокарту H100 NVL на 192 GB (!).

Обнаружил, что GitHub Copilot раздают бесплатно, если у вас есть пара проектов со звездочками, проверьте у себя в профиле.

Сейчас потестим

👉 Upd. Попробуйте зайти со страницы Copilot X и получить доступ там. После этого должно появиться в профиле.

👉 Upd2. Настроил плагин для VS Code, работает.

🔺 Запущен российский huggingface

Ничего себе. Оказывается, что сегодня запускается российский аналог huggingface 🤗.

Пишут, что можно будет хостить все свои модели с пожизненным GPU инференсом.

👉 https://лицосруками.рф

@doomgrad

🔺 Transformer models: an introduction and catalog

Если путаетесь в обилии трансформерных моделей, то вот вам обзор.

🔸 Для каждой модели есть описание, отражающее её суть. Например, ALBERT — это сжатая версия BERT'а, использующая sharing весов.
🔸 Также есть описание основных деталей архитектуры и информация по задачам, на которых модель обучалась (objective).
🔸 У каждой модели есть ссылка на оригинальную статью, если захочется погрузиться в детали.

👉 Читать | Таблица с моделями

Хотел написать про то, что ко мне обратились с просьбой помочь бурятскому языку и мы уже попробовали Lingtrain на нескольких документах.

Но пока времени нет, вот вам картинка про ChatGPT.

Упомянули сейчас в спортзале ChatGPT. Подходит здоровенный качок и спрашивает: "Правда, что у нее есть свое мнение по всем вопросам и что она уже по сути как живой человек?"

#сингулярность

Пришла в голову странная идея, —переобучить сеть на книге, чтобы затем её суммаризовать. Можно попробовать подавать текст по главам, чтобы как-то учесть временную составляющую. Что думаете?

#идеидляризёрча

🔺 Выложили FRED-T5

Еще один подарок от коллег, — на huggingface 🤗 выложили веса новой языковой модели, которая показывает SOTA на RussianSuperGlue.

Обучали, используя денойзеры из статьи UL2 от Google, с несколькими улучшениями.

👉 P.S. Ребята делают много крутого в NLP и PLP. Рассказывают про свою работу здесь.

👉 1.7B | 820M | Детали обучения

🔺 SAM. Сегментируем всё

Поигрался с демо новой модели для сегментации изображений от Meta. Это, конечно, надо попробовать каждому.

🔸 Умеет сегментировать по текстовому описанию ("выдели человека в очках"). В том числе выделение объектов, на которых модель не обучалась.
🔸 Выделение по ключевым точкам и маске.
🔸 Может выдавать границы (bounding box'ы) вокруг всех объектов по запросу.
🔸 Размер 636M параметров. Обучали 3-5 дней на 256 A100.
🔸 Модель открытая (Apache 2.0).

👉 Демо | GitHub | Датасет

Open Assistant уже хорошо умеет на английском, на русском средненько. Датасет инструкций мультиязычный, русского там сейчас 9.6%. Можно помогать с разметкой.

Демо, веса.

#chatgpt