🔺 Запущен российский huggingface

Ничего себе. Оказывается, что сегодня запускается российский аналог huggingface 🤗.

Пишут, что можно будет хостить все свои модели с пожизненным GPU инференсом.

👉 https://лицосруками.рф

@doomgrad

🔺 Transformer models: an introduction and catalog

Если путаетесь в обилии трансформерных моделей, то вот вам обзор.

🔸 Для каждой модели есть описание, отражающее её суть. Например, ALBERT — это сжатая версия BERT'а, использующая sharing весов.
🔸 Также есть описание основных деталей архитектуры и информация по задачам, на которых модель обучалась (objective).
🔸 У каждой модели есть ссылка на оригинальную статью, если захочется погрузиться в детали.

👉 Читать | Таблица с моделями

Хотел написать про то, что ко мне обратились с просьбой помочь бурятскому языку и мы уже попробовали Lingtrain на нескольких документах.

Но пока времени нет, вот вам картинка про ChatGPT.

Упомянули сейчас в спортзале ChatGPT. Подходит здоровенный качок и спрашивает: "Правда, что у нее есть свое мнение по всем вопросам и что она уже по сути как живой человек?"

#сингулярность

Пришла в голову странная идея, —переобучить сеть на книге, чтобы затем её суммаризовать. Можно попробовать подавать текст по главам, чтобы как-то учесть временную составляющую. Что думаете?

#идеидляризёрча

🔺 Выложили FRED-T5

Еще один подарок от коллег, — на huggingface 🤗 выложили веса новой языковой модели, которая показывает SOTA на RussianSuperGlue.

Обучали, используя денойзеры из статьи UL2 от Google, с несколькими улучшениями.

👉 P.S. Ребята делают много крутого в NLP и PLP. Рассказывают про свою работу здесь.

👉 1.7B | 820M | Детали обучения

🔺 SAM. Сегментируем всё

Поигрался с демо новой модели для сегментации изображений от Meta. Это, конечно, надо попробовать каждому.

🔸 Умеет сегментировать по текстовому описанию ("выдели человека в очках"). В том числе выделение объектов, на которых модель не обучалась.
🔸 Выделение по ключевым точкам и маске.
🔸 Может выдавать границы (bounding box'ы) вокруг всех объектов по запросу.
🔸 Размер 636M параметров. Обучали 3-5 дней на 256 A100.
🔸 Модель открытая (Apache 2.0).

👉 Демо | GitHub | Датасет

Open Assistant уже хорошо умеет на английском, на русском средненько. Датасет инструкций мультиязычный, русского там сейчас 9.6%. Можно помогать с разметкой.

Демо, веса.

#chatgpt

🔺 Помощь языкам

〰️ Бурятский

Помогаем сейчас бурятскому языку. Повыравнивал несколько официальных документов на русском и бурятском и с ними неплохо, так как там перевод почти один к одному. А вот хужожественная литература пока не очень, потому что в LaBSE не было бурятского, а родственный монгольский был в слишком малых количествах.

Тут попробуем дообучить LaBSE на монгольском, так как, кажется, что в сети должны быть русско-монгольские корпуса (киньте, если найдете что-то подобное).

Если кто-то хочет помочь, то присоединяйтесь. Ко мне обратился Тимур Батуров, который сможет рассказать как носитель, какая у него мотивация.

👉 Upd. Завел группу для бурятского.

〰️ Санскрит

Также есть целое сообщество людей, которые занимаются санскритом и пользуются для этого Lingtrain'ом. Язык древний, с письменностью деванагари, очень интересно.

Ребята очень активные, даже выкатили целую презентацию с доработками и пожеланиями для Lingtrain. Часть уже сделал, так что скоро обновлю версию.

Для санскрита делал инструкцию по выравниванию, так что, если кто-то интересуется языком и хочет помочь, то тоже не стесняйтесь, пишите.

👉 Инструкция

🔺 Это GigaChat

Друзья, несколько месяцев мы экспериментировали с инструктивным обучением и потихоньку начинаем делиться нашими наработками в области ChatGPT-подобных моделей.

🔸 Сегодня мы хотим анонсировать наше творение, которое было решено назвать GigaChat, а модели в его основе — NeONKA.

🔸 Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).

🔸 В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).

🔸 Детали "Неонки" мы будем потихоньку выкладывать в открытый доступ, чтобы сообщество могло самостоятельно тренировать подобные модели.

👉 Хабр

Сейчас в Питере светофор сказал мне: «Заканчивай переход». «Хватит командовать мной, глупый робот», — ответил я ему.

#сингулярность