Давно я что-то не писал интересных обзоров и снова здравствуйте! Появилось время наконец⏳

🚀BLOOMChat: An Open-Source 176-Billion-Parameter Multilingual Chat Large Language Model

SambaNova на днях выпустила свой мультиязычный чатбот на основе 176 млрд. языковой модели BLOOM. Поддерживает 46 языков, 13 языков программирования.

BLOOM сама по себе очень большая опенсурс языковая модель, которая развивается огромным штатом международного комьюнити. В итоге эту модель удачно дотюнили на формате чат диалогов с помощью датасетов OpenChatKit, Dolly 2.0 и OASST1. Первый сет - исключительно синтетические диалоги, а последующие два - естественные диалоги.

Самый интересный результат - это human evaluation модели на 6 языках, в ходе которого BLOOMChat близок к GPT-4 по предпочтения ответов пользователями - 45% vs 55%. В задаче машинного перевода BLOOMChat тоже преуспел в качестве.

Создатели отмечают возможную токсичность модели, способность придумывать несуществующие факты и конечно предупреждают об ответственности за harmful контент😉

📌HuggingFace
📌Blog
+ несколько результатов сравнения модели в аттаче

@complete_ai

Kandinsky 2.?🤔

⚡️⚡️⚡️Generating Images with Multimodal Language Models
(от создателей FROMAGe)

Команда Carnegie Mellon University представила новое мультимодальное решение, которое позволяет использовать изображения в контексте языковой модели не только в качестве input’а, но и для генерации output’а. Другими словами, генерация изображений доступна теперь нативно. Всего обучается несколько небольших линейных мапперов и GILL трансформер, а остальные части архитектуры заморожены.

🔥Понимание изображений - обычный линейный маппинг на эмбеддингах замороженных картиночном энкодере и LLM (обучение на парах данных для задачи image captioning)

🔥Генерация спецтокенов - добавляется r [IMG] токенов для обогащения словаря LLM и учится небольшой трансформер - маппер, который позволяет модели понимать изображения. Учится отдельная матрица весов E, а LLM остаётся замороженной

🔥Генерация изображений - обучается GILLMapper - энкодер-декодерный трансформер из 4х слоёв, который использует в качестве condition - скрытые состояния токенов IMG из языковой модели. На выходе он позволяет получать L обучаемых эмбеддингов языковой модели для входа генеративной text2image модели (StableDiffusion) - принцип похож на DETR и BLIP-2. То есть по сути учится маппить hidden state спецтокенов в пространство текстового энтодерма text2image модели

🔥Image retrieval - добавляются еще два линейных маппинга t2i и i2t и соответствующий InfoNCELoss для задачи retrieval.
Все 4 режима объединяются в одной функции потерь и учатся на датасете ConceptualCaptions3M

📌Языковая модель - OPT-6.7B
📌Визуальный энкодер - CLIP ViT-L
📌Генератор изображений - SD 1.5
📌Обучаемых параметров - 50M
📌Обучение - 20k итераций с bs=200, 2 дня на 2xA6000

Статья
GitHub

@complete_ai