⚡Сегодня вышел наш совместный с РБК проект - первая AI газета, созданная при помощи наших моделей GigaChat (в части текста) и Kandinsky 2.1 (в части иллюстраций).

Тут можно почитать подробнее. Материал на РБК Тренды - тут

🚀🗓️26-27 июня на конференции Saint HighLoad++ в Питере расскажу подробно про диффузионные модели, про Kandinsky 2.1 в деталях, данные и процесс обучения, как мы справлялись с нагрузкой на бэкенд, чего добились в ходе экспериментов, что можно исправить файнтюнами, а также где генеративный AI можно применять в бизнесе. Эта конференция в моём персональном рейтинге является одним из знаковых событий лета и 2023 года в целом в индустрии технологических мероприятий. Там будет много крутых спикеров и интересных докладов. Обязательно приходите, приезжайте и подключайтесь к трекам по интересам😉

#SaintHighLoad2023
@complete_ai

🦌 RUDOLPH 🦌

Наконец-то дошли руки написать о нашей давней разработке, о модели RUDOLPH (RUssian Decoder On Language Picture Hyper-tasking), которая умеет решать много задач в модальностях текст и изображение и которая уже успела побывать бейзлайном соревнования FusionBrain Challenge 2.0 в 2022 году (и даже заняла там почётное третье место).

💡 Архитектурно модель представляет собой декодер-блок трансформера, работающий с входной последовательностью токенов, которую можно условно разделить на три основных сегмента: левые текстовые токены, токены изображения и правые текстовые токены. За счёт этого на претрейне можно показывать модели сэмплы по 3 задачам: text2image (генерация изображения по тексту), image2text (описание изображения) и text2text (языковое моделирование в левых текстовых токенах).

💡 Мы обучили 4 версии модели, которые различаются между собой как количеством параметров (соответственно, количеством и размером скрытых слоёв), так и соотношением количества токенов текста и изображения:
👉 RUDOLPH-350M
👉 RUDOLPH-1.3B
👉 RUDOLPH-2.7B
👉 RUDOLPH-2.7B-FBC2

💡 Последняя из этих моделей была дополнительно дообучена на инструктивном датасете (когда это ещё не стало мейнстримом 😊) решать 6 прикладных задач в модальностях текст и изображение: Text QA, Math QA, Image Generation, Image Captioning, Visual QA, Text Recognition in the Wild. RUDOLPH даже немного умеет в zero-shot object detection (после соответствующего файнтюна). Фишка этой версии модели также и в том, что она может понимать формулировку задачи на естественном (русском) языке 💪

Подробнее почитать про архитектуру RUDOLPH, узнать детали обучения и файнтюнинга, посмотреть примеры работы модели можно тут:
👉 Хабр

Воспользоваться и протестировать RUDOLPH можно тут:
👉 GitHub
👉 HuggingFace
👉 Cloud

В создании и обучении RUDOLPH успели принять участие многие ребята (@AShonenkov, @lizagonch - вам отдельное спасибо 👍, @kuznetsoff87, @bra_ket, @NastyaMittseva, @bom_bo0m @Gugutse @alexnikolich👌). Всем огромное спасибо за крутую и качественную работу!

@dendi_math_ai

2000!
Спасибо всем за интерес и внимание к публикациям.
Главное, чтобы польза была для читателей🙏⚡

⚡Всей командой Sber AI начинаем подготовку к очередной конференции AI Journey 2023) И первая аудитория, которую хочется заинтересовать - это друзья, коллеги, знакомые и подписчики из родной академической среды)

В рамках AI Journey 2023 мы запустили отбор статей для выпуска научного журнала.

Работы будут опубликованы в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics, индексируемый в Scopus.

Авторы также смогут представить доклады в рамках конференции AI Journey 2023, лучшая работа получит приз – 1 000 000 рублей🌟

Подать статью можно на сайте AI Journey до 31 июля 2023 года.