🚀 A Survey of Large Language Models
Вышел свежий обзор больших языковых моделей - тех самых, о которых говорят, когда упоминают новый Bing, ChatGPT и GPT-4.
В работе рассказывают про способы обучения моделей, их файнтюнинг, инференс и возможности. Безусловно, большое внимание уделяется размеру моделей и соответствующим возможностям. Карта моделей также сделана очень аккуратно и по ней можно оценить, сколько уже команд работают в направлении фундаментальных языковых моделей, как долго длилось обучение и на каком объёме GPU.
📕Статья
@complete_ai
Вышел свежий обзор больших языковых моделей - тех самых, о которых говорят, когда упоминают новый Bing, ChatGPT и GPT-4.
В работе рассказывают про способы обучения моделей, их файнтюнинг, инференс и возможности. Безусловно, большое внимание уделяется размеру моделей и соответствующим возможностям. Карта моделей также сделана очень аккуратно и по ней можно оценить, сколько уже команд работают в направлении фундаментальных языковых моделей, как долго длилось обучение и на каком объёме GPU.
📕Статья
@complete_ai
🔥27👍5🎉3
🚀Kandinsky 2.1🚀
Наступил день, которого ждала вся команда (вовсе не тот, который стал всплывать в разных каналах на прошлой неделе😂). Сегодня мы официально выпускаем новую лучшую версию нашей диффузионной генеративной модели, которая претерпела существенные изменения относительно предшественницы 2.0.
Отличительные особенности включают:
📌3.3B параметров
📌Разрешение генераций - 768x768
📌Image prior трансформер
📌Новый автоэнкодер изображений MoVQ
📌Дообучение на очень чистом сете из 172M пар «текст-изображение»
📌Режимы работы: генерация по тексту, смешивание изображение, генерация изображений по образцу, изменение изображений по тексту, inpainting/outpainting
Всё это позволило добиться впечатляющего качества на различных доменах генераций.
FID на датасете COCO_30k достигает значения 8.21🔥 По публичным данным на сегодняшний день лучше только eDiffI (NVidia) и Imagen (Google Reseacrh).
Детально о модели можно прочитать в статье на Хабре, а протестировать Kandinsky 2.1 можно тут:
📍Телеграм-бот
📍FusionBrain.AI
📍GitHub
📍HuggingFace
📍rudalle.ru
📍MLSpace
Спасибо всей команде за слаженную и качественную работу - испытываю несказанную признательность каждому🔥
@complete_ai
Наступил день, которого ждала вся команда (вовсе не тот, который стал всплывать в разных каналах на прошлой неделе😂). Сегодня мы официально выпускаем новую лучшую версию нашей диффузионной генеративной модели, которая претерпела существенные изменения относительно предшественницы 2.0.
Отличительные особенности включают:
📌3.3B параметров
📌Разрешение генераций - 768x768
📌Image prior трансформер
📌Новый автоэнкодер изображений MoVQ
📌Дообучение на очень чистом сете из 172M пар «текст-изображение»
📌Режимы работы: генерация по тексту, смешивание изображение, генерация изображений по образцу, изменение изображений по тексту, inpainting/outpainting
Всё это позволило добиться впечатляющего качества на различных доменах генераций.
FID на датасете COCO_30k достигает значения 8.21🔥 По публичным данным на сегодняшний день лучше только eDiffI (NVidia) и Imagen (Google Reseacrh).
Детально о модели можно прочитать в статье на Хабре, а протестировать Kandinsky 2.1 можно тут:
📍Телеграм-бот
📍FusionBrain.AI
📍GitHub
📍HuggingFace
📍rudalle.ru
📍MLSpace
Спасибо всей команде за слаженную и качественную работу - испытываю несказанную признательность каждому🔥
@complete_ai
Хабр
Kandinsky 2.1, или Когда +0,1 значит очень много
В ноябре 2022 года мы выпустили свою первую диффузионную модель для синтеза изображений по текстовым описаниям Kandinsky 2.0 , которая собрала как позитивные, так и отрицательные отклики. Её ключевой...
🔥82👏23👍13❤🔥11👎6🏆6
Forwarded from Градиентное погружение (cene655)
Кандинский 2.1 на 4 месте в Github trending!
GitHub
GitHub is where people build software. More than 150 million people use GitHub to discover, fork, and contribute to over 420 million projects.
🔥59🎉12⚡5👍3🏆3👎1
🔥Мы тут подсчитали - на текущий момент (10.04.2023) модель Kandinsky 2.1 собрала 2 млн. уникальных пользователей и создала больше 10 млн. изображений. Это наш самый масштабный и результативный проект🚀
My Sber AI Team - one love🙏❤️
@complete_ai
My Sber AI Team - one love🙏❤️
@complete_ai
🔥109👏19❤🔥12🎉8👎3👍2
Forwarded from AbstractDL
🔥MiniGPT-4: почти как GPT-4, но всего 13B параметров
Оказалось, если соединить LLaMA (Vicuna) и FROMAGe, то получится не только на 90% приблизиться к GPT-4, но и даже воспроизвести её визуальные навыки! При том, что тут обучается всего лишь один единственный линейный слой.
По сравнению с FROMAGe тут добавили Q-former и файнтюнинг на своём чистейшем визуально-диалоговом сете (3.5к примеров).
С помощью этой модели можно даже сгенерировать код сайта по одному лишь наброску! Код и веса есть в открытом доступе.
Статья, GitHub, датасет, блог
Оказалось, если соединить LLaMA (Vicuna) и FROMAGe, то получится не только на 90% приблизиться к GPT-4, но и даже воспроизвести её визуальные навыки! При том, что тут обучается всего лишь один единственный линейный слой.
По сравнению с FROMAGe тут добавили Q-former и файнтюнинг на своём чистейшем визуально-диалоговом сете (3.5к примеров).
С помощью этой модели можно даже сгенерировать код сайта по одному лишь наброску! Код и веса есть в открытом доступе.
Статья, GitHub, датасет, блог
🔥30👍9💯4
Forwarded from Dealer.AI
GigaChat
Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.
В основе нашего GigaChat модель— NeONKA.
Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).
В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).
При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели
Подробности в нашей статье на хабр .
UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @averkij, @warfly, @oulenspiegel, @dayyass, @kuznetsoff87, @nikolaygerasimenko
Надеюсь никого не забыл)
Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.
В основе нашего GigaChat модель— NeONKA.
Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).
В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).
При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели
Подробности в нашей статье на хабр .
UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @averkij, @warfly, @oulenspiegel, @dayyass, @kuznetsoff87, @nikolaygerasimenko
Надеюсь никого не забыл)
Хабр
Это не чат, это GigaChat. Русскоязычная ChatGPT от Сбера
Дракончик ждёт вас ниже Хайп вокруг нейросетей, выровненных при помощи инструкций и человеческой оценки (известных в народе под единым брендом «ChatGPT»), трудно не заметить. Люди разных профессий и...
🔥32👍10👏6❤🔥1👎1
Прошло 20 дней и новый крутой релиз🔥🙏 Спасибо большое всем тиммейтам, кто нашел силы и на этот гигантский релиз! @lizagonch - тебе в особенности!💐🎂🔥
Welcome to the era of GigaChat💬
Welcome to the era of GigaChat💬
❤🔥30🔥12👍9👎2
☀️Вообще не рекламный пост
Хотел рассказать про одну конференцию для тимлидов и CTO (как начинающих, так и опытных), в которой принимал участие в прошлом году - SouthHub. Проходила она на Красной Поляне в формате кэмпа, что позволяет совмещать движ в виде разных активностей (баскетбол, пробежки и тд) и лекции интересных спикеров для любителей как глубоко технических вещей, так и интересующихся в командообразовании. Нетворкинг за счёт этого симбиоза просто пушечный выходит🚀
Мне там, например, довелось познакомиться с Глебом Михеевым (Skillbox) @tired_glebmikheev мы много уже идей отработали, даже нашли и начали несколько интересных совместных инициатив.
В этом году конфа тоже на Красной Поляне с 12 по 16 июня, в таком же интересном формате. Еще добавили специальные билеты для желающих поехать с семьёй. В общем, если кто в поиске интересных коллабов, то это одно из мероприятий в году, где это реально затащить! Конфа по ссылке - там вся информация
📌А тут моё выступление на SouthHub 2022 про тренды генеративного искусственного интеллекта
📌Заходите в чат конфы в ТГ - там интересно!
Хотел рассказать про одну конференцию для тимлидов и CTO (как начинающих, так и опытных), в которой принимал участие в прошлом году - SouthHub. Проходила она на Красной Поляне в формате кэмпа, что позволяет совмещать движ в виде разных активностей (баскетбол, пробежки и тд) и лекции интересных спикеров для любителей как глубоко технических вещей, так и интересующихся в командообразовании. Нетворкинг за счёт этого симбиоза просто пушечный выходит🚀
Мне там, например, довелось познакомиться с Глебом Михеевым (Skillbox) @tired_glebmikheev мы много уже идей отработали, даже нашли и начали несколько интересных совместных инициатив.
В этом году конфа тоже на Красной Поляне с 12 по 16 июня, в таком же интересном формате. Еще добавили специальные билеты для желающих поехать с семьёй. В общем, если кто в поиске интересных коллабов, то это одно из мероприятий в году, где это реально затащить! Конфа по ссылке - там вся информация
📌А тут моё выступление на SouthHub 2022 про тренды генеративного искусственного интеллекта
📌Заходите в чат конфы в ТГ - там интересно!
👍20🔥14❤🔥5⚡3
Kandinsky 2.1 как искусство: руководство для тех, кто хочет больше
В прямом эфире 4 мая в 11:00 на совместном вебинаре Cloud и Sber AI я расскажу про архитектуру, возможности модели, способы файнтюна, как управлять качеством генераций и много другой полезной информации.
Из интересного вас ожидает:
▫️ новые возможности Kandinsky 2.1;
▫️ статистика активных пользователей нейросети и ТОП самых популярных запросов;
▫️ сценарии использования Kandinsky 2.1 как начинающими, так и продвинутыми пользователями, кастомизирующими модель под свои задачи в ML Space.
✅ Самое главное — вы получите рабочие промты написания запросов, с помощью которых AI получит необходимые детали для реализации ваших задумок, а вы — креативные изображения без лишних усилий.
Ждем на бесплатном вебинаре всех, кто хочет выйти на новый уровень в генерации визуального контента с Kandinsky 2.1 — зарегистрироваться
В прямом эфире 4 мая в 11:00 на совместном вебинаре Cloud и Sber AI я расскажу про архитектуру, возможности модели, способы файнтюна, как управлять качеством генераций и много другой полезной информации.
Из интересного вас ожидает:
Ждем на бесплатном вебинаре всех, кто хочет выйти на новый уровень в генерации визуального контента с Kandinsky 2.1 — зарегистрироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24👍9❤🔥7