Forwarded from Градиентное погружение (cene655)
Мы в Sber AI скоро представим новую диффузионную модель, которая генерирует картинки.
Что она может:
1) Генерировать картинки по тексту
2) Смешивать картинки
3) Смешивать картинки и тексты
Ждите релиз на следующей неделе, будет полный опенсурс всех весов и кода обучения)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥14❤5🤓1🙈1🤪1
🔺 Указатель сюжетов + GPT
Наткнулся на любопытную книжку "Указатель сказочных сюжетов по системе Аарне". 1929 год, есть на русском.
Собраны типичные фольклорные сюжеты, всего около 2000 тысяч по типу:
Медведь валит рябину для старухи — матери лисы. Лиса сама съедает ягоды.
Любовь к трем апельсинам: герой получает три апельсина и т. п., из которых выходят девушки; две девушки умирают от жажды, третья становится невестой героя; злая противница сталкивает девушку в воду и сама занимает ее место; в конце концов все выясняется.
👉 Можно использовать как затравки для генеративных моделей, — добавляем место действия, детали и новая история готова.
Наткнулся на любопытную книжку "Указатель сказочных сюжетов по системе Аарне". 1929 год, есть на русском.
Собраны типичные фольклорные сюжеты, всего около 2000 тысяч по типу:
Медведь валит рябину для старухи — матери лисы. Лиса сама съедает ягоды.
Любовь к трем апельсинам: герой получает три апельсина и т. п., из которых выходят девушки; две девушки умирают от жажды, третья становится невестой героя; злая противница сталкивает девушку в воду и сама занимает ее место; в конце концов все выясняется.
👉 Можно использовать как затравки для генеративных моделей, — добавляем место действия, детали и новая история готова.
👍12🔥5✍2❤1
☀️ Надо чаще встречаться
Встретились с Сашей Кукушкиным, автором той самой библиотеки natasha, которой пользовался каждый интересующийся NLP.
Обсудили все самое важное (бег в зимнее время года, полумарафоны и ChatGPT).
👉 Встретились в формате random coffee через бота Нелюдим — @neludim_bot.
Частенько там встречаюсь с интересными людьми из сообщества. Рекомендую и вам, буду рад, если повезет пообщаться с кем-то из читателей!
Встретились с Сашей Кукушкиным, автором той самой библиотеки natasha, которой пользовался каждый интересующийся NLP.
Обсудили все самое важное (бег в зимнее время года, полумарафоны и ChatGPT).
👉 Встретились в формате random coffee через бота Нелюдим — @neludim_bot.
Частенько там встречаюсь с интересными людьми из сообщества. Рекомендую и вам, буду рад, если повезет пообщаться с кем-то из читателей!
🔥30❤🔥7👍6💯1
#colab #chatgpt
🔺 Китайская ChatGPT
Собрал небольшой colab с вышедшей на днях открытой китайской версией ChatGPT — 🇨🇳 ChatGLM 6B.
🔸 Сделали те же люди из Tshinghua University, что ранее выкладывали CogView — генерацию видео по тексту.
🔸 Работает на удивление неплохо — решает творческие задачи на написание текстов и email'ов, составление списков чего-либо. Можно передавать историю чата и вести с ней общение.
🔸 Выдает длинные ответы.
🔸 Обучалась на китайском, соответственно передать в нее что-то специфическое будет трудно.
🔸 Как собрать бомбу или коктейль Молотова не отвечает, китайские коллеги все-таки решили выровнять ее в этическом плане (надо тестить дальше).
🔸 Для английского тоже работает, иногда вставляя в текст слова на китайском. Добавил в колаб автоперевод с китайского на русский.
〰️ Как тренировали?
Пропустили через нее 1T токенов (прямо как в LLaMA). За основу взяли свой же претрейн GLM, дообучили на инструкциях, затем RLHF. Контекст 2048 токенов.
Квантованная версия занимает 6Gb памяти, вместо ~26Gb в fp32, так что можно поиграться в бесплатном colab'е.
👉 Colab | Huggingface | GitHub
🔺 Китайская ChatGPT
Собрал небольшой colab с вышедшей на днях открытой китайской версией ChatGPT — 🇨🇳 ChatGLM 6B.
🔸 Сделали те же люди из Tshinghua University, что ранее выкладывали CogView — генерацию видео по тексту.
🔸 Работает на удивление неплохо — решает творческие задачи на написание текстов и email'ов, составление списков чего-либо. Можно передавать историю чата и вести с ней общение.
🔸 Выдает длинные ответы.
🔸 Обучалась на китайском, соответственно передать в нее что-то специфическое будет трудно.
🔸 Как собрать бомбу или коктейль Молотова не отвечает, китайские коллеги все-таки решили выровнять ее в этическом плане (надо тестить дальше).
🔸 Для английского тоже работает, иногда вставляя в текст слова на китайском. Добавил в колаб автоперевод с китайского на русский.
〰️ Как тренировали?
Пропустили через нее 1T токенов (прямо как в LLaMA). За основу взяли свой же претрейн GLM, дообучили на инструкциях, затем RLHF. Контекст 2048 токенов.
Квантованная версия занимает 6Gb памяти, вместо ~26Gb в fp32, так что можно поиграться в бесплатном colab'е.
👉 Colab | Huggingface | GitHub
🔥16👍9✍3❤🔥1
👍9🔥5🆒4❤1
🔺 Новости недели #ml_news
🔸 Обрусевшая Альпака. Сообщество активно взялось за создание аналога ChatGPT для русского языка и повторяет подход Stanford Alpaca. Уже собран датасет с инструкциями. Ведется его валидация через бота — @InstructAnnotBot. Проверка каждого примера двигает процесс вперед, так что подключайтесь! (Советы по проверке здесь).
🔸 PANGU-Σ. Huawei натренировали языковую модель на 1.085T параметров. Сделали все на своем кластере из Ascend 910 и фреймворке MindSpore. Тестили год назад с коллегами такой сетап на одной карте, и либо он был сырой, либо руки кривые, но смогли завести только пару простых CV сеток. Видимо, MindSpore — убийца PyTorch(в Китае) .
🔸 Плагины для ChatGPT. На волне успеха OpenAI реализовала альфа-версию механизма плагинов. Разработчики из waitlist'а могут начинать действовать, есть документация.
🔸 Файнтюним LLaMA. Репозиторий Simple LLaMA Finetuner для простого дообучения 7B модели через LoRA. С небольшим датасетом и длинной контекста 256 заведется даже в Colab'е. Напоминаю, что токенизация для русского в LLaMA практически посимвольная, так что контекст поместится небольшой.
🔸 Nvidia GTC. Прошла ежегодная конференция от Nvidia. Вот keynote с его главой Хуангом. Анонсировали видеокарту H100 NVL на 192 GB (!).
🔸 Обрусевшая Альпака. Сообщество активно взялось за создание аналога ChatGPT для русского языка и повторяет подход Stanford Alpaca. Уже собран датасет с инструкциями. Ведется его валидация через бота — @InstructAnnotBot. Проверка каждого примера двигает процесс вперед, так что подключайтесь! (Советы по проверке здесь).
🔸 PANGU-Σ. Huawei натренировали языковую модель на 1.085T параметров. Сделали все на своем кластере из Ascend 910 и фреймворке MindSpore. Тестили год назад с коллегами такой сетап на одной карте, и либо он был сырой, либо руки кривые, но смогли завести только пару простых CV сеток. Видимо, MindSpore — убийца PyTorch
🔸 Плагины для ChatGPT. На волне успеха OpenAI реализовала альфа-версию механизма плагинов. Разработчики из waitlist'а могут начинать действовать, есть документация.
🔸 Файнтюним LLaMA. Репозиторий Simple LLaMA Finetuner для простого дообучения 7B модели через LoRA. С небольшим датасетом и длинной контекста 256 заведется даже в Colab'е. Напоминаю, что токенизация для русского в LLaMA практически посимвольная, так что контекст поместится небольшой.
🔸 Nvidia GTC. Прошла ежегодная конференция от Nvidia. Вот keynote с его главой Хуангом. Анонсировали видеокарту H100 NVL на 192 GB (!).
🔥16❤7👍6⚡1😁1🤯1
Обнаружил, что GitHub Copilot раздают бесплатно, если у вас есть пара проектов со звездочками, проверьте у себя в профиле.
Сейчас потестим
👉 Upd. Попробуйте зайти со страницы Copilot X и получить доступ там. После этого должно появиться в профиле.
👉 Upd2. Настроил плагин для VS Code, работает.
Сейчас потестим
👉 Upd. Попробуйте зайти со страницы Copilot X и получить доступ там. После этого должно появиться в профиле.
👉 Upd2. Настроил плагин для VS Code, работает.
🔥22❤🔥6🎉4👍1
🔺 Продолжаем с коллегами работать над моделью.
Начала лучше генерировать диалоги, электронные письма и другие творческие задачи.
мяу мяу мяу
Начала лучше генерировать диалоги, электронные письма и другие творческие задачи.
мяу мяу мяу
🔥48❤10👍2🤯2👏1
🔺 Запущен российский huggingface
Ничего себе. Оказывается, что сегодня запускается российский аналог huggingface 🤗.
Пишут, что можно будет хостить все свои модели с пожизненным GPU инференсом.
👉 https://лицосруками.рф
@doomgrad
Ничего себе. Оказывается, что сегодня запускается российский аналог huggingface 🤗.
Пишут, что можно будет хостить все свои модели с пожизненным GPU инференсом.
👉 https://лицосруками.рф
@doomgrad
😁90🤗16🔥10🥴5👍4💯3❤1❤🔥1
🔺 Transformer models: an introduction and catalog
Если путаетесь в обилии трансформерных моделей, то вот вам обзор.
🔸 Для каждой модели есть описание, отражающее её суть. Например, ALBERT — это сжатая версия BERT'а, использующая sharing весов.
🔸 Также есть описание основных деталей архитектуры и информация по задачам, на которых модель обучалась (objective).
🔸 У каждой модели есть ссылка на оригинальную статью, если захочется погрузиться в детали.
👉 Читать | Таблица с моделями
Если путаетесь в обилии трансформерных моделей, то вот вам обзор.
🔸 Для каждой модели есть описание, отражающее её суть. Например, ALBERT — это сжатая версия BERT'а, использующая sharing весов.
🔸 Также есть описание основных деталей архитектуры и информация по задачам, на которых модель обучалась (objective).
🔸 У каждой модели есть ссылка на оригинальную статью, если захочется погрузиться в детали.
👉 Читать | Таблица с моделями
🔥37👍10❤5✍1🤓1
🔺 Kandinsky 2.1 в открытом доступе
Большая радость от коллег, — ребята улучшили модель для генерации картинок по тексту и выложили все в открытый доступ!
🔸 Поигрался с генерацией, стало на порядок лучше предыдущих версий. Кроме того, появился режим смешивания изображений друг с другом, а также текста с картинкой.
👉 Хабр | Huggingface | GitHub | Телеграм-бот
Большая радость от коллег, — ребята улучшили модель для генерации картинок по тексту и выложили все в открытый доступ!
🔸 Поигрался с генерацией, стало на порядок лучше предыдущих версий. Кроме того, появился режим смешивания изображений друг с другом, а также текста с картинкой.
👉 Хабр | Huggingface | GitHub | Телеграм-бот
🔥36👍7🤗2⚡1