🔺 Продолжаем с коллегами работать над моделью. Стало еще чуть лучше.
» Напиши песню про тимлида
Как скажете.
Первый куплет:
Тимлид — нервный тип,
Он проводит дни напролёт,
Разработчики сходят с ума,
Потому что он ничего не делает.
Припев:
Кто же будет кодить, если не мы?
Кто же будет кодить, если не мы?
Кто же будет кодить, если не мы?
» Напиши песню про тимлида
Как скажете.
Первый куплет:
Тимлид — нервный тип,
Он проводит дни напролёт,
Разработчики сходят с ума,
Потому что он ничего не делает.
Припев:
Кто же будет кодить, если не мы?
Кто же будет кодить, если не мы?
Кто же будет кодить, если не мы?
🔥32😁21🆒6❤🔥4👍2🍾2❤1
🔺 Обучаем RLHF с 20B моделью на домашней видеокарте
Очередная интеграция библиотек от huggingface🤗 . На этот раз скрестили peft и trl.
При помощи trl можно, собственно, обучать сами модели в распределенном сетапе или на одной GPU. При помощи peft можно из коробки пользоваться оптимизациями для обучения больших LM, типа LoRA.
Авторы показывают как обучали gpt-neo-x (40Gb в fp16) на 3090 с 24Gb пямяти. Новые оптимизации добавляются.
👉 Примеры
Очередная интеграция библиотек от huggingface
При помощи trl можно, собственно, обучать сами модели в распределенном сетапе или на одной GPU. При помощи peft можно из коробки пользоваться оптимизациями для обучения больших LM, типа LoRA.
Авторы показывают как обучали gpt-neo-x (40Gb в fp16) на 3090 с 24Gb пямяти. Новые оптимизации добавляются.
👉 Примеры
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥27👍4⚡2❤🔥1
🔺 GPT-4 LM paper Вышла! Вышла! А, нет, показалось
https://www.maxonlift.com/sites/default/files/2017-04/m9726_0.pdf
😁23🥴9🔥2🍾2🤯1🙈1
🔺 GPT-4
🔸 Модель мультимодальная (accepting image and text inputs, emitting text outputs).
🔸 В течение 6 месяцев выравнивали модель инструкциями для лучшего вывода.
🔸 Подписчики ChatGPT Plus получат ограниченный доступ к GPT-4.
🔸 Для получения доступа к API нужно добавиться в waitlist.
🔸 Контекст модели 8,192 токенов.
🔸 Есть версия с контекстом 32,768 токенов (50 страниц текста).
🔸 Цена $0.06 за тыс. токенов.
👉 Пост
🔸 Модель мультимодальная (accepting image and text inputs, emitting text outputs).
🔸 В течение 6 месяцев выравнивали модель инструкциями для лучшего вывода.
🔸 Подписчики ChatGPT Plus получат ограниченный доступ к GPT-4.
🔸 Для получения доступа к API нужно добавиться в waitlist.
🔸 Контекст модели 8,192 токенов.
🔸 Есть версия с контекстом 32,768 токенов (50 страниц текста).
🔸 Цена $0.06 за тыс. токенов.
👉 Пост
🔥24⚡3🤯3❤🔥2
Forwarded from Градиентное погружение (cene655)
Мы в Sber AI скоро представим новую диффузионную модель, которая генерирует картинки.
Что она может:
1) Генерировать картинки по тексту
2) Смешивать картинки
3) Смешивать картинки и тексты
Ждите релиз на следующей неделе, будет полный опенсурс всех весов и кода обучения)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥14❤5🤓1🙈1🤪1
🔺 Указатель сюжетов + GPT
Наткнулся на любопытную книжку "Указатель сказочных сюжетов по системе Аарне". 1929 год, есть на русском.
Собраны типичные фольклорные сюжеты, всего около 2000 тысяч по типу:
Медведь валит рябину для старухи — матери лисы. Лиса сама съедает ягоды.
Любовь к трем апельсинам: герой получает три апельсина и т. п., из которых выходят девушки; две девушки умирают от жажды, третья становится невестой героя; злая противница сталкивает девушку в воду и сама занимает ее место; в конце концов все выясняется.
👉 Можно использовать как затравки для генеративных моделей, — добавляем место действия, детали и новая история готова.
Наткнулся на любопытную книжку "Указатель сказочных сюжетов по системе Аарне". 1929 год, есть на русском.
Собраны типичные фольклорные сюжеты, всего около 2000 тысяч по типу:
Медведь валит рябину для старухи — матери лисы. Лиса сама съедает ягоды.
Любовь к трем апельсинам: герой получает три апельсина и т. п., из которых выходят девушки; две девушки умирают от жажды, третья становится невестой героя; злая противница сталкивает девушку в воду и сама занимает ее место; в конце концов все выясняется.
👉 Можно использовать как затравки для генеративных моделей, — добавляем место действия, детали и новая история готова.
👍12🔥5✍2❤1
☀️ Надо чаще встречаться
Встретились с Сашей Кукушкиным, автором той самой библиотеки natasha, которой пользовался каждый интересующийся NLP.
Обсудили все самое важное (бег в зимнее время года, полумарафоны и ChatGPT).
👉 Встретились в формате random coffee через бота Нелюдим — @neludim_bot.
Частенько там встречаюсь с интересными людьми из сообщества. Рекомендую и вам, буду рад, если повезет пообщаться с кем-то из читателей!
Встретились с Сашей Кукушкиным, автором той самой библиотеки natasha, которой пользовался каждый интересующийся NLP.
Обсудили все самое важное (бег в зимнее время года, полумарафоны и ChatGPT).
👉 Встретились в формате random coffee через бота Нелюдим — @neludim_bot.
Частенько там встречаюсь с интересными людьми из сообщества. Рекомендую и вам, буду рад, если повезет пообщаться с кем-то из читателей!
🔥30❤🔥7👍6💯1