Что умеет @gptsciencebot:
На этой неделе мы уже будем генерировать приложения на основе текстового запроса в GPT-4, который в разы превосходит бесплатную версию ChatGPT (GPT-3.5)
Генерировать можно не более 1 изображения, поэтому внимательно вводите желаемый запрос /image текст_для_генерации
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
ChatGPT
Ты всего лишь машина, только имитация жизни. Робот сочинит симфонию? Робот превратит кусок холста в шедевр искусства?
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Text2Video Generation🤯
Сегодня Вы сможете пощупать новые технологии для создания контента, а именно генерация видео на основе текстового описания - Text2Video Zero-Shot
🤔 Модель Text2Video Zero-Shot состоит из несколько предварительно обученных моделей, которые используются вместе для создания видеоконтента и текстового описания.
🤓 Как это работает из коробки:
1️⃣ На основе корпуса из текстовых описаний обучается GPT-2 модель для создания последовательности маркеров, представляющих сцену и действие в видео.
2️⃣ Далее сгенерированный текст подается в препроцессор для извлечения ключевых слов, который используется для запроса в модель DALL-E от OpenAI (кстати, вы можете сгенерировать себе 1 картинку 512х512 в моем tg-боте! @gptsciencebot 👋 ).
3️⃣ Модель DALL-E генерирует набор изображений по ключевым словам. Набор изображений объединяется и формируется некая последовательность кадров.
4️⃣ Затем эта последовательность изображений обрабатывается алгоритмом style-transfer для создания единого стиля. По желанию добавляется музыкальное сопровождение.
👨💻 В итоге можно создать такое видео по запросу: Elon Musk eating donuts.
Для тех, кто не хочет заморачиваться с кодом, вот вам готовый вариант text2video❤
Сегодня Вы сможете пощупать новые технологии для создания контента, а именно генерация видео на основе текстового описания - Text2Video Zero-Shot
Для тех, кто не хочет заморачиваться с кодом, вот вам готовый вариант text2video
Please open Telegram to view this post
VIEW IN TELEGRAM
#GPTApplication Попробуй Kandinsky от СБЕРа 🥺
🌍 Буквально вчера вышла новая генеративная модель от Сбера - Kandinsky 2.1, которая наследует лучшие практики от DALL-E 2 и Latent Diffusion🤖
🤔 Как это работает?
Представим, что архитектура Kandinsky 2.1 - это художественная студия с тремя творцами: Image prior, CLIP и Диффузионная модель🤖
Когда рассказываешь им, что хочешь изобразить,
Image prior и CLIP работают вместе, чтобы создать единый эскиз (визуальный эмбеддинг) на основе твоих слов. Как будто они слушают описание и создают эскиз для будущей картины.
🤯 Затем эскиз передается Диффузионной модели, которая является главным художником. Модель берет эскиз и создает завершенную картину, добавляя детали и краски. В результате, получается изысканная картина, нарисованная по твоим словам.
👨💻 Попробовать сгенерировать изображения Вы можете в Telegram-боте и rudalle, или вот github репозиторий😎
Представим, что архитектура Kandinsky 2.1 - это художественная студия с тремя творцами: Image prior, CLIP и Диффузионная модель
Когда рассказываешь им, что хочешь изобразить,
Image prior и CLIP работают вместе, чтобы создать единый эскиз (визуальный эмбеддинг) на основе твоих слов. Как будто они слушают описание и создают эскиз для будущей картины.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#GPTApplication Fine-Tuning ChatGPT для вашего бизнеса 🤑
Я дообучил ChatGPT на своих данных и добавил к ней личность ресторанного критика в космосе.
🥄 Cosmo-Restocritic GPT путешествует по галактикам и пробует самые интересные и вкусные космические блюда!
🟥 В рамках эксперимента я буду использовать сгенерированные с помощью ChatGPT синтезированные данные.
1️⃣ x QA данных в .json для обучения на y тему.
В моем случае я попросил ChatGPT сгенерировать 200 QA на тему эксплорации космоса, космической медицины и туризма в формате json:
2️⃣ OPEN-API-KEY https://platform.openai.com/account/api-keys
🤓 Итоги эксперимента:
👍 Обучение модели обошлось мне в 1$.
😜 Личность GPT работает как нужно, создавайте своих JarvisGPT.
🥄 Если вы и вправду хотите зафайнтюнить ChatGPT, нужно кардинально изменять и улучшать .json файл и доменную область, потому что ChatGPT дообучить практически невозможно)
Если хотите сами попробовать создать свой личный Cosmo-Restocritic GPT, весь код я выложил тут:
https://github.com/sokoloveav/fine-tune-chatgpt
Еще буду очень признателен, если вы посоветуете @gptscience вашим друзьям! Канал еще очень крохотный, поэтому требует вашей поддержки❤
Я дообучил ChatGPT на своих данных и добавил к ней личность ресторанного критика в космосе.
В моем случае я попросил ChatGPT сгенерировать 200 QA на тему эксплорации космоса, космической медицины и туризма в формате json:
{«prompt": "<prompt text>", "completion": "<ideal generated text>"},
https://github.com/sokoloveav/fine-tune-chatgpt
Еще буду очень признателен, если вы посоветуете @gptscience вашим друзьям! Канал еще очень крохотный, поэтому требует вашей поддержки
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Генерация анимированных 3D-аватаров с помощью текста 🤯
👨💻 Создайте свой собственный ChatAvatar без СМС и регистрации!
😏 Теперь Вы можете сгенерировать невероятно реалистичную 3D-модель любого лица, используя только текстовое описание.
🤣 Ожидаю внедрение таких аватаров на популярных стриминговых площадках для создания уникальной и запоминающейся атмосферы.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Рендеринг FVV в реальном времени 🤯
В дополнение к предыдущему посту: теперь можно создавать FVV (Free-Viewpoint Video) в длительных динамических сценах!
👨💻 В статье «Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos» описывается новый метод в области компьютерного зрения для эффективного представления и сжатия RGB-видео, позволяющий просмотр качественной потовой передачи и рендеринг видео с произвольной точки зрения.
☄️ Метод ReRF (Residual Radiance Field) обучается на первом ключевом кадре видео и создает специальные сетки, включая сетку движения и сетку остаточных признаков, чтобы быстро анализировать движения и изменения в остальных кадрах.
🤖 Это помогает сделать видео легким для передачи и позволяет смотреть его с разных точек зрения (free-viewpoint rendering), улучшая качество и скорость воспроизведения в реальном времени, благодаря эффективной обработке признаков (feature processing) и сжатию данных.
В дополнение к предыдущему посту: теперь можно создавать FVV (Free-Viewpoint Video) в длительных динамических сценах!
🤖 Это помогает сделать видео легким для передачи и позволяет смотреть его с разных точек зрения (free-viewpoint rendering), улучшая качество и скорость воспроизведения в реальном времени, благодаря эффективной обработке признаков (feature processing) и сжатию данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Пройти собеседование с помощью GPT-4 🤖
🤯 Энтузиаст с reddit создал инструмент транскрипции в реальном времени на базе GPT4, который поможет Вам пройти собеседование при приеме на работу, генерируя идеальные ответы в режиме реального времени!
Ссылка на проект: https://github.com/SevaSk/ecoute
Ссылка на проект: https://github.com/SevaSk/ecoute
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Новая функция генеративной заливки в бета-версии Adobe Photoshop
Манипуляция изображениями теперь доступна в Adobe Photoshop🤖
Манипуляция изображениями теперь доступна в Adobe Photoshop
Please open Telegram to view this post
VIEW IN TELEGRAM
#GPTApplication Насколько быстро развиваются диффузионные модели? Настолько быстро! 🤖
К примеру, Вы можете оценить качество сгенерированных изображений на моем втором канале @gptwomen
В основном это🔞
К примеру, Вы можете оценить качество сгенерированных изображений на моем втором канале @gptwomen
В основном это
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication LIV: Языковая ценность изображения для роботов 🤖
🤓 В статье Language-Image Value Learning представлен новый подход, который сочетает в себе reinforcement learning и mutual information constractive learning для обучения роботов зрительно-языковому представлению с использованием системы вознаграждений.
Основные выводы из статьи:
🗂 Можно использовать большие наборы видеоданных для обучения моделей. Затем модель самостоятельно может назначать вознаграждения (поощрение за правильные действия модели) отдельным кадрам в видео, где могут быть представлены роботы или люди, выполняющие определенные задачи в новых условиях.
🧠 LIV можно зафайнтюнить за счет точной настройки с использованием данных, специфичных для предметной области, что позволит лучше управлять роботами.
👨💻 К примеру, робота из видео, готовящего сочный 🍔 , тренировали на датасете EpicKitchen
Мы уже рассматривали Tennis AI как пример обучения моделей на специфических данных, теперь доступно на роботах🤖
Основные выводы из статьи:
🧠 LIV можно зафайнтюнить за счет точной настройки с использованием данных, специфичных для предметной области, что позволит лучше управлять роботами.
Мы уже рассматривали Tennis AI как пример обучения моделей на специфических данных, теперь доступно на роботах
Please open Telegram to view this post
VIEW IN TELEGRAM