🔊 AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head
Multi-modal AI system named AudioGPT, which complements LLMs (i.e., ChatGPT) with 1) foundation models to process complex audio information and solve numerous understanding and generation tasks
AudioGPT: Генерирование речи, музыки, звука и говорящих аватаров.
🖥 Github: https://github.com/aigc-audio/audiogpt
⏩ Paper: https://arxiv.org/abs/2304.12995v1
🤗 Hugging face: https://huggingface.co/spaces/AIGC-Audio/AudioGPT
📌 Dataset: https://paperswithcode.com/dataset/c4
ai_machinelearning_big_data
Multi-modal AI system named AudioGPT, which complements LLMs (i.e., ChatGPT) with 1) foundation models to process complex audio information and solve numerous understanding and generation tasks
AudioGPT: Генерирование речи, музыки, звука и говорящих аватаров.
🤗 Hugging face: https://huggingface.co/spaces/AIGC-Audio/AudioGPT
📌 Dataset: https://paperswithcode.com/dataset/c4
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24🔥6❤2
🔍 Unleashing Infinite-Length Input Capacity for Large-scale Language Models with Self-Controlled Memory System
Self-Controlled Memory (SCM) system to unleash infinite-length input capacity for large-scale language models.
SCM может быть интегрирована с любыми LLM для обработки сверхдлинных текстов без каких-либо изменений или тонкой настройки.
🖥 Github: https://github.com/toufunao/SCM4LLMs
⏩ Paper: https://arxiv.org/abs/2304.13343v1
📌 Tasks: https://paperswithcode.com/task/language-modelling
ai_machinelearning_big_data
Self-Controlled Memory (SCM) system to unleash infinite-length input capacity for large-scale language models.
SCM может быть интегрирована с любыми LLM для обработки сверхдлинных текстов без каких-либо изменений или тонкой настройки.
📌 Tasks: https://paperswithcode.com/task/language-modelling
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤3🔥2
🖌 Edit Everything: A Text-Guided Generative System for Images Editing
A text-guided generative system without any finetuning (zero-shot).
Edit Everything позволяет пользователям редактировать изображения с помощью простых текстовых инструкций.
🖥 Github: https://github.com/defengxie/edit_everything
⏩ Paper: https://arxiv.org/abs/2304.14006v1
🚀 Dataset: https://paperswithcode.com/dataset/wukong
ai_machinelearning_big_data
A text-guided generative system without any finetuning (zero-shot).
Edit Everything позволяет пользователям редактировать изображения с помощью простых текстовых инструкций.
🚀 Dataset: https://paperswithcode.com/dataset/wukong
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥3❤1
Running IF with 🧨 diffusers on a Free Tier Google Colab
IF is better at generating images with high-frequency details (e.g., human faces and hands) and is the first open-source image generation model that can reliably generate images with text.
Инструкция, как запустить одну из самых мощных моделей преобразования текста в изображение с открытым исходным кодом IF на бесплатном Google Colab.
🤗 Hugging face: https://huggingface.co/blog/if
🖥 Github: https://github.com/deep-floyd/IF
⏩ Paper: https://arxiv.org/pdf/2205.11487.pdf
📌 Demo:https://huggingface.co/spaces/DeepFloyd/IF
ai_machinelearning_big_data
IF is better at generating images with high-frequency details (e.g., human faces and hands) and is the first open-source image generation model that can reliably generate images with text.
Инструкция, как запустить одну из самых мощных моделей преобразования текста в изображение с открытым исходным кодом IF на бесплатном Google Colab.
🤗 Hugging face: https://huggingface.co/blog/if
📌 Demo:https://huggingface.co/spaces/DeepFloyd/IF
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🔥6❤5🦄2
TaskPrompter: Spatial-Channel Multi-Task Prompting for Dense Scene Understanding
Novel spatial-channel multi-task prompting transformer framework to achieve this target.
Две мощные модели многозадачных трансформеров для пониманияк контекста на видео.
🖥 Github: https://github.com/prismformore/multi-task-transformer
⏩ Paper: https://openreview.net/forum?id=-CwPopPJda
📌 Dataset: https://paperswithcode.com/dataset/cityscapes-3d
ai_machinelearning_big_data
Novel spatial-channel multi-task prompting transformer framework to achieve this target.
Две мощные модели многозадачных трансформеров для пониманияк контекста на видео.
📌 Dataset: https://paperswithcode.com/dataset/cityscapes-3d
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16❤1🔥1
Полное погружение в машинное обучение с онлайн-материалами Школы анализа данных
Чтобы разложить знания по полочкам или ликвидировать мелкие пробелы, ML-специалистам важно иметь источник, в котором можно найти ответы на любые вопросы. Именно такой учебник и решили сделать в ШАДе.
Эксперты Яндекса собрали теоретические материалы, решения задач, примеры из индустрии и мнения практиков в одном хендбуке. Онлайн-материалы помогут начинающим специалистам сформировать целостное и системное представление о машинном обучении, а профессионалам — оставаться в тонусе, постоянно развивая свои скилы.
С этим учебником вы сможете получить представление о самых свежих тенденциях в машинном обучении и разобраться в темах, которые поднимаются в последних научных статьях. Важный бонус: все материалы бесплатны.
Сохраняйте ссылку на учебник и прокачивайтесь в машинном обучении: https://clck.ru/33t5Fa
Чтобы разложить знания по полочкам или ликвидировать мелкие пробелы, ML-специалистам важно иметь источник, в котором можно найти ответы на любые вопросы. Именно такой учебник и решили сделать в ШАДе.
Эксперты Яндекса собрали теоретические материалы, решения задач, примеры из индустрии и мнения практиков в одном хендбуке. Онлайн-материалы помогут начинающим специалистам сформировать целостное и системное представление о машинном обучении, а профессионалам — оставаться в тонусе, постоянно развивая свои скилы.
С этим учебником вы сможете получить представление о самых свежих тенденциях в машинном обучении и разобраться в темах, которые поднимаются в последних научных статьях. Важный бонус: все материалы бесплатны.
Сохраняйте ссылку на учебник и прокачивайтесь в машинном обучении: https://clck.ru/33t5Fa
👍19❤4🔥4
Caption-Anything is a versatile tool combining image segmentation, visual captioning, and ChatGPT, generating tailored captions with diverse controls for user preferences.
Универсальный инструмент для работы с изображениями, сочетающий в себе возможности, Visual Captioning, SAM, ChatGPT. Модель генерирует описательные подписи для любого объекта на изображении.
📌 Dataset: https://paperswithcode.com/dataset/cityscapes-3d
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🔥4❤2
ZipIt! Merging Models from Different Tasks without Training
ZipIt allows to combine completely distinct models with different initializations, each solving a separate task, into one multi-task model without any additional training.
"ZipIt!", новый метод объединения двух произвольных моделей одной архитектуры.
🖥 Github: https://github.com/gstoica27/zipit
⏩ Paper: https://arxiv.org/abs/2305.03053v1
📌 Dataset: https://paperswithcode.com/dataset/nabirds
ai_machinelearning_big_data
ZipIt allows to combine completely distinct models with different initializations, each solving a separate task, into one multi-task model without any additional training.
"ZipIt!", новый метод объединения двух произвольных моделей одной архитектуры.
📌 Dataset: https://paperswithcode.com/dataset/nabirds
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24👍4🦄4✍1❤1
In this post, we covered the constraints, unique challenges and the current state of text-to-video generation models
Текст в видео: Задачи, проблемы и текущее состояние. В этом посте мы обсудим прошлое, настоящее и будущее моделей "текст в видео".
🤗 Hugging face: https://huggingface.co/blog/text-to-video
📌 Dataset: https://m-bain.github.io/webvid-dataset/
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥4❤3💘1
VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес
Каждая крупная российская компания, которая стремится к росту, вынуждена развивать собственную разработку. Для многих это новое направление. В то же время большинство вопросов современной разработки — инструментарий, ресурсы, процессы — общие для разных отраслей.
⏰ Когда: 8 июня, 12:00
📍Где: Москва и онлайн
⚡️ Регистрация
На VK Cloud Conf эксперты VK и крупнейших российских компаний поделятся опытом организации процессов разработки, работы с данными и информационной безопасности в облаке.
Вы узнаете, какими инструментами и подходами можно сократить время вывода новых разработок на рынок. Спикеры обсудят архитектуру современных аналитических систем — от сбора и структурирования данных до визуализации и разработки моделей машинного обучения.
В программе:
🔹 Как повысить эффективность разработки ИТ-решений с помощью облачных сервисов
🔹Подходы к работе с данными: примеры масштабных дата-решений, особенности и результаты проектов
🔹 Тренды и примеры миграции на российские базы данных
🔹 Лучшие практики облачной безопасности в условиях требований к конфиденциальности данных
Конференция будет полезна руководителям компаний и ИТ-специалистам разных направлений.
Каждая крупная российская компания, которая стремится к росту, вынуждена развивать собственную разработку. Для многих это новое направление. В то же время большинство вопросов современной разработки — инструментарий, ресурсы, процессы — общие для разных отраслей.
⏰ Когда: 8 июня, 12:00
📍Где: Москва и онлайн
⚡️ Регистрация
На VK Cloud Conf эксперты VK и крупнейших российских компаний поделятся опытом организации процессов разработки, работы с данными и информационной безопасности в облаке.
Вы узнаете, какими инструментами и подходами можно сократить время вывода новых разработок на рынок. Спикеры обсудят архитектуру современных аналитических систем — от сбора и структурирования данных до визуализации и разработки моделей машинного обучения.
В программе:
🔹 Как повысить эффективность разработки ИТ-решений с помощью облачных сервисов
🔹Подходы к работе с данными: примеры масштабных дата-решений, особенности и результаты проектов
🔹 Тренды и примеры миграции на российские базы данных
🔹 Лучшие практики облачной безопасности в условиях требований к конфиденциальности данных
Конференция будет полезна руководителям компаний и ИТ-специалистам разных направлений.
👍11❤4🫡2💊2😨1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 ImageBind: One Embedding Space To Bind Them All
ImageBind, an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data.
ImageBind, новый подход к обучению совместному встраиванию шести различных модальностей - текста,изображений, аудио, глубины, тепловых данных и данных IMU.
🖥 Github: https://github.com/facebookresearch/imagebind
Ⓜ️ Meta blog: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
⏩ Paper: https://arxiv.org/pdf/2305.05665v1.pdf
⭐️ Demo: https://imagebind.metademolab.com/
📌 Dataset: https://paperswithcode.com/dataset/msr-vtt
ai_machinelearning_big_data
ImageBind, an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data.
ImageBind, новый подход к обучению совместному встраиванию шести различных модальностей - текста,изображений, аудио, глубины, тепловых данных и данных IMU.
Ⓜ️ Meta blog: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
📌 Dataset: https://paperswithcode.com/dataset/msr-vtt
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤6🔥2
VideoChat: Chat-Centric Video Understanding
Currently, Ask-Anything is a simple yet interesting tool for chatting with video.
Набор данных, ориентированный на видео, состоящий из тысяч видеороликов, сопровождаемых подробными описаниями и субтитрами.
🖥 Github: https://github.com/OpenGVLab/Ask-Anything
⭐️ Demo: https://huggingface.co/spaces/ynhe/AskAnything
⏩ Paper: https://arxiv.org/pdf/2305.06355v1.pdf
📌 Dataset: https://paperswithcode.com/dataset/webvid
ai_machinelearning_big_data
Currently, Ask-Anything is a simple yet interesting tool for chatting with video.
Набор данных, ориентированный на видео, состоящий из тысяч видеороликов, сопровождаемых подробными описаниями и субтитрами.
📌 Dataset: https://paperswithcode.com/dataset/webvid
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤2🌭2🔥1
📖 DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head Video Generation
A novel self-supervised method for learning dense 3D facial geometry (ie, depth) from face videos, without requiring camera parameters and 3D geometry annotations in training.
Новый метод на основе генеративных состязательных сетей для генерации видео с говорящими головами.
🖥 Github: https://github.com/harlanhong/cvpr2022-dagan
⏩ Paper: https://arxiv.org/pdf/2305.06225v1.pdf
⭐️ Demo: https://huggingface.co/spaces/HarlanHong/DaGAN
📌 Dataset: https://paperswithcode.com/dataset/voxceleb1
ai_machinelearning_big_data
A novel self-supervised method for learning dense 3D facial geometry (ie, depth) from face videos, without requiring camera parameters and 3D geometry annotations in training.
Новый метод на основе генеративных состязательных сетей для генерации видео с говорящими головами.
📌 Dataset: https://paperswithcode.com/dataset/voxceleb1
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤4🔥1
Shepherd: A lightweight, foundational framework enabling federated instruction tuning for large language models
Модель для фундаментальной основы для изучения федеративной тонкой настройки LLM.
📌 Data Preparation: https://github.com/jayzhang42/federatedgpt-shepherd#Data_Preparation
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤5❤🔥2✍2🔥1
CLIP, the first foundation model that connects images and text, has enabled many recent breakthroughs in computer vision. As a result of this finding, we are able to successfully train CLIP even by using academic resources.
CLIP, первая фундаментальная модель, которая связывает изображения и текст, которая помогла совершить множество прорывов в компьютерном зрении. Проект показывает спопобы снижения вычислительных затрат на работу CLIP.
📌 Dataset: https://paperswithcode.com/dataset/imagenet-sketch
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤3🔥3🖕1
This media is not supported in your browser
VIEW IN TELEGRAM
ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding
You can easily plug in any 3D backbone models and pre-train it using our framework to get a jump-start for various downstreaming tasks!
ULIP - мультимодальная предварительно обученная модель, которая может использовать данные из разных модальностей (изображения, текст и тд) для работы с 3D-данными.
🖥 Github: https://github.com/salesforce/ulip
⏩ Paper: https://arxiv.org/abs/2305.08275v1
📌 Dataset: https://paperswithcode.com/dataset/objaverse
ai_machinelearning_big_data
You can easily plug in any 3D backbone models and pre-train it using our framework to get a jump-start for various downstreaming tasks!
ULIP - мультимодальная предварительно обученная модель, которая может использовать данные из разных модальностей (изображения, текст и тд) для работы с 3D-данными.
📌 Dataset: https://paperswithcode.com/dataset/objaverse
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥4❤1
FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention
FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes.
FastComposer - новый проект MIT, который обеспечивает высококачественное, персонализированное, многопредметное преобразование текста в изображение без тонкой настройки.
🖥 Github: https://github.com/mit-han-lab/fastcomposer
⏩ Paper: https://arxiv.org/abs/2305.10431v1
📌 Dataset: https://paperswithcode.com/dataset/ffhq
⭐️ Project: https://fastcomposer.mit.edu/
ai_machinelearning_big_data
FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes.
FastComposer - новый проект MIT, который обеспечивает высококачественное, персонализированное, многопредметное преобразование текста в изображение без тонкой настройки.
📌 Dataset: https://paperswithcode.com/dataset/ffhq
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥7❤5