🌟 V-Express — метод анимирования статичной фотографии лица с учётом позы, звука и самого изображения

Метод V-Express был представлен совсем недавно Cong Wang, Kuan Tian, Jun Zhang и другими как один из самых эффективных методов генерации таких анимаций, код и модель опубликованы

🖥 GitHub
🟡 Страничка V-Express
🤗 Модель на Hugging Face

@ai_machinelearning_big_data

🌟 GPT Researcher — автономный агент на основе GPT, выполняющий комплексное онлайн-исследование по любой заданной теме

— pip install gpt-researcher

Пример использования GPT Researcher:

from gpt_researcher import GPTResearcher

query = "why is Nvidia stock going up?"
researcher = GPTResearcher(query=query, report_type="research_report")
# Conduct research on the given query
research_result = await researcher.conduct_research()
# Write the report
report = await researcher.write_report()

🖥 GitHub
🟡 Страничка GPT Researcher

@ai_machinelearning_big_data

🌟 Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами

Dot предназначено для простого взаимодействия с документами и файлами (.pdf, .docx, .xlsx, .pptx, .md) с помощью локальных LLM и технологии Retrieval Augmented Generation.
Dot было вдохновлено такими решениями, как Chat with RTX от Nvidia
По умолчанию использует Phi-3

🖥 GitHub
🟡 Страничка Dot

@ai_machinelearning_big_data

⚡️ ElevenLabs запустил ИИ-генератор звуковых эффектов

Компания ElevenLabs представила инструмент на базе генеративного ИИ под названием AI Sound Effects, который способен генерировать по текстовому запросу любые звуковые эффекты.
ElevenLabs заявила, что использовала аудиотеку Shutterstock, содержащую лицензионные треки, в качестве инструмента для обучения своей модели.

Сервис генерирует звуки продолжительностью до 22 секунд на основе подсказок пользователя, их можно комбинировать с голосовой и музыкальной платформой компании. Он предоставляет как минимум четыре варианта загружаемых аудиоклипов.

Есть бесплатная и платная версии. При бесплатном доступе будет установлен лимит в 10 тысяч символов, пользователь обязан ссылаться при публикации клипа на ElevenLabs, добавив в заголовок elevenlabs.io. При создании звуковых эффектов будет взиматься 40 символов за секунду аудио. По умолчанию каждый запрос будет стоить 200 символов. При платном доступе пользователи получают коммерческую лицензию на свободное использование сгенерированных клипов.

▶️ Попробовать Sound Effects ElevenLabs

@ai_machinelearning_big_data

🌟 Stability AI опубликовала открытую модель Stable Audio для генерации музыки

Stability AI опубликовала в открытом доступе модель Stable Audio, предназначенную для генерации музыки, звуковых эффектов и окружения.

Stable Audio Open — открытая модель в формате Text-to-Audio, которая генерирует 47-секундные музыкальные семплы и звуковые эффекты. К примеру, можно попросить нейросеть создать партию на фортепиано, барабанный бит, гитарный риф, пение соловья или шум дождя. Для генерации надо отправить текстовый запрос. Примечательно, что пользователи могут генерировать музыку на своих данных. К примеру, барабанщик может загрузить записи своих битов и на их основе создавать новые.

В блоге компании рассказали, что открытая модель отличается от одноимённой коммерческой. Закрытая версия Stable Audio может генерировать трёхминутные треки с проработанной структурой. Также поддерживается режим Audio-to-Audio, в котором в качестве запроса можно передать уже готовый трек.

Открытую модель Stable Audio Open обучили на данных сервисов FreeSound и Free Music Archive, что позволило соблюсти все требования к авторским правам. При этом для доступа к нейросети всё равно необходимо ознакомиться с лицензией использования.

🤗 Модель и веса опубликованы на Hugging Face.

@ai_machinelearning_big_data