⚡️ ElevenLabs запустил ИИ-генератор звуковых эффектов

Компания ElevenLabs представила инструмент на базе генеративного ИИ под названием AI Sound Effects, который способен генерировать по текстовому запросу любые звуковые эффекты.
ElevenLabs заявила, что использовала аудиотеку Shutterstock, содержащую лицензионные треки, в качестве инструмента для обучения своей модели.

Сервис генерирует звуки продолжительностью до 22 секунд на основе подсказок пользователя, их можно комбинировать с голосовой и музыкальной платформой компании. Он предоставляет как минимум четыре варианта загружаемых аудиоклипов.

Есть бесплатная и платная версии. При бесплатном доступе будет установлен лимит в 10 тысяч символов, пользователь обязан ссылаться при публикации клипа на ElevenLabs, добавив в заголовок elevenlabs.io. При создании звуковых эффектов будет взиматься 40 символов за секунду аудио. По умолчанию каждый запрос будет стоить 200 символов. При платном доступе пользователи получают коммерческую лицензию на свободное использование сгенерированных клипов.

▶️ Попробовать Sound Effects ElevenLabs

@ai_machinelearning_big_data

🌟 Stability AI опубликовала открытую модель Stable Audio для генерации музыки

Stability AI опубликовала в открытом доступе модель Stable Audio, предназначенную для генерации музыки, звуковых эффектов и окружения.

Stable Audio Open — открытая модель в формате Text-to-Audio, которая генерирует 47-секундные музыкальные семплы и звуковые эффекты. К примеру, можно попросить нейросеть создать партию на фортепиано, барабанный бит, гитарный риф, пение соловья или шум дождя. Для генерации надо отправить текстовый запрос. Примечательно, что пользователи могут генерировать музыку на своих данных. К примеру, барабанщик может загрузить записи своих битов и на их основе создавать новые.

В блоге компании рассказали, что открытая модель отличается от одноимённой коммерческой. Закрытая версия Stable Audio может генерировать трёхминутные треки с проработанной структурой. Также поддерживается режим Audio-to-Audio, в котором в качестве запроса можно передать уже готовый трек.

Открытую модель Stable Audio Open обучили на данных сервисов FreeSound и Free Music Archive, что позволило соблюсти все требования к авторским правам. При этом для доступа к нейросети всё равно необходимо ознакомиться с лицензией использования.

🤗 Модель и веса опубликованы на Hugging Face.

@ai_machinelearning_big_data

🌟 Мультиплеер Stable Audio, который можно запустить на Hugging Face

Генерируйте аудио из текстового описания, делитесь и учитесь у других, как наилучшим образом использовать эту новую модель.

🤗 Попробовать на Hugging Face

@ai_machinelearning_big_data

🌟 NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения

NeRF-Insert позволяет добавить объект в 3D-сцену с помощью мультимодальных входных сигналов: текстового промпта или опорного изображения.
Можно определить область 3D-сцены, которая будет меняться, нарисовав всего 2-3 маски.
При желании можно отображать полигональную сетку, чтобы иметь больше контроля над положением или формой вставляемого объекта.

▶️ Страничка NeRF-Insert
🟡 Arxiv

@ai_machinelearning_big_data

🌟 aider — AI-напарник для программирования с консольным интерфейсом

pip install aider-chat

# для работы с GPT-4o
export OPENAI_API_KEY=your-key-goes-here
aider 

# для использование Claude 3 Opus:
export ANTHROPIC_API_KEY=your-key-goes-here
aider --opus

Aider получил высший балл на SWE Bench — сложном бенчмарке, в котором Aider решал реальные проблемы на GitHub из популярных проектов с открытым исходным кодом, таких как django, scikitlearn, matplotlib и др.

🖥 GitHub
🟡 Доки

@ai_machinelearning_big_data

🌟 Micro Agent будет писать код до тех пор, пока тот не будет соответствовать тестам

— npm install -g @builder.io/micro-agent

Micro Agent — это маленький AI-агент, который заточен под одно применение: агент пишет тест, а потом пишет под этот тест код.
По задумке, такой подход должен гарантировать как минимум валидность кода, а как максимум — код будет решать все поставленные задачи

🖥 GitHub

@ai_machinelearning_big_data

🌟 xLSTM — Расширенная долговременная краткосрочная память

— pip install xlstm

Не так давно был пост со статьёй Arxiv об архитектуре xLSTM, и вот команда исследователей xLSTM опубликовала код на GitHub.
xLSTM — это новая архитектура рекуррентной нейронной сети, основанная на идеях привычной нам LSTM. Благодаря экспоненциальному гейтингу с соответствующими методами нормализации и стабилизации и новой матричной памяти она преодолевает ограничения оригинальной LSTM и демонстрирует производительность при обработке естественного языка по сравнению с трансформерами или другими архитектурами.

🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

🍏 Прошла конференция Apple и если вы пропустили ее, вот самое интерсное из нее.

Siri превратили в ИИ-помощника, теперь она сможет использовать ваши приложения, объяснять информацию на экране и искать то, что вам нужно практически в любых приложениях и заметках;

Что инетресно, Apple еще в апреле опубликовала статью о своей модели машинного обучения Ferret-UI для распознавания элементов пользовательского интерфейса, в которой раскрыто гораздо больше деталей, чем мы обычно ожидаем от Apple.

"Ferret-UI", мультимодальная модель визуального языка, которая распознает иконки, виджеты и текст на экране мобильного устройства iOS, а также объясняет их расположение и функциональное значение.

Примеры вопросов, которые вы можете задать Ferret-UI:
- Предоставьте краткое описание этого скриншота;
- Для интерактивного элемента укажите фразу, которая наилучшим образом описывает его функциональность;
- Определите, можно ли использовать элемент пользовательского интерфейса.
и тд

В статье даже рассказывается о деталях созданиях датасета и бенчмарка для тестов Apple. Редкая открытость со стороны яблочников!

Они по-настоящему переосмысливают свое направление исследований в области искусственного интеллекта.

Статья была опубликована в апреле без особой пиар-шумихи: https://arxiv.org/abs/2404.05719

@ai_machinelearning_big_data