В популярный бесплатный аудиоредактор Audacity завезли ИИ-плагины на бэкенде Intel OpenVino.

Для музыкантов:
Music Generation - генерит музыку (60сек) по текстовому промту, Riffusion
Music Style Remix - меняет стиль исходного сэмпла, Riffusion
Music Separation - разделяет голос и инструменты на отдельные дорожки, Demucs v4

Для этих ваших подкастеров и стримеров:
Noise Suppression - шумоподавление, noise-suppression-denseunet-ll
Transcription with Optional Translation - транскрибация с переводом (только на английский), Whisper

git c плагинами (2gb)
audacity
audacity git
подробнее
youtube
_______
Источник | #derplearning | #полезности
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

QLoRa + FSDP: Finetune 70B models on Dual 24GB GPUs

Джереми пробудился! :D
Котаны из answer.ai, huggingface и Mobius Labs запилили пайплайн для народного тюна 70b моделей.
Теперь для лор не нужно 48гб VRAM, а можно разбить на 2х24 или 3х16, практически без потери в скорости.
Самое время наведаться к соседу за второй видюхой :D

Cуть подхода такова:
Берем 4-битную квантованную 70B модель, весящую 35Gb. Тренить ее саму мы не можем из-за квантования, но можем тренить ее лору. Это, собственно, и есть QLoRA.
Для этого нам все еще нужно 48Gb VRAM.
Мы можем раскидать ее на 2х24Gb GPU послойно, но тогда мы потеряем половину вычислительной мощности, так как слои будут обрабатываться последовательно. Тут-то на помощь и приходит FSDP или Fully Sharded DataParallel. Этот подход позволяет все так же раскидать слои по разным видеокартам, но обрабатывать данные параллельно, подгружая следующий слой с соседних видеокарт, пока обрабатывается предыдущий, а затем выгружая обратно.


твит
код
подробнее
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

github.com
github.com-1 (уже переименовали)

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

_______
Источник | #derplearning
______________
пост в блоге x.ai
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

claude-llm-trainer
Чел из hyperwriteai.com выкатил любопытный пайплайн, который обучает язвыковую модель по описанию задачи.

Описываете задачу текстом, например "генерация кода на питоне", а дальше с помощью Claude 3 генерится датасет под задачу и тренится моделька. Лама 2 7б в колабе, локально, или вообще гпт3.5 через апи - не принципиально.

Насколько такие модели действительно полезны (по сравнению с обученными кожаными мешками на реальный данных) - большой вопрос, но как демка пайплайна - очень даже любопытно.

Возможно, генерация датасетов подобным образом нарушает условия anthropic, но что вы нам сделаете, мы сдругова горада.

git
tweet
_______
Источник | #derplearning
@F_S_C_P
-------
поддержи канал
-------

Autonomous Overhead Powerline Recharging for Uninterrupted Drone Operations

Думал, что это первоапрельская шутка, но нет.

Дрон, способный самостоятельно подзаряжаться от ЛЭП, причем и от постоянного тока в том числе.

Если такой системой оборудовать дроны, которые уже используются для очистки ЛЭП от паутины, мусора, и обрезки ближайших деревьев, получим первый пример киберпанк-симбиоза.

Дроны-прилипалы!

Paper
_______
Источник | #derplearning
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

3D Gaussian Splatting of the collapsed Baltimore Key Bridge.

Вот и гауссианы пригодились в деле.

Твит
Реддит
Покрутить самим тут
_______
Источник | #derplearning
@F_S_C_P
-------
поддержи канал
-------

Забавный кейс. Huggingface обычно сканирует модели, и предупреждает юзера, если это *.pkl с подозрительным кодом.
При этом через inference api эту модель можно запустить. Что и проделали чюваки из WIZ Research (это те, кто недавно нашел на гитхабе 38тб приватных данных MicroSoft :D)
В итоге команде удалось получить доступ к шеллу, где крутилась модель, а потом чуть ли не ко всему инференс кластеру.

Подробнее
Видео
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Improving microbial phylogeny with citizen science within a mass-market video game

Наконец-то, статья, переплюнувшая статью Google Gemini по количеству контрибьюторов 😅

Если кратко - учёные, исследовавшие днк кишечной микрофлоры, запартнерились с gearbox и встроили в borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК.

В итоге в мини-игру поиграло более 4 млн человек, решив 135 миллионов задач. Несложно прикинуть, сколько бы стоила обработка такого объема данных наемными людьми.
Вот это я понимаю краудсорсинг.

Образцы ДНК, кстати, были взяты из фекалий, чем можно объяснить повышенный интерес геймеров
/s


Пейпер
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Штош, вот и переодевалки пригодились

Hf demo
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram