собсна вассап, с вами на связи @mrrrat и я решил завести канальчик куда буду скидывать все что меня тревожит и радует по теме глубинного обучения.

Вопрос который меня будоражил вчера:
Когда мы работаем с батчом переменной длины, мы чтоб завернуть его в тензор обязаны его западить.
а-ля вот такой батч размера 3 [1,2,3], [4,5,6,7,8], [9,10] мы превращаем в [[1,2,3,0,0], [4,5,6,7,8], [9,10,0,0,0]]
Теперь представим что такой батч мы хотим пропустим через lstm и взять последний hidden_state, проблема возникает в том, что для тех семплов которые мы западили у нас последний хидден будет заафекчен еще прогонкой через падинги, типа для [1,2,3] надо остановится на них и выдать после них хидден, в нашем же случае произойдет еще две итерации, что непонятно как влияет на итоговое качество эмбеддинга. Вопрос что с этим делать?
Обсуждение и решение будет в комментариях

Два обзорных сурса по диффузионкам https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

https://arxiv.org/abs/2208.11970

Звук сейчас особенная область в том плане, что в других областях (ну в основном картинки/тексты) многое решается за счет претрейнов, тот же BERT после того как вышел где только не используется, а вот в звуке такого нет, все аэмки и вокодеры учатся под конкретную задачу с нуля... наверно в ближайшие пару лет это решится, и раз такого еще нет, значит надо копать туда... Думать над какими нибудь хитрыми self supervised задачками и катить мощнейшую статью...

Опа, есть обзорная статья про все это дело, изучаем😁

Пришла идея оформить диплом на эту тему... Пошел разговаривать с нужными людьми

оказывается в торче есть вот такая штука
https://pytorch.org/hub/research-models

А еще сюда продублирую прикольные ссылки которые я нашел давно.
https://distill.pub/
https://visxai.io/
Два медиа по ML/DL, первое правда на хиатусе, но можно почитать то шо вышло
https://alphacephei.com/ru/research - суперкинки статьи по звуку
https://huggingface.co/tasks

а еще вот эту штуку, надо будет кстати попробовать ее

https://torchmetrics.readthedocs.io/en/stable/
Подсчет метрик в торче

Как ускорить обучение вашей звуковой модельки в разы.

Обычно когда вы обучаете модельку для звука у вас много данных и вы в каждой эпохе для каждого батча достаете из обычной памяти нужные семплы, как то их предобрабатываете и дальше уже загоняете в модельку. Так вот, оказывается, в этом пайплайне есть ебейший ботлнек - подсчет мелспеки/мфсс. Чтоб убрать его достаточно 1 раз пройтись по всему датасету и к каждой вавке в пару к ней сделать файлик с предпосчитанной мелспекой/мфсс и при обучении считывать сразу его. Зато такой вот такой нехитрый метод ща спидапнул мне обучение на работе в 20 ебанных раз! Ну а еще я перестал жрать все ядра на машинке))) Сплошные плюсы.
P.S. Сначала я решил пожадничать и не делать для каждой вавки по файлу, а записать все в один, при инициализации датасета считывать его в оперативу и прям с ним работать. В теории такой подход должен работать быстрее. Но на практике я тыщу лет считывал этот файл в начале каждого эксперимента и это дико бесило. Ну и хранить много данных в оперативе тоже не лучшая идея. Learn from my mistakes)

https://openai.com/blog/whisper/
OpenAI обучили и опенсурснули ASR трансформер на 680к часах и он могет в мультиязычность