собсна вассап, с вами на связи @mrrrat и я решил завести канальчик куда буду скидывать все что меня тревожит и радует по теме глубинного обучения.

Вопрос который меня будоражил вчера:
Когда мы работаем с батчом переменной длины, мы чтоб завернуть его в тензор обязаны его западить.
а-ля вот такой батч размера 3 [1,2,3], [4,5,6,7,8], [9,10] мы превращаем в [[1,2,3,0,0], [4,5,6,7,8], [9,10,0,0,0]]
Теперь представим что такой батч мы хотим пропустим через lstm и взять последний hidden_state, проблема возникает в том, что для тех семплов которые мы западили у нас последний хидден будет заафекчен еще прогонкой через падинги, типа для [1,2,3] надо остановится на них и выдать после них хидден, в нашем же случае произойдет еще две итерации, что непонятно как влияет на итоговое качество эмбеддинга. Вопрос что с этим делать?
Обсуждение и решение будет в комментариях

Два обзорных сурса по диффузионкам https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

https://arxiv.org/abs/2208.11970

Звук сейчас особенная область в том плане, что в других областях (ну в основном картинки/тексты) многое решается за счет претрейнов, тот же BERT после того как вышел где только не используется, а вот в звуке такого нет, все аэмки и вокодеры учатся под конкретную задачу с нуля... наверно в ближайшие пару лет это решится, и раз такого еще нет, значит надо копать туда... Думать над какими нибудь хитрыми self supervised задачками и катить мощнейшую статью...

Опа, есть обзорная статья про все это дело, изучаем😁

Пришла идея оформить диплом на эту тему... Пошел разговаривать с нужными людьми

оказывается в торче есть вот такая штука
https://pytorch.org/hub/research-models