собсна вассап, с вами на связи @mrrrat и я решил завести канальчик куда буду скидывать все что меня тревожит и радует по теме глубинного обучения.
Вопрос который меня будоражил вчера:
Когда мы работаем с батчом переменной длины, мы чтоб завернуть его в тензор обязаны его западить.
а-ля вот такой батч размера 3 [1,2,3], [4,5,6,7,8], [9,10] мы превращаем в [[1,2,3,0,0], [4,5,6,7,8], [9,10,0,0,0]]
Теперь представим что такой батч мы хотим пропустим через lstm и взять последний hidden_state, проблема возникает в том, что для тех семплов которые мы западили у нас последний хидден будет заафекчен еще прогонкой через падинги, типа для [1,2,3] надо остановится на них и выдать после них хидден, в нашем же случае произойдет еще две итерации, что непонятно как влияет на итоговое качество эмбеддинга. Вопрос что с этим делать?
Обсуждение и решение будет в комментариях
Когда мы работаем с батчом переменной длины, мы чтоб завернуть его в тензор обязаны его западить.
а-ля вот такой батч размера 3 [1,2,3], [4,5,6,7,8], [9,10] мы превращаем в [[1,2,3,0,0], [4,5,6,7,8], [9,10,0,0,0]]
Теперь представим что такой батч мы хотим пропустим через lstm и взять последний hidden_state, проблема возникает в том, что для тех семплов которые мы западили у нас последний хидден будет заафекчен еще прогонкой через падинги, типа для [1,2,3] надо остановится на них и выдать после них хидден, в нашем же случае произойдет еще две итерации, что непонятно как влияет на итоговое качество эмбеддинга. Вопрос что с этим делать?
Обсуждение и решение будет в комментариях
Два обзорных сурса по диффузионкам https://lilianweng.github.io/posts/2021-07-11-diffusion-models/
https://arxiv.org/abs/2208.11970
https://arxiv.org/abs/2208.11970
lilianweng.github.io
What are Diffusion Models?
[Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)].
[Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen.
[Updated on 2022-08…
[Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen.
[Updated on 2022-08…
🔥1
Звук сейчас особенная область в том плане, что в других областях (ну в основном картинки/тексты) многое решается за счет претрейнов, тот же BERT после того как вышел где только не используется, а вот в звуке такого нет, все аэмки и вокодеры учатся под конкретную задачу с нуля... наверно в ближайшие пару лет это решится, и раз такого еще нет, значит надо копать туда... Думать над какими нибудь хитрыми self supervised задачками и катить мощнейшую статью...
👍6
Пришла идея оформить диплом на эту тему... Пошел разговаривать с нужными людьми
👍7
оказывается в торче есть вот такая штука
https://pytorch.org/hub/research-models
https://pytorch.org/hub/research-models
PyTorch
For Researchers
👍1🔥1
А еще сюда продублирую прикольные ссылки которые я нашел давно.
https://distill.pub/
https://visxai.io/
Два медиа по ML/DL, первое правда на хиатусе, но можно почитать то шо вышло
https://alphacephei.com/ru/research - суперкинки статьи по звуку
https://huggingface.co/tasks
https://distill.pub/
https://visxai.io/
Два медиа по ML/DL, первое правда на хиатусе, но можно почитать то шо вышло
https://alphacephei.com/ru/research - суперкинки статьи по звуку
https://huggingface.co/tasks
🔥3👍2
Forwarded from Мишин Лернинг
🚀🗄 FAST DATA LOADER IS ALL YOU NEED: Fast Forward Computer Vision
Тут студенты из MiT собрали быстрейший даталоадер!
Все что нужно, так это заменить
Такой подход позволяет затренить родным PyTorch модель ResNet на ImageNet всего за 35 минуут (1$ на AWS)
📮 FFCV 💻 Git 📚 Docs
Тут студенты из MiT собрали быстрейший даталоадер!
Все что нужно, так это заменить
from torch.utils.data import DataLoader на from ffcv.loader import Loader, OrderOption, и далее по примеру из картинки поста.Такой подход позволяет затренить родным PyTorch модель ResNet на ImageNet всего за 35 минуут (1$ на AWS)
📮 FFCV 💻 Git 📚 Docs
🔥2
https://torchmetrics.readthedocs.io/en/stable/
Подсчет метрик в торче
Подсчет метрик в торче
👍4