А вот про это я уже пару лет рассказываю, но они сделали.
Audiovisual self-supervised representation learning
#SSL #audio #video
Audiovisual self-supervised representation learning
#SSL #audio #video
Meta
Audiovisual self-supervised representation learning
We’re sharing new research on using the natural association between video & sound to teach machines to better understand the world. Our self-supervised approach, which is a #CVPR21 best paper candidate, learns directly from sounds & images in videos.
Audio Captioning Transformer
Было бы круто обучить такую же модель, но для описания последовательностей/временных рядов. Например для графиков давления - типа «давление падает в виду движения циклона на северо-восток».
#waveforms #audio #captioning
Было бы круто обучить такую же модель, но для описания последовательностей/временных рядов. Например для графиков давления - типа «давление падает в виду движения циклона на северо-восток».
#waveforms #audio #captioning
SpeechBrain - классный репозиторий для всего связанного со звуком. Сам им пользовался пару раз.
#sound #speech #audio
#sound #speech #audio
Twitter
Philip Vollet
SpeechBrain an open-source and all-in-one speech toolkit based on PyTorch Develop state-of-the-art speech technologies, including systems for speech recognition, speaker recognition, speech enhancement, multi-microphone signal processing @SpeechBrain1 gi…