Новое видео от Яника о НЕтрансформере. Который тем не менее работает на некоторых задачах не хуже и линеен по памяти.
Очень интересное критическое видео. Хорошие пример как надо читать статью и почему не надо вестись на формулы и названия, которые дали авторы.(Спойлер - query у авторов по сути ими не являются. Это по сути value, а, точнее, ровно один выучиваемый value)
Код
#transformer #yannic
https://youtu.be/qgUegkefocg
Очень интересное критическое видео. Хорошие пример как надо читать статью и почему не надо вестись на формулы и названия, которые дали авторы.(Спойлер - query у авторов по сути ими не являются. Это по сути value, а, точнее, ровно один выучиваемый value)
Код
#transformer #yannic
https://youtu.be/qgUegkefocg
GitHub
GitHub - wuch15/Fastformer: A pytorch &keras implementation and demo of Fastformer.
A pytorch &keras implementation and demo of Fastformer. - GitHub - wuch15/Fastformer: A pytorch &keras implementation and demo of Fastformer.