XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale
XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.
По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).
XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.
📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо
#SSL #sound #audio #speech
XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.
По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).
XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.
📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо
#SSL #sound #audio #speech
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
🧬 OpenFold: Точное воспроизведение AlphaFold 2 от DeepMind на PyTorch
Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.
Сегодня стала доступна PyTorch имплементация OpenFold.
OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.
OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.
🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.
Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.
💻 git 🔮colab
Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.
Сегодня стала доступна PyTorch имплементация OpenFold.
OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.
OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.
🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.
Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.
💻 git 🔮colab
Bits and Bytes (Facebook AI)
Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.
Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы
Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.
🖥 Код
📎 Статья
📼 Видео
#training #optimizers
Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.
Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы
Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.
🖥 Код
📎 Статья
📼 Видео
#training #optimizers
Forwarded from DLStories
Хироаки Китано — глава лаборатории Sony по computer science — заявил о намерениях создать ИИ, который сможет получить Нобелевскую премию. Звучит неплохо, да?
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
Engadget
Sony's head of AI research wants to build robots that can win a Nobel Prize
Dr. Hiroaki Kitano, CEO of Sony Computer Science Laboratories seeks to launch the Nobel Turing Challenge and develop a AI smart enough to win itself a Nobel Prize by 2050.
Forwarded from Denis Sexy IT 🤖
Кармак и Ромеро опять играют в Doom — так зовут крыс, которых чувак обучил играть в шутер и отстреливать нечисть.
В общем, нейроинженер создал VR-установку с нуля, и обучил крыс проходить длинный коридор, созданный на движке Doom, где были монстры, которые не стреляли в ответ, а просто грозили пушками. В основе установки полистироловый шар, отслеживающий движения: крыса как бы ходит по нему, подвешенная на ремнях, и смотри на экран с игрой, который стоит перед её мордой. Если грызун делает «правильные» вещи (бегает и стреляет), то получает трубочку со сладкой водой, которую очень любит (тоже хочу такую систему к ПК).
Процедура обучения была такой: крыса идёт на монстра → ПО определяет, что игрок находится в непосредственной близости от монстра → крыса не знает что делать в этой ситуации, потому ПО активирует толкающий соленоид, который поднимает грызуна немного вверх → следующее его движение на шаре активирует выстрел → монстр умирает, животное немного опускается вниз и бежит дальше → пьёт сладкую водичку.
Сложно сказать, действительно ли крысы прямо играют в Doom или просто выпрашивают лакомство и бегают по шару, с другой стороны не каждый день увидишь как крыса убивает импа из дробовика. Разработчик, правда, не совсем доволен механикой стрельбы и считает, что ему надо было выбрать систему тыканья носом.
Короче, скоро ждём межвидовой deathmatch на Твиче между крысами и котами в метавселенной «Дикий мир» 🌚
В общем, нейроинженер создал VR-установку с нуля, и обучил крыс проходить длинный коридор, созданный на движке Doom, где были монстры, которые не стреляли в ответ, а просто грозили пушками. В основе установки полистироловый шар, отслеживающий движения: крыса как бы ходит по нему, подвешенная на ремнях, и смотри на экран с игрой, который стоит перед её мордой. Если грызун делает «правильные» вещи (бегает и стреляет), то получает трубочку со сладкой водой, которую очень любит (тоже хочу такую систему к ПК).
Процедура обучения была такой: крыса идёт на монстра → ПО определяет, что игрок находится в непосредственной близости от монстра → крыса не знает что делать в этой ситуации, потому ПО активирует толкающий соленоид, который поднимает грызуна немного вверх → следующее его движение на шаре активирует выстрел → монстр умирает, животное немного опускается вниз и бежит дальше → пьёт сладкую водичку.
Сложно сказать, действительно ли крысы прямо играют в Doom или просто выпрашивают лакомство и бегают по шару, с другой стороны не каждый день увидишь как крыса убивает импа из дробовика. Разработчик, правда, не совсем доволен механикой стрельбы и считает, что ему надо было выбрать систему тыканья носом.
Короче, скоро ждём межвидовой deathmatch на Твиче между крысами и котами в метавселенной «Дикий мир» 🌚
Neural Fields in Visual Computing and Beyond
Последние достижения в области машинного обучения вызвали растущий интерес к решению проблем визуальных вычислений с помощью нейросетей, которые параметризуют физические свойства сцен или объектов в пространстве и времени. Эти методы, которые называют нейронными полями, нашли успешное применение в синтезе 3D-форм и изображений, анимации человеческих тел, 3D-реконструкции и оценке позы.
В докладе, авторы предоставляют контекст, математическое обоснование и обширный обзор литературы по нейронным полям. В первой части доклада авторы разбирают методы нейронных полей, включая различные представления, архитектуры, прямое отображение и методы обобщения. Во второй части, они разбирают приложения нейронных полей к различным проблемам в визуальных вычислениях и не только (например, робототехника, аудио). Помимо этого, авторы выпустили сопутствующий веб-сайт, который представляет собой живую версию обзора, постоянно обновляемую сообществом.
📎 Статья
🌎 Сайт
#neurofields
Последние достижения в области машинного обучения вызвали растущий интерес к решению проблем визуальных вычислений с помощью нейросетей, которые параметризуют физические свойства сцен или объектов в пространстве и времени. Эти методы, которые называют нейронными полями, нашли успешное применение в синтезе 3D-форм и изображений, анимации человеческих тел, 3D-реконструкции и оценке позы.
В докладе, авторы предоставляют контекст, математическое обоснование и обширный обзор литературы по нейронным полям. В первой части доклада авторы разбирают методы нейронных полей, включая различные представления, архитектуры, прямое отображение и методы обобщения. Во второй части, они разбирают приложения нейронных полей к различным проблемам в визуальных вычислениях и не только (например, робототехника, аудио). Помимо этого, авторы выпустили сопутствующий веб-сайт, который представляет собой живую версию обзора, постоянно обновляемую сообществом.
📎 Статья
🌎 Сайт
#neurofields
Forwarded from AbstractDL
YOLaT: image recognition для векторных картинок (by Microsoft)
Похоже, это первая нейронка, которая может классифицировать и детектировать объекты в векторной графике без растеризации.
В отличие от пиксельных картинок, векторные состоят из аналитически выраженных геометрических фигур и, поэтому, их эквивалентное разрешение может быть бесконечным. Это делает невозможным использование стандартных методов image recognition.
Что предлагают авторы:
1. Преобразовать векторный файл в набор кривых Безье.
2. Кривые Безье превратить в ненаправленный мультиграф.
3. Запихнуть этот граф в графовую нейросеть.
Их метод демонстрирует state-of-the-art результат, работает в 100 раз быстрее, чем растеризация+CNN и требует в 25 раз меньше параметров.
Статья
Похоже, это первая нейронка, которая может классифицировать и детектировать объекты в векторной графике без растеризации.
В отличие от пиксельных картинок, векторные состоят из аналитически выраженных геометрических фигур и, поэтому, их эквивалентное разрешение может быть бесконечным. Это делает невозможным использование стандартных методов image recognition.
Что предлагают авторы:
1. Преобразовать векторный файл в набор кривых Безье.
2. Кривые Безье превратить в ненаправленный мультиграф.
3. Запихнуть этот граф в графовую нейросеть.
Их метод демонстрирует state-of-the-art результат, работает в 100 раз быстрее, чем растеризация+CNN и требует в 25 раз меньше параметров.
Статья
Forwarded from Вастрик.Пынь
Наконец-то нашел тулзу, которая может взять данные моих перемещений за много лет из GDPR-бекапа Google Maps и построить из них хитмап улиц. Теперь я знаю, что действительно ходил хотя бы раз уже почти по каждой улице внутри Берлина, но еще не по всем!
Давно хотел такой сервис, который бы автоматически рисовал такое, но они все жрут батарейку и не умеют в исторические данные. Один только Google шпионит за мной качественно.
Теперь-то мои сраные вечерние прогулки для сраного ментального здоровья станут целенаправленными! Ну и пригодится для следующего тревел-бложека.
P.S.: Тулза называется Location History Visualiser и работает без бекенда, а данные можно забрать в Google Takeout
Давно хотел такой сервис, который бы автоматически рисовал такое, но они все жрут батарейку и не умеют в исторические данные. Один только Google шпионит за мной качественно.
Теперь-то мои сраные вечерние прогулки для сраного ментального здоровья станут целенаправленными! Ну и пригодится для следующего тревел-бложека.
P.S.: Тулза называется Location History Visualiser и работает без бекенда, а данные можно забрать в Google Takeout
DABS - The Domain Agnostic Benchmark for Self-Supervised Learning.
Можно ли использовать self-supervised обучение (SSL) с любыми данными? DABS - это бенчмарк методов SSL в семи различных областях, включая рентгеновские снимки грудной клетки, носимые датчики и мультиязычный текст.
Модели обучаются на не размеченном наборе данных в каждой области, а затем оценивают на последующих задачах в той же области.
Методы SSL, которые хорошо работают на DABS, могут быть особенно полезны для научных, медицинских, мультимодальных и других реальных задач, где не хватает меток или их дорого собирать.
📎 Статья
🖥 Код
📈 Бенчмарк
🌎 Красивый сайт
#SSL #ScientificML
Можно ли использовать self-supervised обучение (SSL) с любыми данными? DABS - это бенчмарк методов SSL в семи различных областях, включая рентгеновские снимки грудной клетки, носимые датчики и мультиязычный текст.
Модели обучаются на не размеченном наборе данных в каждой области, а затем оценивают на последующих задачах в той же области.
Методы SSL, которые хорошо работают на DABS, могут быть особенно полезны для научных, медицинских, мультимодальных и других реальных задач, где не хватает меток или их дорого собирать.
📎 Статья
🖥 Код
📈 Бенчмарк
🌎 Красивый сайт
#SSL #ScientificML
Эффективное обучение визуальных трансформеров на небольших наборах данных
Визуальные трансформеры (ViT) уже почти сравнялись по популярности со сверточными сетями (CNN). Однако, ViT требуется намного больше данных, чем CNN.
В статье анализируются различные ViT, сравнивается их устойчивость в режиме малого набора данных для обучения, и демонстрируется, что, несмотря на сопоставимую точность при обучении на ImageNet, их производительность на меньших наборах данных может значительно отличаться.
Авторы предлагают self-supervised задачу, которая может извлекать дополнительную информацию из изображений с незначительными вычислительными затратами. Эта задача побуждает ViT изучать пространственные отношения внутри изображения и делает обучение ViT гораздо более надежным в условиях нехватки обучающих данных. Задача используется совместно с supervised обучением и не зависит от конкретных архитектурных решений. Этот метод помогает улучшить конечную точность ViT.
📎 Статья
🖥 Код
#transformer #SSL #images
Визуальные трансформеры (ViT) уже почти сравнялись по популярности со сверточными сетями (CNN). Однако, ViT требуется намного больше данных, чем CNN.
В статье анализируются различные ViT, сравнивается их устойчивость в режиме малого набора данных для обучения, и демонстрируется, что, несмотря на сопоставимую точность при обучении на ImageNet, их производительность на меньших наборах данных может значительно отличаться.
Авторы предлагают self-supervised задачу, которая может извлекать дополнительную информацию из изображений с незначительными вычислительными затратами. Эта задача побуждает ViT изучать пространственные отношения внутри изображения и делает обучение ViT гораздо более надежным в условиях нехватки обучающих данных. Задача используется совместно с supervised обучением и не зависит от конкретных архитектурных решений. Этот метод помогает улучшить конечную точность ViT.
📎 Статья
🖥 Код
#transformer #SSL #images
An Image Patch is a Wave: Phase-Aware Vision MLP
В отличие от сверточных нейросетей (CNN) и визуальных трансформеров (ViT), многослойные перцептрон (MLP) - это вид моделей с чрезвычайно простой архитектурой, которая складывается только из линейных слоев. Входное изображение для зрительной MLP обычно разбивается на несколько патчей.
В статье предлагается представить каждый патч в виде волновой функции с двумя частями - амплитудой и фазой. Амплитуда - это исходная характеристика, а фаза - комплексное значение, изменяющееся в зависимости от семантического содержания входных изображений.
Основываясь на волновом представлении патчей, авторы создали новую архитектуру Wave-MLP для задач зрения.
Wave-MLP превосходит современные архитектуры MLP в различных задачах зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация.
📎 Статья
#MLP #images
В отличие от сверточных нейросетей (CNN) и визуальных трансформеров (ViT), многослойные перцептрон (MLP) - это вид моделей с чрезвычайно простой архитектурой, которая складывается только из линейных слоев. Входное изображение для зрительной MLP обычно разбивается на несколько патчей.
В статье предлагается представить каждый патч в виде волновой функции с двумя частями - амплитудой и фазой. Амплитуда - это исходная характеристика, а фаза - комплексное значение, изменяющееся в зависимости от семантического содержания входных изображений.
Основываясь на волновом представлении патчей, авторы создали новую архитектуру Wave-MLP для задач зрения.
Wave-MLP превосходит современные архитектуры MLP в различных задачах зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация.
📎 Статья
#MLP #images
Укатил на выходные в Амстердам, пока меня нет, почитайте про то, как Яндекс пилит свои беспилотники или про то, как Andrej Karpathy (Tesla AI) восхищается Copilot
Хабр
Как Яндекс делает обычные автомобили беспилотными
Привет, меня зовут Антон Чистяков. Пару лет назад я работал в хелпдеске Яндекса и даже писал здесь про то, как мы придумали вендомат с аксессуарами. Теперь отвечаю за сборку беспилотных автомобилей и...
Illustrated BERT
Пока я все ещё в дороге, почитайте этот прекрасный иллюстрированный обзор на BERT и ELMo. Это ваш шанс наконец-то разобраться о чем речь and why should you care.
Пока я все ещё в дороге, почитайте этот прекрасный иллюстрированный обзор на BERT и ELMo. Это ваш шанс наконец-то разобраться о чем речь and why should you care.
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
GradInit: перебор гиперпараметров оптимизатора и warmup больше не нужны (by Google)
В гугл предложили супер крутой универсальный architecture-agnostic метод инициализации весов моделей.
Идея очень простая: добавить множители перед каждым блоком параметров и запустить по ним несколько итераций оптимизации лосса. Дальше эти множители фиксируем и учим модель как обычно. Такая инициализация не зависит от глубины и типа архитектуры (работает и на резнетах и на трансформерах) и почти полностью решает проблему взрывающихся\затухающих градиентов.
В итоге отпадает необходимость в переборе гиперпараметров оптимизатора, а трансформер вообще получилось обучить без warmup’a, что считалось практически невозможным. Как бонус, такая инициализация даёт небольшой буст на многих бенчмарках (и картиночных и текстовых).
Статья, GitHub
В гугл предложили супер крутой универсальный architecture-agnostic метод инициализации весов моделей.
Идея очень простая: добавить множители перед каждым блоком параметров и запустить по ним несколько итераций оптимизации лосса. Дальше эти множители фиксируем и учим модель как обычно. Такая инициализация не зависит от глубины и типа архитектуры (работает и на резнетах и на трансформерах) и почти полностью решает проблему взрывающихся\затухающих градиентов.
В итоге отпадает необходимость в переборе гиперпараметров оптимизатора, а трансформер вообще получилось обучить без warmup’a, что считалось практически невозможным. Как бонус, такая инициализация даёт небольшой буст на многих бенчмарках (и картиночных и текстовых).
Статья, GitHub
PolyViT: Co-training Vision Transformers on Images, Videos and Audio
Можно ли обучить один трансформер, который сможет обрабатывать множество модальностей и наборов данных, шэря при этом почти все обучаемые параметры?
Оказалось что да. Тут выкатили PolyViT - модель, обученную на изображениях, аудио и видео. Совместное обучение различным задачам на одной модальности позволяет повысить точность каждой отдельной задачи и достичь SOTA на 5 стандартных наборах данных для классификации видео и аудио. Совместное обучение PolyViT на нескольких модальностях и задачах приводит к тому, что модель становится еще более эффективной по параметрам и обучается представлениям, которые обобщаются в различных областях.
📎 Статья
#multimodal #audio #video #images #transformer
Можно ли обучить один трансформер, который сможет обрабатывать множество модальностей и наборов данных, шэря при этом почти все обучаемые параметры?
Оказалось что да. Тут выкатили PolyViT - модель, обученную на изображениях, аудио и видео. Совместное обучение различным задачам на одной модальности позволяет повысить точность каждой отдельной задачи и достичь SOTA на 5 стандартных наборах данных для классификации видео и аудио. Совместное обучение PolyViT на нескольких модальностях и задачах приводит к тому, что модель становится еще более эффективной по параметрам и обучается представлениям, которые обобщаются в различных областях.
📎 Статья
#multimodal #audio #video #images #transformer
Media is too big
VIEW IN TELEGRAM
End-to-End Referring Video Object Segmentation with Multimodal Transformers
Предположим вы хотите сегментировать объекты на видео по их текстовому описанию. Эту задачу можно разбить на составляющие части: понимание текста и видео, а так же непосредственно сегментация и треккинг объектов.
В данной работе авторы предлагают простой (забавное слово) подход на основе трансформеров. Их система, названная Multimodal Tracking Transformer (MTTR), моделирует задачу как проблему предсказания последовательности. MTTR основан на том, что видео и текст могут быть эффективно и элегантно обработаны одной мультимодальной трансформерной моделью.
Оценка на стандартных бэнчмарках показала, что MTTR значительно превосходит предыдущие методы по многим показателям. В частности, MTTR демонстрирует впечатляющий прирост точности при обработке 76 кадров в секунду (то есть ее можно гонять real-time даже на хороших камерах с 60 fps).
📎 Статья
🖥 Код
#multimodal #video #transformer #text #segmentation
Предположим вы хотите сегментировать объекты на видео по их текстовому описанию. Эту задачу можно разбить на составляющие части: понимание текста и видео, а так же непосредственно сегментация и треккинг объектов.
В данной работе авторы предлагают простой (забавное слово) подход на основе трансформеров. Их система, названная Multimodal Tracking Transformer (MTTR), моделирует задачу как проблему предсказания последовательности. MTTR основан на том, что видео и текст могут быть эффективно и элегантно обработаны одной мультимодальной трансформерной моделью.
Оценка на стандартных бэнчмарках показала, что MTTR значительно превосходит предыдущие методы по многим показателям. В частности, MTTR демонстрирует впечатляющий прирост точности при обработке 76 кадров в секунду (то есть ее можно гонять real-time даже на хороших камерах с 60 fps).
📎 Статья
🖥 Код
#multimodal #video #transformer #text #segmentation
Может ли машинное обучение в математику?
Судя по недавней статье в Nature - может. DeepMind и Оксфордские математики András Juhász & Marc Lackenby использовали машинное обучение для выявления новых связей в теории узлов.
🎥 Видео
🔭 Блог-пост
#ScientificML #math
Судя по недавней статье в Nature - может. DeepMind и Оксфордские математики András Juhász & Marc Lackenby использовали машинное обучение для выявления новых связей в теории узлов.
🎥 Видео
🔭 Блог-пост
#ScientificML #math
Nature
Advancing mathematics by guiding human intuition with AI
Nature - A framework through which machine learning can guide mathematicians in discovering new conjectures and theorems is presented and shown to yield mathematical insight on important open...
PartImageNet: Большой датасет деталей и частей
В работе PartImageNet авторы заморочились настолько, что выпустили огроменный датасет с размеренными частями объектов (например лапы отдельно, хвосты отдельно).
Он состоит из 158 классов из ImageNet с приблизительно 24000 изображений.
📎 Статья
🗂 Датасет
#datasets #segmentation
В работе PartImageNet авторы заморочились настолько, что выпустили огроменный датасет с размеренными частями объектов (например лапы отдельно, хвосты отдельно).
Он состоит из 158 классов из ImageNet с приблизительно 24000 изображений.
📎 Статья
🗂 Датасет
#datasets #segmentation
This media is not supported in your browser
VIEW IN TELEGRAM
The PAIR-R24M Dataset for Multi-animal 3D Pose Estimation
Если мы разберёмся с основами социального и коллективного поведения животных - мы сможем узнать много нового о жизни. Важным шагом в изучении механизмов, лежащих в основе социального поведения, является точное считывание трехмерной позы взаимодействующих животных.
В недавней работе представлен набор данных PAIR-R24M (Paired Acquisition of Interacting oRganisms - Rat) для оценки трехмерной позы нескольких животных, который содержит 24,3 миллиона кадров RGB-видео и трехмерного захвата движения взаимодействий лабораторных крыс.
PAIR-R24M, поможет усовершенствовать подходы к трехмерному отслеживанию животных и поможет в выяснении нейронных основ социального поведения.
📎 Статья
🗂 Датасет
#datasets #ScientificML #biology
Если мы разберёмся с основами социального и коллективного поведения животных - мы сможем узнать много нового о жизни. Важным шагом в изучении механизмов, лежащих в основе социального поведения, является точное считывание трехмерной позы взаимодействующих животных.
В недавней работе представлен набор данных PAIR-R24M (Paired Acquisition of Interacting oRganisms - Rat) для оценки трехмерной позы нескольких животных, который содержит 24,3 миллиона кадров RGB-видео и трехмерного захвата движения взаимодействий лабораторных крыс.
PAIR-R24M, поможет усовершенствовать подходы к трехмерному отслеживанию животных и поможет в выяснении нейронных основ социального поведения.
📎 Статья
🗂 Датасет
#datasets #ScientificML #biology
Generalized Shape Metrics on Neural Representations
В нейронауках и в глубоком обучении количественная оценка (не)сходства нейронных представлений в разных сетях является темой, представляющей значительный интерес.
Ученые из Стэнфорда, Гугла и Института Аллена придумали как вычислять метрики между нейронными представлениями. Причём, эти представления могут быть записаны как с реальных животных, так и с нейросетей.
Они регистрируют активность
Таким образом, они придумали довольно элегантный и простой способ сравнивать нейронную активность между животными и нейросетями.
📎 Статья
🎥 Видео
🖥 Код
#ScientificML #biology
В нейронауках и в глубоком обучении количественная оценка (не)сходства нейронных представлений в разных сетях является темой, представляющей значительный интерес.
Ученые из Стэнфорда, Гугла и Института Аллена придумали как вычислять метрики между нейронными представлениями. Причём, эти представления могут быть записаны как с реальных животных, так и с нейросетей.
Они регистрируют активность
K сетей, следовательно могут вычислить все попарные расстояния и собрать их в матрицу расстояний K × K. Поверх матрицы они применяют алгоритмы кластеризации и уменьшения размерности.Таким образом, они придумали довольно элегантный и простой способ сравнивать нейронную активность между животными и нейросетями.
📎 Статья
🎥 Видео
🖥 Код
#ScientificML #biology