Sparse-MLP: A Fully-MLP Architecture with Conditional Computation
Mixture-of-Experts (MoE) с разреженными условными вычислениями - эффективная архитектура для масштабирования моделей attention на большее количество параметров.
Sparse-MLP - это по сути MLP-Mixer с разреженными слоями MoE. Подмножество dense блоков MLP-Mixer заменяется на разреженные (sparse) блоки. В каждом этом блоке применяется два этапа слоев MoE: один с экспертами MLP, смешивающими информацию внутри каналов по размеру патча изображения, другой с экспертами MLP, смешивающими информацию внутри патчей по размеру канала.
Кроме того, для снижения вычислительных затрат авторы используют слои Re-represent в каждом блоке Sparse. Эти слои предназначены для изменения масштаба представления изображений с помощью двух простых, но эффективных линейных преобразований.
На небольших задачах классификации изображений, т.е. Cifar10 и Cifar100 модель Sparse-MLP достигает лучшей производительности, чем базовые модели.
Статья
#mlp #images #conditional
Mixture-of-Experts (MoE) с разреженными условными вычислениями - эффективная архитектура для масштабирования моделей attention на большее количество параметров.
Sparse-MLP - это по сути MLP-Mixer с разреженными слоями MoE. Подмножество dense блоков MLP-Mixer заменяется на разреженные (sparse) блоки. В каждом этом блоке применяется два этапа слоев MoE: один с экспертами MLP, смешивающими информацию внутри каналов по размеру патча изображения, другой с экспертами MLP, смешивающими информацию внутри патчей по размеру канала.
Кроме того, для снижения вычислительных затрат авторы используют слои Re-represent в каждом блоке Sparse. Эти слои предназначены для изменения масштаба представления изображений с помощью двух простых, но эффективных линейных преобразований.
На небольших задачах классификации изображений, т.е. Cifar10 и Cifar100 модель Sparse-MLP достигает лучшей производительности, чем базовые модели.
Статья
#mlp #images #conditional
Guided diffusion update
Обновился блокнот guided diffusion 512x512. Модификация позволяет использовать cutn=128 на графических процессорах Colab (более высокое качество вывода). Для этого cutn разделяется на четыре батча с cutn=32 и накапливает градиенты, но быстрым способом.
Colab
#text2image #diffusion #generative
Обновился блокнот guided diffusion 512x512. Модификация позволяет использовать cutn=128 на графических процессорах Colab (более высокое качество вывода). Для этого cutn разделяется на четыре батча с cutn=32 и накапливает градиенты, но быстрым способом.
Colab
#text2image #diffusion #generative
LIVECell
(Label-free In Vitro image Examples of Cells) - это набор данных микроскопических изображений для инстант-сегментации отдельных клеток в двумерных клеточных культурах.
LIVECell состоит из 5239 аннотированных вручную, проверенных экспертами изображений фазово-контрастной микроскопии Incucyte HD с общим количеством 1 686 352 отдельных клеток, аннотированных по восьми различным типам (в среднем 313 клеток на одном изображении). Изображения LIVECell предварительно разделены на train (3188), Val (539) и test (1512) наборы.
#ScientificML #datasets #biology #segmentation
(Label-free In Vitro image Examples of Cells) - это набор данных микроскопических изображений для инстант-сегментации отдельных клеток в двумерных клеточных культурах.
LIVECell состоит из 5239 аннотированных вручную, проверенных экспертами изображений фазово-контрастной микроскопии Incucyte HD с общим количеством 1 686 352 отдельных клеток, аннотированных по восьми различным типам (в среднем 313 клеток на одном изображении). Изображения LIVECell предварительно разделены на train (3188), Val (539) и test (1512) наборы.
#ScientificML #datasets #biology #segmentation
Torch Inferenece Mode
Хотите, чтобы ваши модели в PyTorch работали быстрее на инференсе? Вот как это сделать.
Замените `torch.no_grad()` на ✨`torch.inference_mode()`✨
В то время как NoGrad отключает операции отслеживания Автограда, InferenceMode делает это на два шага вперед, потенциально ускоряя ваш код (YMMV в зависимости от сложности модели и аппаратного обеспечения).
Обратите внимание, что наибольшее ускорение достигается для легких операций, узким местом которых являются накладные расходы на отслеживание.
❗Если операции достаточно сложные, отключение отслеживания с помощью InferenceMode не дает большого ускорения; например, использование InferenceMode на ResNet101 forward
#inference #code
Хотите, чтобы ваши модели в PyTorch работали быстрее на инференсе? Вот как это сделать.
Замените `torch.no_grad()` на ✨`torch.inference_mode()`✨
inference_mode() - это torch.no_grad() на стероидах.В то время как NoGrad отключает операции отслеживания Автограда, InferenceMode делает это на два шага вперед, потенциально ускоряя ваш код (YMMV в зависимости от сложности модели и аппаратного обеспечения).
Обратите внимание, что наибольшее ускорение достигается для легких операций, узким местом которых являются накладные расходы на отслеживание.
❗Если операции достаточно сложные, отключение отслеживания с помощью InferenceMode не дает большого ускорения; например, использование InferenceMode на ResNet101 forward
#inference #code
Forwarded from Denis Sexy IT 🤖
Наткнулся на интересную нейронку, на вход ей подают два изображения: одно это фотка, второе – полученная на её основе упрощенная копия этой же фотки, как-будто нарисованная карандашом. Нейронка учится строить соответствия между оригиналом и его простой копией, таким образом внося изменения в простое изображение, в оригинале отображаются изменения. Удобно, чтобы не мучиться со всякими мелкими деталями на основной фотографии, рисуем что-то в простой, а алгоритм сам дорисовывает что необходимо (как эти нейронные пеинты которые вы уже видели).
На видео пример – на ствол дерева дорисовывают ветки и меняют его наклон, а изменения в реальном времени отображаются на фотке: кора на дереве, новые ветки, даже облака двигаются. Объекты на простом изображении можно менять по контуру, либо сегментировать их на разные мини-объекты и изменять их отдельно.
В общем, очередной быстрый фотошоп.
Тут подробности. UPD: Код тут.
На видео пример – на ствол дерева дорисовывают ветки и меняют его наклон, а изменения в реальном времени отображаются на фотке: кора на дереве, новые ветки, даже облака двигаются. Объекты на простом изображении можно менять по контуру, либо сегментировать их на разные мини-объекты и изменять их отдельно.
В общем, очередной быстрый фотошоп.
Тут подробности. UPD: Код тут.
Смотрите какая крутая штука! Оказывается loss функцию можно показывать очень и очень красиво и артистично!
Больше крутых примеров 👉 https://losslandscape.com/gallery/
#images #generative #training
Больше крутых примеров 👉 https://losslandscape.com/gallery/
#images #generative #training
img2dataset
Програмка позволяет с легкостью превращать наборы url в ImageDataset. Обещают что за 20 часов на домашнем компе можно подгрузить и упаковать до 100 млн изображений.
Код
#datasets #images #multimodal
Програмка позволяет с легкостью превращать наборы url в ImageDataset. Обещают что за 20 часов на домашнем компе можно подгрузить и упаковать до 100 млн изображений.
Код
#datasets #images #multimodal
GitHub
GitHub - rom1504/img2dataset: Easily turn large sets of image urls to an image dataset. Can download, resize and package 100M urls…
Easily turn large sets of image urls to an image dataset. Can download, resize and package 100M urls in 20h on one machine. - rom1504/img2dataset
PyTorch Geometric
PyG (PyTorch Geometric) - это библиотека, созданная на основе PyTorch для простого написания и обучения графовых нейронных сетей (GNN) для широкого спектра приложений, связанных со структурированными данными.
Она включает в себя различные методы глубокого обучения на графах и других нерегулярных структурах из множества опубликованных работ. Кроме того, в состав входят простые в использовании dataloaders, поддержка нескольких GPU, большое количество общих бэнчмарков, менеджер экспериментов GraphGym, а также полезные преобразования, как для обучения на произвольных графах, так и на 3D-сетках или облаках точек.
👩💻 Код 📝 Документация
🏀 Colab 📝 Статья
#graphs #gnn
PyG (PyTorch Geometric) - это библиотека, созданная на основе PyTorch для простого написания и обучения графовых нейронных сетей (GNN) для широкого спектра приложений, связанных со структурированными данными.
Она включает в себя различные методы глубокого обучения на графах и других нерегулярных структурах из множества опубликованных работ. Кроме того, в состав входят простые в использовании dataloaders, поддержка нескольких GPU, большое количество общих бэнчмарков, менеджер экспериментов GraphGym, а также полезные преобразования, как для обучения на произвольных графах, так и на 3D-сетках или облаках точек.
👩💻 Код 📝 Документация
🏀 Colab 📝 Статья
#graphs #gnn
Zero-Shot Open Set Detection Based on a Pretrained Language-Vision Model
В задаче на классификацию неограниченных классов сэмплы известных классов (также называемых классами закрытого множества) используются для обучения классификатора. При тестировании классификатор может (1) отнести образцы известных классов к соответствующим классам и (2) определить образцы, которые не принадлежат ни к одному из известных классов (мы говорим, что они принадлежат к некоторым открытым классам).
В работе предлагается метод (ZO-CLIP) для решения проблемы открытой классификации. ZO-CLIP основывается на достижениях в области классификации Zero-Shot с помощью обучения мультимодальному представлению данных (multimodal representation). Сначала он расширяет предварительно обученную модель CLIP, обучая генератор текстовых описаний изображений поверх CLIP. При тестировании ZO-CLIP использует модель для генерации названий неизвестных классов-кандидатов для каждого тестового образца.
Статья
#images #CLIP #multimodal #zeroshot
В задаче на классификацию неограниченных классов сэмплы известных классов (также называемых классами закрытого множества) используются для обучения классификатора. При тестировании классификатор может (1) отнести образцы известных классов к соответствующим классам и (2) определить образцы, которые не принадлежат ни к одному из известных классов (мы говорим, что они принадлежат к некоторым открытым классам).
В работе предлагается метод (ZO-CLIP) для решения проблемы открытой классификации. ZO-CLIP основывается на достижениях в области классификации Zero-Shot с помощью обучения мультимодальному представлению данных (multimodal representation). Сначала он расширяет предварительно обученную модель CLIP, обучая генератор текстовых описаний изображений поверх CLIP. При тестировании ZO-CLIP использует модель для генерации названий неизвестных классов-кандидатов для каждого тестового образца.
Статья
#images #CLIP #multimodal #zeroshot
Efficient Nearest Neighbor Language Models
Непараметрические нейролингвистические модели (NLM) изучают прогностические распределения текста, используя внешнее хранилище данных, что позволяет им обучаться за счет явного запоминания сэмплов. Несмотря на свою эффективность, эти модели часто требуют извлечения данных из большого хранилища во время тестирования, что значительно увеличивает накладные расходы на вывод и, таким образом, ограничивает применение непараметрических NLM в практических приложениях. Авторы предлагают эффеективную версию модели. Эксперименты на стандартном бэнчмарке WikiText-103 и наборе данных для адаптации к домену показывают, что их методы методы позволяют добиться 6-кратного увеличения скорости вывода при сохранении сопоставимой производительности. Представленный авторами эмпирический анализ может послужить руководством для будущих исследований, направленных на разработку или внедрение более эффективных непараметрических NLM.
Статья
Код
#nlp #knn #inference
Непараметрические нейролингвистические модели (NLM) изучают прогностические распределения текста, используя внешнее хранилище данных, что позволяет им обучаться за счет явного запоминания сэмплов. Несмотря на свою эффективность, эти модели часто требуют извлечения данных из большого хранилища во время тестирования, что значительно увеличивает накладные расходы на вывод и, таким образом, ограничивает применение непараметрических NLM в практических приложениях. Авторы предлагают эффеективную версию модели. Эксперименты на стандартном бэнчмарке WikiText-103 и наборе данных для адаптации к домену показывают, что их методы методы позволяют добиться 6-кратного увеличения скорости вывода при сохранении сопоставимой производительности. Представленный авторами эмпирический анализ может послужить руководством для будущих исследований, направленных на разработку или внедрение более эффективных непараметрических NLM.
Статья
Код
#nlp #knn #inference
An End-to-End Transformer Model for 3D Object Detection (Facebook AI)
Фэйсбук продолжает свой курс на метавселенные. Выпустили 3DETR (3D DEtection TRansformer) - это трансформер для 3D детекции. 3DETR достигает сравнимой или лучшей производительности, чем методы 3D детекции, такие как VoteNet. Кодер также может быть использован для других 3D-задач, таких как классификация форм.
Статя
Проект
Код
#3d #transformer #detection
Фэйсбук продолжает свой курс на метавселенные. Выпустили 3DETR (3D DEtection TRansformer) - это трансформер для 3D детекции. 3DETR достигает сравнимой или лучшей производительности, чем методы 3D детекции, такие как VoteNet. Кодер также может быть использован для других 3D-задач, таких как классификация форм.
Статя
Проект
Код
#3d #transformer #detection
MPIRE, сокращение от MultiProcessing Is Really Easy, - библиотека для мультипроцессинга, но только быстрее (сильно быстрее). Сочетает в себе удобные map-подобные функции
Код
Документация
#python #parallel
multiprocessing.Pool с преимуществами использования общих объектов multiprocessing.Process, а также простую в использовании функциональность состояния воркера и прогресс бар tqdm.Код
Документация
#python #parallel
Список ближайших конференций по машинному обучению со временем подачи статей и датами проведения. Отранжированы по импакт-фактору (насколько хорошо цитируются опубликованные на конференции статьи)
👉 Список
👉 Список
Forwarded from Small Data Science for Russian Adventurers
#обзор
Разные виды dropout-a по годам появления. Картинка из обзорной статьи https://arxiv.org/pdf/1904.13310.pdf
Разные виды dropout-a по годам появления. Картинка из обзорной статьи https://arxiv.org/pdf/1904.13310.pdf
AI Для Всех
Хорошая картинка в лекцию по dropout на тему "много их"
R-Drop: Regularized Dropout for Neural Networks
Развивая тему дропаутов - расскажу про ещё один.
В работе представляют простую стратегию регуляризации при дропауте в обучении модели, а именно R-Drop, которая заставляет выходные распределения различных подмоделей, сгенерированных при дропауте, быть согласованными друг с другом. В частности, для каждой обучающей выборки R-Drop минимизирует двунаправленное KL-расхождение между выходными распределениями двух подмоделей, отобранных при дропауте.
Статья
Код
#training
Развивая тему дропаутов - расскажу про ещё один.
В работе представляют простую стратегию регуляризации при дропауте в обучении модели, а именно R-Drop, которая заставляет выходные распределения различных подмоделей, сгенерированных при дропауте, быть согласованными друг с другом. В частности, для каждой обучающей выборки R-Drop минимизирует двунаправленное KL-расхождение между выходными распределениями двух подмоделей, отобранных при дропауте.
Статья
Код
#training
Altair
Существует множество библиотек визуализации на языке python, но altair предлагает несколько оригинальных возможностей. Она предлагает широкий выбор графиков, грамматически понятный api, множество интерактивных функций и возможность экспорта непосредственно в браузер.
Нашёл отличный туториал (коротко, с видео и со вкусом)
#plotting #python #basics
Существует множество библиотек визуализации на языке python, но altair предлагает несколько оригинальных возможностей. Она предлагает широкий выбор графиков, грамматически понятный api, множество интерактивных функций и возможность экспорта непосредственно в браузер.
Нашёл отличный туториал (коротко, с видео и со вкусом)
#plotting #python #basics
Лекция по дифференцируемым физическим симуляциям для DL 22 сентября: http://www.physicsmeetsml.org/posts/sem_2021_09_22/