PyTorch Geometric
PyG (PyTorch Geometric) - это библиотека, созданная на основе PyTorch для простого написания и обучения графовых нейронных сетей (GNN) для широкого спектра приложений, связанных со структурированными данными.
Она включает в себя различные методы глубокого обучения на графах и других нерегулярных структурах из множества опубликованных работ. Кроме того, в состав входят простые в использовании dataloaders, поддержка нескольких GPU, большое количество общих бэнчмарков, менеджер экспериментов GraphGym, а также полезные преобразования, как для обучения на произвольных графах, так и на 3D-сетках или облаках точек.
👩💻 Код 📝 Документация
🏀 Colab 📝 Статья
#graphs #gnn
PyG (PyTorch Geometric) - это библиотека, созданная на основе PyTorch для простого написания и обучения графовых нейронных сетей (GNN) для широкого спектра приложений, связанных со структурированными данными.
Она включает в себя различные методы глубокого обучения на графах и других нерегулярных структурах из множества опубликованных работ. Кроме того, в состав входят простые в использовании dataloaders, поддержка нескольких GPU, большое количество общих бэнчмарков, менеджер экспериментов GraphGym, а также полезные преобразования, как для обучения на произвольных графах, так и на 3D-сетках или облаках точек.
👩💻 Код 📝 Документация
🏀 Colab 📝 Статья
#graphs #gnn
Zero-Shot Open Set Detection Based on a Pretrained Language-Vision Model
В задаче на классификацию неограниченных классов сэмплы известных классов (также называемых классами закрытого множества) используются для обучения классификатора. При тестировании классификатор может (1) отнести образцы известных классов к соответствующим классам и (2) определить образцы, которые не принадлежат ни к одному из известных классов (мы говорим, что они принадлежат к некоторым открытым классам).
В работе предлагается метод (ZO-CLIP) для решения проблемы открытой классификации. ZO-CLIP основывается на достижениях в области классификации Zero-Shot с помощью обучения мультимодальному представлению данных (multimodal representation). Сначала он расширяет предварительно обученную модель CLIP, обучая генератор текстовых описаний изображений поверх CLIP. При тестировании ZO-CLIP использует модель для генерации названий неизвестных классов-кандидатов для каждого тестового образца.
Статья
#images #CLIP #multimodal #zeroshot
В задаче на классификацию неограниченных классов сэмплы известных классов (также называемых классами закрытого множества) используются для обучения классификатора. При тестировании классификатор может (1) отнести образцы известных классов к соответствующим классам и (2) определить образцы, которые не принадлежат ни к одному из известных классов (мы говорим, что они принадлежат к некоторым открытым классам).
В работе предлагается метод (ZO-CLIP) для решения проблемы открытой классификации. ZO-CLIP основывается на достижениях в области классификации Zero-Shot с помощью обучения мультимодальному представлению данных (multimodal representation). Сначала он расширяет предварительно обученную модель CLIP, обучая генератор текстовых описаний изображений поверх CLIP. При тестировании ZO-CLIP использует модель для генерации названий неизвестных классов-кандидатов для каждого тестового образца.
Статья
#images #CLIP #multimodal #zeroshot
Efficient Nearest Neighbor Language Models
Непараметрические нейролингвистические модели (NLM) изучают прогностические распределения текста, используя внешнее хранилище данных, что позволяет им обучаться за счет явного запоминания сэмплов. Несмотря на свою эффективность, эти модели часто требуют извлечения данных из большого хранилища во время тестирования, что значительно увеличивает накладные расходы на вывод и, таким образом, ограничивает применение непараметрических NLM в практических приложениях. Авторы предлагают эффеективную версию модели. Эксперименты на стандартном бэнчмарке WikiText-103 и наборе данных для адаптации к домену показывают, что их методы методы позволяют добиться 6-кратного увеличения скорости вывода при сохранении сопоставимой производительности. Представленный авторами эмпирический анализ может послужить руководством для будущих исследований, направленных на разработку или внедрение более эффективных непараметрических NLM.
Статья
Код
#nlp #knn #inference
Непараметрические нейролингвистические модели (NLM) изучают прогностические распределения текста, используя внешнее хранилище данных, что позволяет им обучаться за счет явного запоминания сэмплов. Несмотря на свою эффективность, эти модели часто требуют извлечения данных из большого хранилища во время тестирования, что значительно увеличивает накладные расходы на вывод и, таким образом, ограничивает применение непараметрических NLM в практических приложениях. Авторы предлагают эффеективную версию модели. Эксперименты на стандартном бэнчмарке WikiText-103 и наборе данных для адаптации к домену показывают, что их методы методы позволяют добиться 6-кратного увеличения скорости вывода при сохранении сопоставимой производительности. Представленный авторами эмпирический анализ может послужить руководством для будущих исследований, направленных на разработку или внедрение более эффективных непараметрических NLM.
Статья
Код
#nlp #knn #inference
An End-to-End Transformer Model for 3D Object Detection (Facebook AI)
Фэйсбук продолжает свой курс на метавселенные. Выпустили 3DETR (3D DEtection TRansformer) - это трансформер для 3D детекции. 3DETR достигает сравнимой или лучшей производительности, чем методы 3D детекции, такие как VoteNet. Кодер также может быть использован для других 3D-задач, таких как классификация форм.
Статя
Проект
Код
#3d #transformer #detection
Фэйсбук продолжает свой курс на метавселенные. Выпустили 3DETR (3D DEtection TRansformer) - это трансформер для 3D детекции. 3DETR достигает сравнимой или лучшей производительности, чем методы 3D детекции, такие как VoteNet. Кодер также может быть использован для других 3D-задач, таких как классификация форм.
Статя
Проект
Код
#3d #transformer #detection
MPIRE, сокращение от MultiProcessing Is Really Easy, - библиотека для мультипроцессинга, но только быстрее (сильно быстрее). Сочетает в себе удобные map-подобные функции
Код
Документация
#python #parallel
multiprocessing.Pool с преимуществами использования общих объектов multiprocessing.Process, а также простую в использовании функциональность состояния воркера и прогресс бар tqdm.Код
Документация
#python #parallel
Список ближайших конференций по машинному обучению со временем подачи статей и датами проведения. Отранжированы по импакт-фактору (насколько хорошо цитируются опубликованные на конференции статьи)
👉 Список
👉 Список
Forwarded from Small Data Science for Russian Adventurers
#обзор
Разные виды dropout-a по годам появления. Картинка из обзорной статьи https://arxiv.org/pdf/1904.13310.pdf
Разные виды dropout-a по годам появления. Картинка из обзорной статьи https://arxiv.org/pdf/1904.13310.pdf
AI Для Всех
Хорошая картинка в лекцию по dropout на тему "много их"
R-Drop: Regularized Dropout for Neural Networks
Развивая тему дропаутов - расскажу про ещё один.
В работе представляют простую стратегию регуляризации при дропауте в обучении модели, а именно R-Drop, которая заставляет выходные распределения различных подмоделей, сгенерированных при дропауте, быть согласованными друг с другом. В частности, для каждой обучающей выборки R-Drop минимизирует двунаправленное KL-расхождение между выходными распределениями двух подмоделей, отобранных при дропауте.
Статья
Код
#training
Развивая тему дропаутов - расскажу про ещё один.
В работе представляют простую стратегию регуляризации при дропауте в обучении модели, а именно R-Drop, которая заставляет выходные распределения различных подмоделей, сгенерированных при дропауте, быть согласованными друг с другом. В частности, для каждой обучающей выборки R-Drop минимизирует двунаправленное KL-расхождение между выходными распределениями двух подмоделей, отобранных при дропауте.
Статья
Код
#training
Altair
Существует множество библиотек визуализации на языке python, но altair предлагает несколько оригинальных возможностей. Она предлагает широкий выбор графиков, грамматически понятный api, множество интерактивных функций и возможность экспорта непосредственно в браузер.
Нашёл отличный туториал (коротко, с видео и со вкусом)
#plotting #python #basics
Существует множество библиотек визуализации на языке python, но altair предлагает несколько оригинальных возможностей. Она предлагает широкий выбор графиков, грамматически понятный api, множество интерактивных функций и возможность экспорта непосредственно в браузер.
Нашёл отличный туториал (коротко, с видео и со вкусом)
#plotting #python #basics
Лекция по дифференцируемым физическим симуляциям для DL 22 сентября: http://www.physicsmeetsml.org/posts/sem_2021_09_22/
Sparse MLP for Image Recognition: Is Self-Attention Really Necessary?
В этой работе авторы исследуют, является ли основной модуль self-attention в трансформере ключом к достижению превосходных результатов в распознавании изображений. Для этого они строят сеть без внимания на основе MLP.
Для лексем двумерного изображения sMLP применяет одномерную MLP вдоль осевых направлений, а параметры разделяются между строками или столбцами. Благодаря разреженному соединению и разделению веса, модуль sMLP значительно сокращает количество параметров модели и вычислительную сложность. Успех sMLPNet говорит о том, что механизм self-attention не обязательно является серебряной пулей в компьютерном зрении.
📎 Статья
🖥 Код
#mlp #transformer
В этой работе авторы исследуют, является ли основной модуль self-attention в трансформере ключом к достижению превосходных результатов в распознавании изображений. Для этого они строят сеть без внимания на основе MLP.
Для лексем двумерного изображения sMLP применяет одномерную MLP вдоль осевых направлений, а параметры разделяются между строками или столбцами. Благодаря разреженному соединению и разделению веса, модуль sMLP значительно сокращает количество параметров модели и вычислительную сложность. Успех sMLPNet говорит о том, что механизм self-attention не обязательно является серебряной пулей в компьютерном зрении.
📎 Статья
🖥 Код
#mlp #transformer
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
🌄 Новый GAN от Facebook Research IC-GAN: Instance-Conditioned GAN
Новый conditional GAN (instance-conditioned), да ещё в бонус к нему нативно прикрутили CLIP, дабы zero-shot’ил по-честному, а не только по классам генерил свой мультимодальный перевод.
GAN есть, код есть, CLIP сами прикрутили, и даже colab есть. А что это значит? Значит, что fb красавцы. Го тестить сеть? Сравним с biggan и diffusion.
📰 paper 💻 git 🔮colab
Новый conditional GAN (instance-conditioned), да ещё в бонус к нему нативно прикрутили CLIP, дабы zero-shot’ил по-честному, а не только по классам генерил свой мультимодальный перевод.
GAN есть, код есть, CLIP сами прикрутили, и даже colab есть. А что это значит? Значит, что fb красавцы. Го тестить сеть? Сравним с biggan и diffusion.
📰 paper 💻 git 🔮colab
Media is too big
VIEW IN TELEGRAM
FreeStyleGAN: Редактируемый портретный рендеринг со свободным обзором
Смотрите какую штуку забабахали французы. Успеха добиваются благодаря camera manifold и отдельному обучению малой сети для каждого лица. FSGAN предлагает первый действительно свободный рендеринг реалистичных лиц с интерактивной скоростью. Закидываешь лишь небольшое количество случайных фотографий в качестве входных данных и получаешь возможности редактирования, такие как изменение выражения лица или освещения.
Сайт
Статья
Код обещают в октябре
#gan
Смотрите какую штуку забабахали французы. Успеха добиваются благодаря camera manifold и отдельному обучению малой сети для каждого лица. FSGAN предлагает первый действительно свободный рендеринг реалистичных лиц с интерактивной скоростью. Закидываешь лишь небольшое количество случайных фотографий в качестве входных данных и получаешь возможности редактирования, такие как изменение выражения лица или освещения.
Сайт
Статья
Код обещают в октябре
#gan
Недавно вышла статья, в которой утверждалось, что чем крупнее модель GPT - тем более неправдивые ответы она выдает на заданые вопросы. На основании этой статьи, журналист из New York Times начал хайповать на теме: “аааа, мы знали! все эти ваши GPT до добра не доведут!”. Но только оказалось, что в статье использовался датасет, который был специальным образом сконструирован так, что бы GPT выдавала конспирологические ответы.
По этому поводу у Яника вышел отличный разгон, советую всем посмотреть!
#gpt
По этому поводу у Яника вышел отличный разгон, советую всем посмотреть!
#gpt
Merlion: A Machine Learning Library for Time Series
Salesforce представляет Merlion, библиотеку машинного обучения с открытым исходным кодом для временных рядов. Она имеет унифицированный интерфейс для многих часто используемых моделей и наборов данных для обнаружения аномалий и прогнозирования как одномерных, так и многомерных временных рядов, наряду со стандартными слоями предварительной и последующей обработки.
Цель этой библиотеки - предоставить инженерам и исследователям универсальное решение для быстрой разработки моделей для их конкретных потребностей в области временных рядов и их тестирования на различных наборах данных.
Статья
Код
#timeseries
Salesforce представляет Merlion, библиотеку машинного обучения с открытым исходным кодом для временных рядов. Она имеет унифицированный интерфейс для многих часто используемых моделей и наборов данных для обнаружения аномалий и прогнозирования как одномерных, так и многомерных временных рядов, наряду со стандартными слоями предварительной и последующей обработки.
Цель этой библиотеки - предоставить инженерам и исследователям универсальное решение для быстрой разработки моделей для их конкретных потребностей в области временных рядов и их тестирования на различных наборах данных.
Статья
Код
#timeseries
DeepMind открывает набор на стажировку. Доступны все офисы компании (от Нью-Йорка до Токио). Подаваться могут любые аспиранты с релевантным опытом.
https://deepmind.com/careers#internships
https://deepmind.com/careers#internships
This media is not supported in your browser
VIEW IN TELEGRAM
ML-модель быстро идентифицирует строения, поврежденные лесными пожарами 🔥
Эвакуация людей, пострадавших от лесных пожаров, и группы реагирования на стихийные бедствия вскоре смогут дистанционно просканировать город на предмет структурных повреждений в течение нескольких минут с помощью недавно разработанного искусственного интеллекта DamageMap.
DamageMap - это система для быстрой оценки ущерба зданий с удобным пользовательским интерфейсом для визуализации результатов. Она использует искусственный интеллект для определения поврежденных зданий после лесных пожаров с помощью аэрофотосъемки, загруженной пользователями.
Заметка на NVIdia
#ScientificML
Эвакуация людей, пострадавших от лесных пожаров, и группы реагирования на стихийные бедствия вскоре смогут дистанционно просканировать город на предмет структурных повреждений в течение нескольких минут с помощью недавно разработанного искусственного интеллекта DamageMap.
DamageMap - это система для быстрой оценки ущерба зданий с удобным пользовательским интерфейсом для визуализации результатов. Она использует искусственный интеллект для определения поврежденных зданий после лесных пожаров с помощью аэрофотосъемки, загруженной пользователями.
Заметка на NVIdia
#ScientificML