The WikiScenes Dataset

Набор данных WikiScenes состоит из парных изображений и языковых описаний мировых достопримечательностей и культурных объектов, с соответствующими 3D-моделями и позами камеры. WikiScenes получен из обширного публичного каталога свободно лицензируемых краудсорсинговых данных проекта Wikimedia Commons, который содержит большое количество изображений с подписями и другими метаданными.

Описание
GitHub

#datasets #multimodal #images #nlp #3d

MedMNIST

Для тех, кому не хватает MNIST-like наборов данных, на днях опубликовали MedMNIST v2. 12 наборов с 2D изображениями и 6 наборов с 3D (28x28x28). Все изображения под лицензией Creative Commons. Есть обертка для простого использования с PyTorch.

Сайт
GitHub

#datasets #images #medicine #3d #ScientificML

Kaggle: Brain Tumor Radiogenomic Classification

Цель этой задачи - предсказать состояние генетического биомаркера, важного для лечения рака мозга.

Каждый независимый случай имеет специальную папку, обозначенную пятизначным номером. В каждой из этих папок "case" есть четыре подпапки, каждая из которых соответствует каждому из структурных мультипараметрических МРТ (mpMRI) сканов в формате DICOM.

GitHub
Блокнот с решением на Kaggle

#datasets #demo #3d #ScientificML #images #medicine

Common Objects in 3D (Facebook AI)

Common Objects in 3D - это крупномасштабный набор данных с реальными многоракурсными изображениями категорий объектов, аннотированными позами камер и наземными облаками точек 3D. Набор данных содержит в общей сложности 1,5 миллиона кадров из почти 19 000 видео, на которых запечатлены объекты из 50 категорий MS-COCO, и поэтому он значительно превосходит альтернативные варианты как по количеству категорий, так и объектов.

Датасет
Блог-пост
Статья

#datasets #3d #images #detection

TorchIO

TorchIO - это библиотека для эффективного чтения, предварительной обработки, выборки, дополнения и записи 3D медицинских изображений в приложениях глубокого обучения, написанных на PyTorch, включая преобразования интенсивности и пространственные преобразования для дополнения и предварительной обработки данных. Преобразования включают типичные операции компьютерного зрения, такие как рандомные аффинные преобразования, а также специфические для данной области, такие как моделирование артефактов интенсивности из-за неоднородности магнитного поля МРТ или артефактов движения в k-пространстве.

Сайт
GitHub
Статья

#code #medicine #images #3d #ScientificML

An End-to-End Transformer Model for 3D Object Detection (Facebook AI)

Фэйсбук продолжает свой курс на метавселенные. Выпустили 3DETR (3D DEtection TRansformer) - это трансформер для 3D детекции. 3DETR достигает сравнимой или лучшей производительности, чем методы 3D детекции, такие как VoteNet. Кодер также может быть использован для других 3D-задач, таких как классификация форм.

Статя
Проект
Код

#3d #transformer #detection

3D-Transformer: Molecular Representation with Transformer in 3D Space

Пространственные структуры в трехмерном пространстве важны для определения свойств молекул. В последних работах по представлению молекул и прогнозированию свойств используется геометрическое глубокое обучение. Однако таки сети требуют больших вычислительных затрат для учета дальних зависимостей входных атомов, а также не учитывают неоднородность межатомных расстояний, что не позволяет изучать контекстно-зависимые представления на разных масштабах.

Чтобы решить эти проблемы, авторы придумали 3D-Transformer, вариант трансформера для молекулярных представлений, который включает трехмерную пространственную информацию. 3D-Transformer работает на полносвязных графах с прямыми связями между атомами. Чтобы справиться с неоднородностью межатомных расстояний, они разработали разномасштабный модуль self-attention.

Статья
Код

#ScientificML #chemistry #transformers #3d

NeRF 2021

Если вы интересуетесь компьютерной графикой и рендеренгом и ещё не слышали про Neuro Radiance Fields - то самое время с ними познакомиться.

NeRF был представлен в (недавней, но уже ставшей основополагающей) статье Neural Radiance Fields на ECCV 2020.

NeRF хранит объемное представление сцены в виде весов MLP (nn.Linear), обученного на множестве изображений с известной пространственной координатой (откуда снимали и куда повёрнута камера).

В блог-посте собраны обновления для NeRF выпущеные в этом году, самое то, to bring you up to speed.

#3d #nerf

MedMNIST v2 👩‍⚕️

Вышла большая MNIST-подобная коллекция стандартизированных биомедицинских изображений, включающая 12 наборов данных для 2D и 6 наборов данных для 3D. Все изображения предварительно обработаны в формат 28 x 28 (2D) или 28 x 28 x 28 (3D) с соответствующими классификационными метками.

Охватывая основные модальности данных в биомедицинских изображениях, MedMNIST v2 предназначен для выполнения классификации на легких 2D и 3D изображениях с различными масштабами данных (от 100 до 100 000) и разнообразными задачами (бинарные/многоклассовые, порядковые регрессии и мульти-метки). Полученный набор данных, состоящий из 708 069 2D-изображений и 10 214 3D-изображений в целом, может помочь в многочисленных исследовательских и образовательных целях в области анализа биомедицинских изображений, компьютерного зрения и машинного обучения.

Про предыдущую версию мы писали тут (оказалось что мы писали про второй medmnist, как мне верно напомнили).

🗂 Датасет
📎 Статья

#ScientificML #datasets #medicine #3d