MedMNIST

Для тех, кому не хватает MNIST-like наборов данных, на днях опубликовали MedMNIST v2. 12 наборов с 2D изображениями и 6 наборов с 3D (28x28x28). Все изображения под лицензией Creative Commons. Есть обертка для простого использования с PyTorch.

Сайт
GitHub

#datasets #images #medicine #3d #ScientificML

Я тут недавно писал про нейросетевую генерацию пиксельной графики от Tom White.

На выходных дошли руки поковырять код и добавить пару опциональных фичей — указание палитры и дополнительный loss для более мягкого сглаживания. Получилось неожиданно хорошо — на картинке выше несколько результатов, а в моём твиттер-треде больше картинок и ссылка на колаб, где можно поиграться самостоятельно.

Simple Transformers

Очень классная библиотека для работы с трансформерами. Есть в том числе модели предобученные на научных текстах.

GitHub

#transformer #ScientificML

👾🎨 Denis Sexy IT 🤖+ Мишин Лернинг🤖🎓= Text2PixelArt + Zero-Shot PixelArt Style Transfer

◾️ Пару дней назад я выложил колаб по Text2PixelArt Мишин Лернинг 🤖🎓 Resolution Mod, который расширял функционал: давал возможность выбирать разрешение + улучшал качество картинки.

◾️ Сегодня Denis Sexy IT 🤖 собрал крутой колаб, основная идея которого: Zero-Shot PixelArt Style Transfer. Просто представьте, Style Transfer для которого не нужно ни одного примера (0-shot)! Этот мод дает возможность выбирать изображение, с которого начнется оптимизация. Такой подход дает невероятные возможности! Не зря говорят: Good Init Is All You Need!

Встречайте симбиоз этих двух лучших версий!

p.s.: Дополнительные благодарности: mlart, ViktorAlm, dribnet

🔮Text2PixelArt + Zero-Shot PixelArt Style Transfer = Mishin Learning + Denis Sexy IT

DocTR: Document Text Recognition

Оптическое распознавание символов стало простым и доступным для всех, на базе TensorFlow 2 (PyTorch в бета-версии)

Чего ожидать от этого репозитория:

* эффективные способы разбора текстовой информации (локализация и идентификация каждого слова) из ваших документов
* руководство по интеграции в вашу текущую архитектуру

GitHub

#ocr #text #nlps

SwinIR: Image Restoration Using Swin Transformer

Трансформер для повышения разрешения изображения.
На бенчмарках показывает себя хорошо

arXiv
GitHub

#transformer #denoising #images

#datasets #chemistry
Датасет с данными о растворимости порядка 10000 веществ. Можно скачать с сайта, можно посмотреть их капсулу на codeocean.
Авторы берут 8 датасетов из разных источниковв и объединяют их.
При этом в разных датасетах могут быть разные данные о растворимости одного и того же вещества.

Поэтому авторы назначают каждой записи "группу достоверности"

Предварительно из всех записей о веществе оставляем только те, вв которых величина растворимости отличаются больше чем на 0.01 (таким образом, по-видимому, убираются дупликаты кочующие между базам)

Далее назначаем группу достоверности

G1 - информация о веществе встретилась один раз
G2 - если информация о веществе встретилась два раза, и разница между измерениями существенна
G3 - если информация о веществе встретилась два раза, и разница не существенна
G4 - если информация о веществе встретилась больше двух раз, и разница существенна
G5 - если информация о веществе встретилась больше двух раз, и разница не существенна

При этом в случае нескольких измерений надо еще выбрать, какое из них положить в объединенный датасет.
Авторы делают следующее:
1) если измерений больше 2, то выбирается то, которое ближе всего к их среднему
2) если измерений ровно 2, то выбирается то, которое ближе всех к предсказанию программы ALOGPS 2.1. Кстати, программа древняя, но использует нейронные сети

Статья с подробным описанием датасета

How Can Increased Randomness in Stochastic Gradient Descent Improve Generalization?

В недавних работах сообщается, что увеличение скорости обучения или уменьшение размера минимального батча в стохастическом градиентном спуске (SGD) может улучшить производительность на тесте. Авторы утверждают, что это ожидаемо при некоторых условиях в моделях с функцией потерь с несколькими локальными минимумами. Предлагается использовать приближенный, но аналитический подход, вдохновленный методами физики, для изучения роли скорости обучения SGD и размера батча в генерализации.

Авторы характеризуют производительность на тесте при сдвиге (data shift) между распределениями обучающих и тестовых данных для функций потерь с несколькими минимумами. Сдвиг может быть вызван просто выборкой и поэтому обычно присутствует в практических приложениях.

Оказывается, что вызванное этим сдвигом смещение локальных минимумов ухудшает производительность теста.

Еще показывают, что скорость обучения, деленная на размер минимального батча, играет роль, аналогичную температуре в статистической механике, и подразумевает, что СГД, включая его стационарное распределение, в значительной степени инвариантен к изменениям скорости обучения или размера батча, которые оставляют его температуру постоянной. Авторы показывают, что повышение температуры SGD способствует выбору локальных минимумов с меньшей кривизной и может обеспечить лучшее обобщение.

arXiv

#theory #training

MDETR: Modulated Detection for End-to-End Multi-Modal Understanding

Если по простому - даёте любую фотографию или картинку, пишете текстом что вы хотите на ней найти (например розовый слоник в балетной пачке) и сеть выдаёт координаты этого объекта. Попробуйте сами на Spaces

Если по умному - этот репозиторий содержит код и ссылки на предобученные модели для MDETR (Modulated DETR) для претренинга на данных, содержащих выровненный текст и изображения с аннотациями, а также для файнтюнинга на задачах, требующих тонкого понимания изображения и текста.

Сайт
GitHub
Colab
ArXiv
Демо на Spaces

#multimodal #demo #nlp #images #detection

Kaggle: Brain Tumor Radiogenomic Classification

Цель этой задачи - предсказать состояние генетического биомаркера, важного для лечения рака мозга.

Каждый независимый случай имеет специальную папку, обозначенную пятизначным номером. В каждой из этих папок "case" есть четыре подпапки, каждая из которых соответствует каждому из структурных мультипараметрических МРТ (mpMRI) сканов в формате DICOM.

GitHub
Блокнот с решением на Kaggle

#datasets #demo #3d #ScientificML #images #medicine

How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers (Google AI)

Visual Transformers (ViT) показали, что они достигают высокой конкурентоспособности в широком спектре задач зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация. По сравнению со сверточными нейронными сетями, более слабый индуктивный баес трансформатора зрения обычно приводит к увеличению зависимости от регуляризации модели или аугментации данных ("AugReg" для краткости) при обучении на небольших наборах данных. В статье проводится систематическое эмпирическое исследование взаимосвязанности между количеством обучающих данных, AugReg, размером модели и вычислительным бюджетом.

В результате этого исследования обнаружили, что сочетание увеличения вычислительных ресурсов и AugReg может выдавать модели с такой же производительностью, что и модели, обученные на значительно большем количестве обучающих данных.

arXiv

#transformer #images #training #theory

Помните AlphaFold? Это нейросеть от DeepMind, которая может предсказывать структуру белков. Это очень-очень важный прорыв для медицины. Почему это так, мы писали тут: обязательно почитайте, если еще не.
#tech

Сегодня расскажем о похожей разработке: нейросети Peptimizer для поиска высокоэффективных абиотических минипротеинов.

Минипротеины часто используются в лекарствах как энхансеры — вещества, которые помогают основному лекарству лучше проникать в нужные клетки. К примеру, препарат для лечения мышечной дистрофии Дюшенна (DMD) использует большие синтетические молекулы PMO, которые проникают в ядро клетки и модифицируют ген дистрофина так, чтобы запустить выработку белков, которые отсутствуют у пациентов с DMD. Молекулы PMO при этом обладают низкой способностью проникать в клетки, и для улучшения доставки лекарства к молекуле PMO прикрепляются минипротеины, которые улучшают проходимость.

Задача поиска лучших минипротеинов для улучшения проходимости — сложная. Количество возможных последовательностей аминокислот, которые образуют протеины — миллиарды. Этим задача похожа на ту, что решала AlphaFold — она не решается так просто в лабораборных условиях биологами.

По результатам тестов Peptimizer справляется со своей задачей: предложенные ей минипротеины нетоксичны (а значит, могут быть использованы в лекарствах) и действительно улучшают проникаемость лекарства в клетки. Один из предложенных минипротеинов увеличил эффективность доставки лекарства в эксперименте на мышах в 50 раз!

Кроме того, устройство нейросети Peptimizer такое, что ислледователи могут интерпретировать структуры протеинов, предложенных моделью. Это очень важно для медицины: нельзя вкалывать людям вещества, о которых биологи не понимают, что они есть такое.

Очень надеемся, что таких ИИ разработок в медицине станет больше❤️

Подробнее про Peptimizer и лечение мышечной дистрофии читайте в блогпосте MIT.
GitHub с кодом: тык
Статья в Nature: тык

Для самых ленивых. Просто загрузи картинку https://huggingface.co/spaces/nielsr/DINO

#dino #demo

Новое видео от Яника о НЕтрансформере. Который тем не менее работает на некоторых задачах не хуже и линеен по памяти.

Очень интересное критическое видео. Хорошие пример как надо читать статью и почему не надо вестись на формулы и названия, которые дали авторы.(Спойлер - query у авторов по сути ими не являются. Это по сути value, а, точнее, ровно один выучиваемый value)

Код

#transformer #yannic

https://youtu.be/qgUegkefocg

Смотрите какая красота! График публикаций по теме ML+AI по годам. Количество статей удваивается каждые 23 месяца.

Успеть прочитать все, конечно уже невозможно

Максим Рябинин из Yandex Research рассказал на Хабре о новом подходе к обучению больших нейросетей — DeDLOC. Технология не требует дата-центра с сотнями мощных видеокарт — вместо этого объединяются компьютеры волонтёров.

Это совместная научная работа исследователей Яндекса, Hugging Face, студентов ШАД, ВШЭ и МФТИ, а также профессора Университета Торонто. Модель и код доступны всем — вы можете применить их для своих проектов

Habr

#training

В связи с тем что сегодня от NVidia пришло письмо что они дают мне 400 GPU часов на V100, спешу поделиться доступными ресурсами где ещё такое дают:

1) Google Research Credits

2) NVIDIA Research Grants

3) Yandex Research Grants

#resources #gpu

#generation
VQGAN+CLIP сгенерила к лекции по ML in law (на одноименный запрос)

Честно говоря, в первый раз она сгенерила что-то, что мне прям зашло

TorchCAM: class activation explorer

TorchCAM использует механизмы хуков PyTorch для легкого получения всей необходимой информации для создания активации класса без дополнительных усилий со стороны пользователя. Каждый объект CAM действует как обертка вокруг вашей модели.

GitHub

#cnn #Explainability

Ответ на вопрос в комменты😅.
Есть тут ещё адепты Vim-а (кроме меня)?