Forwarded from Konstantin Klepikov
вот такая небольшая брошюрка сыскалась в пиратских чатах
QED: A Framework and Dataset for Explanations in Question Answering (Google AI)
QED - это лингвистически обоснованная система объяснений ответа на вопрос. Как представлено в статье, при наличии вопроса и отрывка QED представляет объяснение ответа как комбинацию дискретных, интерпретируемых человеком шагов:
* выбор предложения := определение предложения, подразумевающего ответ на вопрос
* референциальное равенство := идентификация именных фраз в вопросе и ответном предложении, которые относятся к одной и той же вещи
* предикатная эвиденциальность := подтверждение того, что предикат в предложении влечет за собой предикат в вопросе после абстрагирования от референтных равенств.
arXiv
GitHub
#datasets #nlp #linguistics #ScientificML
QED - это лингвистически обоснованная система объяснений ответа на вопрос. Как представлено в статье, при наличии вопроса и отрывка QED представляет объяснение ответа как комбинацию дискретных, интерпретируемых человеком шагов:
* выбор предложения := определение предложения, подразумевающего ответ на вопрос
* референциальное равенство := идентификация именных фраз в вопросе и ответном предложении, которые относятся к одной и той же вещи
* предикатная эвиденциальность := подтверждение того, что предикат в предложении влечет за собой предикат в вопросе после абстрагирования от референтных равенств.
arXiv
GitHub
#datasets #nlp #linguistics #ScientificML
Быстрая "версия" pandas
Синтаксис очень красивый и более похож на dplyr/data.table из R, которые заслжуенно считаются SOTA для работы с табличными данными
GitHub
Введение
Кстати, по скорости исполнения может побеждать уже упомянутый гипер-быстрый data.table (не говоря о скорее синтаксически красивом dplyr )
Скорость достигается за счет написания "кишок" на Rust и за счет хороших архитектурных решений
#code #datascience #dataframes
Синтаксис очень красивый и более похож на dplyr/data.table из R, которые заслжуенно считаются SOTA для работы с табличными данными
GitHub
Введение
Кстати, по скорости исполнения может побеждать уже упомянутый гипер-быстрый data.table (не говоря о скорее синтаксически красивом dplyr )
Скорость достигается за счет написания "кишок" на Rust и за счет хороших архитектурных решений
#code #datascience #dataframes
GitHub
GitHub - pola-rs/polars: Dataframes powered by a multithreaded, vectorized query engine, written in Rust
Dataframes powered by a multithreaded, vectorized query engine, written in Rust - pola-rs/polars
Kipoi - model zoo for genomics
Интересный репозиторий с нейронными сетями в биологии. Есть пара архитектур из хороших статей. Репозиторий обновляется нечасто, непонятно, насколько инициатива жива. Например, в коде одной нейросети можно встретить Variable из pytorch (deprecated уже года 4 как). А статью по этой штуке хотели писать в 2018(
GitHub
#ScientificML #biology #dna #medicine
Интересный репозиторий с нейронными сетями в биологии. Есть пара архитектур из хороших статей. Репозиторий обновляется нечасто, непонятно, насколько инициатива жива. Например, в коде одной нейросети можно встретить Variable из pytorch (deprecated уже года 4 как). А статью по этой штуке хотели писать в 2018(
GitHub
#ScientificML #biology #dna #medicine
GitHub
Kipoi
Model zoo for genomics. Kipoi has 17 repositories available. Follow their code on GitHub.
Efficient Self-supervised Vision Transformers for Representation Learning (Microsoft)
В работе исследуются два метода разработки эффективных self supervised трансформеров для зрения (EsViT).
Во-первых, авторы показывают, что многоступенчатые архитектуры с разреженным self attention могут значительно снизить сложность моделирования, но ценой потери способности улавливать тонкие соответствия между областями изображения.
Во-вторых, предлагают новую задачу для предварительного обучения - сопоставление регионов. Это позволяет модели улавливать тонкие зависимости между регионами и, как следствие, значительно улучшает качество обучаемых представлений зрения (vision representations).
Комбинируя эти два метода, EsViT достигает 81,3% топ-1 в оценке linear probe ImageNet, превосходя предыдущие разработки примерно на порядок. При переносе на последующие задачи линейной классификации EsViT превосходит свой аналог под наблюдением на 17 из 18 наборов данных.
arXiv
GitHub
#SSL #images #transformer
В работе исследуются два метода разработки эффективных self supervised трансформеров для зрения (EsViT).
Во-первых, авторы показывают, что многоступенчатые архитектуры с разреженным self attention могут значительно снизить сложность моделирования, но ценой потери способности улавливать тонкие соответствия между областями изображения.
Во-вторых, предлагают новую задачу для предварительного обучения - сопоставление регионов. Это позволяет модели улавливать тонкие зависимости между регионами и, как следствие, значительно улучшает качество обучаемых представлений зрения (vision representations).
Комбинируя эти два метода, EsViT достигает 81,3% топ-1 в оценке linear probe ImageNet, превосходя предыдущие разработки примерно на порядок. При переносе на последующие задачи линейной классификации EsViT превосходит свой аналог под наблюдением на 17 из 18 наборов данных.
arXiv
GitHub
#SSL #images #transformer
Large-Scale Unsupervised Object Discovery
Существующие подходы к обнаружению объектов без наблюдения (UOD) не масштабируются на большие наборы данных без аппроксимаций, которые снижают их производительность. Авторы предлагают новую формулировку UOD как задачи ранжирования, которая поддается арсеналу распределенных методов, доступных для решения проблем собственных значений и анализа связей. Обширные эксперименты с COCO и OpenImages показывают, что, когда на каждом изображении ищется один заметный объект, предлагаемый подход LOD (Large-scale Object Discovery) сравним с или превосходит SOTA средних наборов данных (до 120 тыс. изображений), и более чем на 37% превосходит единственные другие алгоритмы, способные масштабироваться до 1,7 млн. изображений. В условиях многообъектного обнаружения, когда на каждом изображении ищется несколько объектов, предлагаемый LOD более чем на 14% превосходит по средней точности (AP) все другие методы.
arXiv
#detection #SSL #images
Существующие подходы к обнаружению объектов без наблюдения (UOD) не масштабируются на большие наборы данных без аппроксимаций, которые снижают их производительность. Авторы предлагают новую формулировку UOD как задачи ранжирования, которая поддается арсеналу распределенных методов, доступных для решения проблем собственных значений и анализа связей. Обширные эксперименты с COCO и OpenImages показывают, что, когда на каждом изображении ищется один заметный объект, предлагаемый подход LOD (Large-scale Object Discovery) сравним с или превосходит SOTA средних наборов данных (до 120 тыс. изображений), и более чем на 37% превосходит единственные другие алгоритмы, способные масштабироваться до 1,7 млн. изображений. В условиях многообъектного обнаружения, когда на каждом изображении ищется несколько объектов, предлагаемый LOD более чем на 14% превосходит по средней точности (AP) все другие методы.
arXiv
#detection #SSL #images
MedMNIST
Для тех, кому не хватает MNIST-like наборов данных, на днях опубликовали MedMNIST v2. 12 наборов с 2D изображениями и 6 наборов с 3D (28x28x28). Все изображения под лицензией Creative Commons. Есть обертка для простого использования с PyTorch.
Сайт
GitHub
#datasets #images #medicine #3d #ScientificML
Для тех, кому не хватает MNIST-like наборов данных, на днях опубликовали MedMNIST v2. 12 наборов с 2D изображениями и 6 наборов с 3D (28x28x28). Все изображения под лицензией Creative Commons. Есть обертка для простого использования с PyTorch.
Сайт
GitHub
#datasets #images #medicine #3d #ScientificML
Forwarded from Жалкие низкочастотники
Я тут недавно писал про нейросетевую генерацию пиксельной графики от Tom White.
На выходных дошли руки поковырять код и добавить пару опциональных фичей — указание палитры и дополнительный loss для более мягкого сглаживания. Получилось неожиданно хорошо — на картинке выше несколько результатов, а в моём твиттер-треде больше картинок и ссылка на колаб, где можно поиграться самостоятельно.
На выходных дошли руки поковырять код и добавить пару опциональных фичей — указание палитры и дополнительный loss для более мягкого сглаживания. Получилось неожиданно хорошо — на картинке выше несколько результатов, а в моём твиттер-треде больше картинок и ссылка на колаб, где можно поиграться самостоятельно.
Simple Transformers
Очень классная библиотека для работы с трансформерами. Есть в том числе модели предобученные на научных текстах.
GitHub
#transformer #ScientificML
Очень классная библиотека для работы с трансформерами. Есть в том числе модели предобученные на научных текстах.
GitHub
#transformer #ScientificML
Simple Transformers
Using Transformer models has never been simpler! Built-in support for: Text Classification Token Classification Question Answering Language Modeling Language Generation Multi-Modal Classification Conversational AI Text Representation Generation
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
👾🎨 Denis Sexy IT 🤖+ Мишин Лернинг🤖🎓= Text2PixelArt + Zero-Shot PixelArt Style Transfer
◾️ Пару дней назад я выложил колаб по Text2PixelArt Мишин Лернинг 🤖🎓 Resolution Mod, который расширял функционал: давал возможность выбирать разрешение + улучшал качество картинки.
◾️ Сегодня Denis Sexy IT 🤖 собрал крутой колаб, основная идея которого: Zero-Shot PixelArt Style Transfer. Просто представьте, Style Transfer для которого не нужно ни одного примера (0-shot)! Этот мод дает возможность выбирать изображение, с которого начнется оптимизация. Такой подход дает невероятные возможности! Не зря говорят: Good Init Is All You Need!
Встречайте симбиоз этих двух лучших версий!
p.s.: Дополнительные благодарности: mlart, ViktorAlm, dribnet
🔮Text2PixelArt + Zero-Shot PixelArt Style Transfer = Mishin Learning + Denis Sexy IT
◾️ Пару дней назад я выложил колаб по Text2PixelArt Мишин Лернинг 🤖🎓 Resolution Mod, который расширял функционал: давал возможность выбирать разрешение + улучшал качество картинки.
◾️ Сегодня Denis Sexy IT 🤖 собрал крутой колаб, основная идея которого: Zero-Shot PixelArt Style Transfer. Просто представьте, Style Transfer для которого не нужно ни одного примера (0-shot)! Этот мод дает возможность выбирать изображение, с которого начнется оптимизация. Такой подход дает невероятные возможности! Не зря говорят: Good Init Is All You Need!
Встречайте симбиоз этих двух лучших версий!
p.s.: Дополнительные благодарности: mlart, ViktorAlm, dribnet
🔮Text2PixelArt + Zero-Shot PixelArt Style Transfer = Mishin Learning + Denis Sexy IT
DocTR: Document Text Recognition
Оптическое распознавание символов стало простым и доступным для всех, на базе TensorFlow 2 (PyTorch в бета-версии)
Чего ожидать от этого репозитория:
* эффективные способы разбора текстовой информации (локализация и идентификация каждого слова) из ваших документов
* руководство по интеграции в вашу текущую архитектуру
GitHub
#ocr #text #nlps
Оптическое распознавание символов стало простым и доступным для всех, на базе TensorFlow 2 (PyTorch в бета-версии)
Чего ожидать от этого репозитория:
* эффективные способы разбора текстовой информации (локализация и идентификация каждого слова) из ваших документов
* руководство по интеграции в вашу текущую архитектуру
GitHub
#ocr #text #nlps
SwinIR: Image Restoration Using Swin Transformer
Трансформер для повышения разрешения изображения.
На бенчмарках показывает себя хорошо
arXiv
GitHub
#transformer #denoising #images
Трансформер для повышения разрешения изображения.
На бенчмарках показывает себя хорошо
arXiv
GitHub
#transformer #denoising #images
#datasets #chemistry
Датасет с данными о растворимости порядка 10000 веществ. Можно скачать с сайта, можно посмотреть их капсулу на codeocean.
Авторы берут 8 датасетов из разных источниковв и объединяют их.
При этом в разных датасетах могут быть разные данные о растворимости одного и того же вещества.
Поэтому авторы назначают каждой записи "группу достоверности"
Предварительно из всех записей о веществе оставляем только те, вв которых величина растворимости отличаются больше чем на 0.01 (таким образом, по-видимому, убираются дупликаты кочующие между базам)
Далее назначаем группу достоверности
G1 - информация о веществе встретилась один раз
G2 - если информация о веществе встретилась два раза, и разница между измерениями существенна
G3 - если информация о веществе встретилась два раза, и разница не существенна
G4 - если информация о веществе встретилась больше двух раз, и разница существенна
G5 - если информация о веществе встретилась больше двух раз, и разница не существенна
При этом в случае нескольких измерений надо еще выбрать, какое из них положить в объединенный датасет.
Авторы делают следующее:
1) если измерений больше 2, то выбирается то, которое ближе всего к их среднему
2) если измерений ровно 2, то выбирается то, которое ближе всех к предсказанию программы ALOGPS 2.1. Кстати, программа древняя, но использует нейронные сети
Статья с подробным описанием датасета
Датасет с данными о растворимости порядка 10000 веществ. Можно скачать с сайта, можно посмотреть их капсулу на codeocean.
Авторы берут 8 датасетов из разных источниковв и объединяют их.
При этом в разных датасетах могут быть разные данные о растворимости одного и того же вещества.
Поэтому авторы назначают каждой записи "группу достоверности"
Предварительно из всех записей о веществе оставляем только те, вв которых величина растворимости отличаются больше чем на 0.01 (таким образом, по-видимому, убираются дупликаты кочующие между базам)
Далее назначаем группу достоверности
G1 - информация о веществе встретилась один раз
G2 - если информация о веществе встретилась два раза, и разница между измерениями существенна
G3 - если информация о веществе встретилась два раза, и разница не существенна
G4 - если информация о веществе встретилась больше двух раз, и разница существенна
G5 - если информация о веществе встретилась больше двух раз, и разница не существенна
При этом в случае нескольких измерений надо еще выбрать, какое из них положить в объединенный датасет.
Авторы делают следующее:
1) если измерений больше 2, то выбирается то, которое ближе всего к их среднему
2) если измерений ровно 2, то выбирается то, которое ближе всех к предсказанию программы ALOGPS 2.1. Кстати, программа древняя, но использует нейронные сети
Статья с подробным описанием датасета
www.amdlab.nl
AqSolDB: A curated reference set of aqueous solubility
EAqSolDB is the largest open-access aqueous solubility database consists of 9,982 unique compounds.
How Can Increased Randomness in Stochastic Gradient Descent Improve Generalization?
В недавних работах сообщается, что увеличение скорости обучения или уменьшение размера минимального батча в стохастическом градиентном спуске (SGD) может улучшить производительность на тесте. Авторы утверждают, что это ожидаемо при некоторых условиях в моделях с функцией потерь с несколькими локальными минимумами. Предлагается использовать приближенный, но аналитический подход, вдохновленный методами физики, для изучения роли скорости обучения SGD и размера батча в генерализации.
Авторы характеризуют производительность на тесте при сдвиге (data shift) между распределениями обучающих и тестовых данных для функций потерь с несколькими минимумами. Сдвиг может быть вызван просто выборкой и поэтому обычно присутствует в практических приложениях.
Оказывается, что вызванное этим сдвигом смещение локальных минимумов ухудшает производительность теста.
Еще показывают, что скорость обучения, деленная на размер минимального батча, играет роль, аналогичную температуре в статистической механике, и подразумевает, что СГД, включая его стационарное распределение, в значительной степени инвариантен к изменениям скорости обучения или размера батча, которые оставляют его температуру постоянной. Авторы показывают, что повышение температуры SGD способствует выбору локальных минимумов с меньшей кривизной и может обеспечить лучшее обобщение.
arXiv
#theory #training
В недавних работах сообщается, что увеличение скорости обучения или уменьшение размера минимального батча в стохастическом градиентном спуске (SGD) может улучшить производительность на тесте. Авторы утверждают, что это ожидаемо при некоторых условиях в моделях с функцией потерь с несколькими локальными минимумами. Предлагается использовать приближенный, но аналитический подход, вдохновленный методами физики, для изучения роли скорости обучения SGD и размера батча в генерализации.
Авторы характеризуют производительность на тесте при сдвиге (data shift) между распределениями обучающих и тестовых данных для функций потерь с несколькими минимумами. Сдвиг может быть вызван просто выборкой и поэтому обычно присутствует в практических приложениях.
Оказывается, что вызванное этим сдвигом смещение локальных минимумов ухудшает производительность теста.
Еще показывают, что скорость обучения, деленная на размер минимального батча, играет роль, аналогичную температуре в статистической механике, и подразумевает, что СГД, включая его стационарное распределение, в значительной степени инвариантен к изменениям скорости обучения или размера батча, которые оставляют его температуру постоянной. Авторы показывают, что повышение температуры SGD способствует выбору локальных минимумов с меньшей кривизной и может обеспечить лучшее обобщение.
arXiv
#theory #training
MDETR: Modulated Detection for End-to-End Multi-Modal Understanding
Если по простому - даёте любую фотографию или картинку, пишете текстом что вы хотите на ней найти (например розовый слоник в балетной пачке) и сеть выдаёт координаты этого объекта. Попробуйте сами на Spaces
Если по умному - этот репозиторий содержит код и ссылки на предобученные модели для MDETR (Modulated DETR) для претренинга на данных, содержащих выровненный текст и изображения с аннотациями, а также для файнтюнинга на задачах, требующих тонкого понимания изображения и текста.
Сайт
GitHub
Colab
ArXiv
Демо на Spaces
#multimodal #demo #nlp #images #detection
Если по простому - даёте любую фотографию или картинку, пишете текстом что вы хотите на ней найти (например розовый слоник в балетной пачке) и сеть выдаёт координаты этого объекта. Попробуйте сами на Spaces
Если по умному - этот репозиторий содержит код и ссылки на предобученные модели для MDETR (Modulated DETR) для претренинга на данных, содержащих выровненный текст и изображения с аннотациями, а также для файнтюнинга на задачах, требующих тонкого понимания изображения и текста.
Сайт
GitHub
Colab
ArXiv
Демо на Spaces
#multimodal #demo #nlp #images #detection
Kaggle: Brain Tumor Radiogenomic Classification
Цель этой задачи - предсказать состояние генетического биомаркера, важного для лечения рака мозга.
Каждый независимый случай имеет специальную папку, обозначенную пятизначным номером. В каждой из этих папок "case" есть четыре подпапки, каждая из которых соответствует каждому из структурных мультипараметрических МРТ (mpMRI) сканов в формате DICOM.
GitHub
Блокнот с решением на Kaggle
#datasets #demo #3d #ScientificML #images #medicine
Цель этой задачи - предсказать состояние генетического биомаркера, важного для лечения рака мозга.
Каждый независимый случай имеет специальную папку, обозначенную пятизначным номером. В каждой из этих папок "case" есть четыре подпапки, каждая из которых соответствует каждому из структурных мультипараметрических МРТ (mpMRI) сканов в формате DICOM.
GitHub
Блокнот с решением на Kaggle
#datasets #demo #3d #ScientificML #images #medicine
How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers (Google AI)
Visual Transformers (ViT) показали, что они достигают высокой конкурентоспособности в широком спектре задач зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация. По сравнению со сверточными нейронными сетями, более слабый индуктивный баес трансформатора зрения обычно приводит к увеличению зависимости от регуляризации модели или аугментации данных ("AugReg" для краткости) при обучении на небольших наборах данных. В статье проводится систематическое эмпирическое исследование взаимосвязанности между количеством обучающих данных, AugReg, размером модели и вычислительным бюджетом.
В результате этого исследования обнаружили, что сочетание увеличения вычислительных ресурсов и AugReg может выдавать модели с такой же производительностью, что и модели, обученные на значительно большем количестве обучающих данных.
arXiv
#transformer #images #training #theory
Visual Transformers (ViT) показали, что они достигают высокой конкурентоспособности в широком спектре задач зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация. По сравнению со сверточными нейронными сетями, более слабый индуктивный баес трансформатора зрения обычно приводит к увеличению зависимости от регуляризации модели или аугментации данных ("AugReg" для краткости) при обучении на небольших наборах данных. В статье проводится систематическое эмпирическое исследование взаимосвязанности между количеством обучающих данных, AugReg, размером модели и вычислительным бюджетом.
В результате этого исследования обнаружили, что сочетание увеличения вычислительных ресурсов и AugReg может выдавать модели с такой же производительностью, что и модели, обученные на значительно большем количестве обучающих данных.
arXiv
#transformer #images #training #theory