MM-Deacon: Multimodal molecular domain embedding analysis via contrastive learning
Molecule representation learning играет важную роль в химической информатике. В последнее время популярны подходы на основе языковых моделей. Однако эти подходы используют только одну модальность для представления молекул. Исходя из того, что молекула может быть описана с помощью различных модальностей, таких как упрощенная система молекулярной линейной записи (SMILES) и Международный союз теоретической и прикладной химии (IUPAC), авторы предлагают подход к генерации мультимодальных молекулярных эмбедингов с помощью контрастного обучения под названием MM-Deacon.
Сначала строки SMILES и IUPAC кодируются с помощью двух различных языковых моделей независимо друг от друга, затем используется контрастивный лосс, чтобы приблизить эти представления из разных модальностей друг к другу, если они принадлежат одной молекуле, и отдалить эмбединги друг от друга, если они принадлежат разным молекулам.
Статья
#ScientificML #chemistry
Molecule representation learning играет важную роль в химической информатике. В последнее время популярны подходы на основе языковых моделей. Однако эти подходы используют только одну модальность для представления молекул. Исходя из того, что молекула может быть описана с помощью различных модальностей, таких как упрощенная система молекулярной линейной записи (SMILES) и Международный союз теоретической и прикладной химии (IUPAC), авторы предлагают подход к генерации мультимодальных молекулярных эмбедингов с помощью контрастного обучения под названием MM-Deacon.
Сначала строки SMILES и IUPAC кодируются с помощью двух различных языковых моделей независимо друг от друга, затем используется контрастивный лосс, чтобы приблизить эти представления из разных модальностей друг к другу, если они принадлежат одной молекуле, и отдалить эмбединги друг от друга, если они принадлежат разным молекулам.
Статья
#ScientificML #chemistry
The Heat Method for Distance Computation
Я много пишу о том как Машинное Обучение можно использовать в науке. Но справедливо и обратно.
В статье описывается метод для решения задачи поиска кратчайшего пути на поверхности с помощью использования уравнения распрстранения тепла (heat equation).
Вычисление расстояния можно разделить на два этапа: сначала найти направление, вдоль которого расстояние увеличивается, а затем вычислить само расстояние. Тепловой метод надежен, эффективен и прост в реализации, поскольку он основан на решении пары стандартных разреженных линейных систем. Эти системы могут быть разложены один раз и впоследствии решаться за почти линейное время.
Реальная производительность на порядок выше, чем у современных методов, при сохранении сопоставимого уровня точности. Метод может быть применен в любой размерности и на любой области, допускающей градиент и внутреннее произведение - включая регулярные сетки, треугольные сетки и облака точек.
Сайт проекта
#ScientificML #geometry
Я много пишу о том как Машинное Обучение можно использовать в науке. Но справедливо и обратно.
В статье описывается метод для решения задачи поиска кратчайшего пути на поверхности с помощью использования уравнения распрстранения тепла (heat equation).
Вычисление расстояния можно разделить на два этапа: сначала найти направление, вдоль которого расстояние увеличивается, а затем вычислить само расстояние. Тепловой метод надежен, эффективен и прост в реализации, поскольку он основан на решении пары стандартных разреженных линейных систем. Эти системы могут быть разложены один раз и впоследствии решаться за почти линейное время.
Реальная производительность на порядок выше, чем у современных методов, при сохранении сопоставимого уровня точности. Метод может быть применен в любой размерности и на любой области, допускающей градиент и внутреннее произведение - включая регулярные сетки, треугольные сетки и облака точек.
Сайт проекта
#ScientificML #geometry
Forwarded from Neural Shit
Годный репозиторий - rclip
С помощью этих наших искусственных интеллектов и терминала ищет изображения на локальном диске по текстовому запросу. Потестил, справляется достаточно хорошо. Пока доступно только для Linux-бояр.
Под капотом CLIP от OpenAI
С помощью этих наших искусственных интеллектов и терминала ищет изображения на локальном диске по текстовому запросу. Потестил, справляется достаточно хорошо. Пока доступно только для Linux-бояр.
Под капотом CLIP от OpenAI
ResNet strikes back: An improved training procedure in timm
Влиятельный ResNet, разработанный He et al., остается золотым стандартом архитектуры в многочисленных научных публикациях (98к цитирований). ResNetы обычно служат в качестве базовой архитектуры с которой сравнивается работа какой-нибудь новой сетки. Тем не менее, с момента появления архитектуры ResNet в 2015 году произошел значительный прогресс в области лучших методов обучения нейронных сетей (например, новые методы оптимизации и аугментации данных).
В этой статье авторы заново оценивают производительность ванильной ResNet-50 при обучении с помощью новой процедуры, которая учитывает достижения за последние 6 лет. И конечно же добиваются лучшей точности.
Статья
Код
#images #training
Влиятельный ResNet, разработанный He et al., остается золотым стандартом архитектуры в многочисленных научных публикациях (98к цитирований). ResNetы обычно служат в качестве базовой архитектуры с которой сравнивается работа какой-нибудь новой сетки. Тем не менее, с момента появления архитектуры ResNet в 2015 году произошел значительный прогресс в области лучших методов обучения нейронных сетей (например, новые методы оптимизации и аугментации данных).
В этой статье авторы заново оценивают производительность ванильной ResNet-50 при обучении с помощью новой процедуры, которая учитывает достижения за последние 6 лет. И конечно же добиваются лучшей точности.
Статья
Код
#images #training
Со мной связались организаторы группы Frankfurt Data Science Meetup, которые проводят встречи, вебинары и другие интересные мероприятия в свободное время.
Вот зовут подписчиков поучаствовать в курсе "ИИ для мониторинга Земли", от EUMETSAT, где предлагается 6-недельный онлайн-курс на FutureLearn, посвященный машинному обучению с использованием наборов данных снимков со спутников Sentinel. Он начнется 18 октября 2021 года и будет совершенно бесплатным!
Ссылка на курс в FutureLearn
#ScientificML #courses #этополюбви
Вот зовут подписчиков поучаствовать в курсе "ИИ для мониторинга Земли", от EUMETSAT, где предлагается 6-недельный онлайн-курс на FutureLearn, посвященный машинному обучению с использованием наборов данных снимков со спутников Sentinel. Он начнется 18 октября 2021 года и будет совершенно бесплатным!
Ссылка на курс в FutureLearn
#ScientificML #courses #этополюбви
FutureLearn
Artificial Intelligence (AI) for Earth Monitoring - AI Course - FutureLearn
Explore how artificial intelligence (AI) and machine learning (ML) technologies are helping to advance Earth monitoring with this online AI course.
This media is not supported in your browser
VIEW IN TELEGRAM
Fake It Till You Make It
Microsoft демонстрирует, что можно обучать алгоритмы компьютерноего зрения,используя только синтетические данные, при этом, нейронки будут хорошо обобщать и на настоящих людях.
Сообщество уже давно пользуется преимуществами синтеза обучающих данных, но разрыв между реальными и синтетическими данными остается проблемой, особенно там, где это касается человеческих лиц.
Исследователи пытались преодолеть этот разрыв с помощью смешивания данных, адаптации к домену и аверсариального обучения, но увы. Microsoft же показывает, что можно синтезировать данные с минимальным отрывом от реальности, так что модели, обученные на синтетических данных, обобщаются на реальные лица в естественных условиях.
Только подумайте какие крутые возможности это все открывает!
Статья
Сайт проекта
#training #datasets
Microsoft демонстрирует, что можно обучать алгоритмы компьютерноего зрения,используя только синтетические данные, при этом, нейронки будут хорошо обобщать и на настоящих людях.
Сообщество уже давно пользуется преимуществами синтеза обучающих данных, но разрыв между реальными и синтетическими данными остается проблемой, особенно там, где это касается человеческих лиц.
Исследователи пытались преодолеть этот разрыв с помощью смешивания данных, адаптации к домену и аверсариального обучения, но увы. Microsoft же показывает, что можно синтезировать данные с минимальным отрывом от реальности, так что модели, обученные на синтетических данных, обобщаются на реальные лица в естественных условиях.
Только подумайте какие крутые возможности это все открывает!
Статья
Сайт проекта
#training #datasets
Neural Distance Embeddings (NeuroSEED)
Разработка эвристик зависящих от данных и представлений для биологических последовательностей, которые отражают их эволюционное расстояние, имеет решающее значение для биологических исследований. Однако популярные подходы машинного обучения, основанные на непрерывных евклидовых пространствах, с трудом с этим справляются.
Коллектив довольно знаменитых авторов (включая Величковича) предлагает использовать Neural Distance Embeddings (NeuroSEED), общую структуру для эмбеддинга последовательностей в геометрические векторные пространства.
Они говорят, что гиперболическое пространство отражает иерархическую структуру последовательностей, лучше чем другие геометрии.
Сравниваясь с обычными базовыми подходами, NeuroSEED демонстрирует значительное повышение точности и/или времени работы на реальных наборах данных.
Статья
Код
#ScientificML #biology
Разработка эвристик зависящих от данных и представлений для биологических последовательностей, которые отражают их эволюционное расстояние, имеет решающее значение для биологических исследований. Однако популярные подходы машинного обучения, основанные на непрерывных евклидовых пространствах, с трудом с этим справляются.
Коллектив довольно знаменитых авторов (включая Величковича) предлагает использовать Neural Distance Embeddings (NeuroSEED), общую структуру для эмбеддинга последовательностей в геометрические векторные пространства.
Они говорят, что гиперболическое пространство отражает иерархическую структуру последовательностей, лучше чем другие геометрии.
Сравниваясь с обычными базовыми подходами, NeuroSEED демонстрирует значительное повышение точности и/или времени работы на реальных наборах данных.
Статья
Код
#ScientificML #biology
TorchDrug Webinar
Про TorchDrug (open-source фреймворк для drug design) мы уже писали тут. А вот и обучение подвезли: создатели инструмента проводят вебинар 14 Октября (онлайн).
Подробности
#courses #news #ScientificML #medicine
Про TorchDrug (open-source фреймворк для drug design) мы уже писали тут. А вот и обучение подвезли: создатели инструмента проводят вебинар 14 Октября (онлайн).
Подробности
#courses #news #ScientificML #medicine
ActionCLIP: A New Paradigm for Video Action Recognition
В традиционном (казалось бы насколько это слово не применимо к машинному обучению) мире ML, для того что бы обрабатывать видео - нужно пилить какой-то класификатор.
С подходом ActionCLIP - все проще. Просто учим CLIP, но вместо картинок - используем видео. Вуаля - теперь у вас есть система, которая может описать что происходит с вашими котиками или кто там у вас (а значит можем и искать по видосам).
Приминений в науке - море! Хочешь таймлэпсы маркируй и разбивай на осмысленные фрагменты, хочешь записи с телескопов и микроскопов.
Статья
Код
#CLIP #video
В традиционном (казалось бы насколько это слово не применимо к машинному обучению) мире ML, для того что бы обрабатывать видео - нужно пилить какой-то класификатор.
С подходом ActionCLIP - все проще. Просто учим CLIP, но вместо картинок - используем видео. Вуаля - теперь у вас есть система, которая может описать что происходит с вашими котиками или кто там у вас (а значит можем и искать по видосам).
Приминений в науке - море! Хочешь таймлэпсы маркируй и разбивай на осмысленные фрагменты, хочешь записи с телескопов и микроскопов.
Статья
Код
#CLIP #video
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
И продолжая тему с видеоCLIPами. На этот раз статья от Facebook. VideoCLIP обучают трансформер для видео и текста, противопоставляя перекрывающиеся во времени положительные пары видео и текста жестким отрицательным парам, полученным в результате поиска ближайших соседей.
Говорят что их результаты самые самые.
Статья
Код
#CLIP #video #multimodal
И продолжая тему с видеоCLIPами. На этот раз статья от Facebook. VideoCLIP обучают трансформер для видео и текста, противопоставляя перекрывающиеся во времени положительные пары видео и текста жестким отрицательным парам, полученным в результате поиска ближайших соседей.
Говорят что их результаты самые самые.
Статья
Код
#CLIP #video #multimodal
Keypoint Communities
Вышел новый метод для оценки позы человека/объекта. Авторы моделируют все ключевые точки, принадлежащие человеку или объекту - позу - в виде графа и используют знания из области обнаружения сообществ для количественной оценки независимости ключевых точек.
Эксперименты показывают, что этот метод превосходит все предыдущие методы для оценки позы человека на порядок.
Оказалось что можно и картины и скульптуры грузить тоже. Я прям вижу как какой-нибудь смышленый искусствовед делает обобщения о «разнице в позе на картинах 16 и 19 века».
Кстати, поиграть/поработать с сеткой можно на gradio (онлайн и хоть с телефона).
Статья
Код
#pose #keypoints
Вышел новый метод для оценки позы человека/объекта. Авторы моделируют все ключевые точки, принадлежащие человеку или объекту - позу - в виде графа и используют знания из области обнаружения сообществ для количественной оценки независимости ключевых точек.
Эксперименты показывают, что этот метод превосходит все предыдущие методы для оценки позы человека на порядок.
Оказалось что можно и картины и скульптуры грузить тоже. Я прям вижу как какой-нибудь смышленый искусствовед делает обобщения о «разнице в позе на картинах 16 и 19 века».
Кстати, поиграть/поработать с сеткой можно на gradio (онлайн и хоть с телефона).
Статья
Код
#pose #keypoints
3D-Transformer: Molecular Representation with Transformer in 3D Space
Пространственные структуры в трехмерном пространстве важны для определения свойств молекул. В последних работах по представлению молекул и прогнозированию свойств используется геометрическое глубокое обучение. Однако таки сети требуют больших вычислительных затрат для учета дальних зависимостей входных атомов, а также не учитывают неоднородность межатомных расстояний, что не позволяет изучать контекстно-зависимые представления на разных масштабах.
Чтобы решить эти проблемы, авторы придумали 3D-Transformer, вариант трансформера для молекулярных представлений, который включает трехмерную пространственную информацию. 3D-Transformer работает на полносвязных графах с прямыми связями между атомами. Чтобы справиться с неоднородностью межатомных расстояний, они разработали разномасштабный модуль self-attention.
Статья
Код
#ScientificML #chemistry #transformers #3d
Пространственные структуры в трехмерном пространстве важны для определения свойств молекул. В последних работах по представлению молекул и прогнозированию свойств используется геометрическое глубокое обучение. Однако таки сети требуют больших вычислительных затрат для учета дальних зависимостей входных атомов, а также не учитывают неоднородность межатомных расстояний, что не позволяет изучать контекстно-зависимые представления на разных масштабах.
Чтобы решить эти проблемы, авторы придумали 3D-Transformer, вариант трансформера для молекулярных представлений, который включает трехмерную пространственную информацию. 3D-Transformer работает на полносвязных графах с прямыми связями между атомами. Чтобы справиться с неоднородностью межатомных расстояний, они разработали разномасштабный модуль self-attention.
Статья
Код
#ScientificML #chemistry #transformers #3d
Смотрите какая крутая штука!!! Кто-то натренировал CLIP на извлечение мест с космоснимков по свободному текстовому запросу! Вот тут демка
Кидайте в комменты свои лучшие запросы-ответы
#ScientificML #earthscience #CLIP
Кидайте в комменты свои лучшие запросы-ответы
#ScientificML #earthscience #CLIP
Искусственный интеллект предсказывает экспрессию генов.
В новой работе от DeepMind описывается архитектура Enformer, основанная на трансформерах. Эта архитектура способствует развитию генетических исследований, улучшая способность предсказывать, как последовательность ДНК влияет на экспрессию генов.
Блог-пост
Статья в Nature
Код
#ScientificML #biology #medicine
В новой работе от DeepMind описывается архитектура Enformer, основанная на трансформерах. Эта архитектура способствует развитию генетических исследований, улучшая способность предсказывать, как последовательность ДНК влияет на экспрессию генов.
Блог-пост
Статья в Nature
Код
#ScientificML #biology #medicine
Patches are all you need? 🤷
«Первая нейронная сеть, которая достигает 2х целей одновременно - 80++% на ImageNet Top-1 и влезает в один твит»
Сама нейронка - это очередная вариация на тему Conv-Mixers про которые я писал тут.
Авторы пока не известны (статья ещё на ревью), но про то насколько это круто высказались многие известные исследователи, включая Andrej Karpathy (Head of AI in Tesla).
Статья
#images
«Первая нейронная сеть, которая достигает 2х целей одновременно - 80++% на ImageNet Top-1 и влезает в один твит»
Сама нейронка - это очередная вариация на тему Conv-Mixers про которые я писал тут.
Авторы пока не известны (статья ещё на ревью), но про то насколько это круто высказались многие известные исследователи, включая Andrej Karpathy (Head of AI in Tesla).
Статья
#images
Molecule3D - это новый датасет с точными геометриями основного состояния приблизительно 4 миллионов молекул, полученных на основе density functional theory (DFT).
Датасет также снабжён набор программных инструментов для обработки данных, разбиения, обучения, оценки и т.д.
Датасет
Статья
#ScientificML #graphs #chemistry #datasets
Датасет также снабжён набор программных инструментов для обработки данных, разбиения, обучения, оценки и т.д.
Датасет
Статья
#ScientificML #graphs #chemistry #datasets
Летняя школа по статистической физике и машинному обучению
Школа нацелена в первую очередь на растущую аудиторию физиков-теоретиков, прикладных математиков, компьютерщиков и коллег из других вычислительных областей, интересующихся машинным обучением, нейронными сетями и анализом высокоразмерных данных. На школе будут освещаться основы и границы high-dimensional статистики, машинного обучения, теории вычислений и статистического обучения, а также смежная математика и теория вероятностей.
Подробности
#courses #physics
Школа нацелена в первую очередь на растущую аудиторию физиков-теоретиков, прикладных математиков, компьютерщиков и коллег из других вычислительных областей, интересующихся машинным обучением, нейронными сетями и анализом высокоразмерных данных. На школе будут освещаться основы и границы high-dimensional статистики, машинного обучения, теории вычислений и статистического обучения, а также смежная математика и теория вероятностей.
Подробности
#courses #physics
Deep Neural Networks and Tabular Data: A Survey
Гетерогенные табличные данные являются наиболее часто используемой формой данных в науке и необходимы для многочисленных критически важных и требовательных к вычислениям приложений. На однородных наборах данных глубокие нейронные сети неоднократно демонстрировали отличную производительность и поэтому получили широкое распространение. Однако их применение для моделирования табличных данных (вывод или генерация) остается весьма проблематичным. В данной работе представлен обзор современных методов глубокого обучения для табличных данных.
Методы разделили на три группы: преобразования данных, специализированные архитектуры и модели регуляризации. По каждой группе предоставлен обзор основных подходов.
Основной вклад работы заключается в рассмотрении основных направлений исследований и существующих методологий в этой области, а также в выделении соответствующих проблем и открытых исследовательских вопросов.
Насколько я понимаю, это первый углубленный взгляд на подходы глубокого обучения для табличных данных. Работа может послужить ценной отправной точкой и руководством для исследователей и практиков, заинтересованных в глубоком обучении с использованием табличных данных.
Статья
#tabular #tables
Гетерогенные табличные данные являются наиболее часто используемой формой данных в науке и необходимы для многочисленных критически важных и требовательных к вычислениям приложений. На однородных наборах данных глубокие нейронные сети неоднократно демонстрировали отличную производительность и поэтому получили широкое распространение. Однако их применение для моделирования табличных данных (вывод или генерация) остается весьма проблематичным. В данной работе представлен обзор современных методов глубокого обучения для табличных данных.
Методы разделили на три группы: преобразования данных, специализированные архитектуры и модели регуляризации. По каждой группе предоставлен обзор основных подходов.
Основной вклад работы заключается в рассмотрении основных направлений исследований и существующих методологий в этой области, а также в выделении соответствующих проблем и открытых исследовательских вопросов.
Насколько я понимаю, это первый углубленный взгляд на подходы глубокого обучения для табличных данных. Работа может послужить ценной отправной точкой и руководством для исследователей и практиков, заинтересованных в глубоком обучении с использованием табличных данных.
Статья
#tabular #tables
Localizing Objects with Self-Supervised Transformers and no Labels 🏷
Аннотация или labelling данных, довольно нудное и трудоёмкое занятие.
В статье предлагают простой подход к решению этой проблемы. Давайте научимся локализоваться объекты в режиме self-supervised. В качестве нейросети - используют трансформер (ViT, про который я писал тут).
Авторы сравниваются с SOTA обнаружения объектов, превосходят на 8 баллов CorLoc на PASCAL VOC 2012. Более того, показывают многообещающие результаты в задаче обнаружения объектов без наблюдения.
Статья
Код
#SSL #transformer #detection
Аннотация или labelling данных, довольно нудное и трудоёмкое занятие.
В статье предлагают простой подход к решению этой проблемы. Давайте научимся локализоваться объекты в режиме self-supervised. В качестве нейросети - используют трансформер (ViT, про который я писал тут).
Авторы сравниваются с SOTA обнаружения объектов, превосходят на 8 баллов CorLoc на PASCAL VOC 2012. Более того, показывают многообещающие результаты в задаче обнаружения объектов без наблюдения.
Статья
Код
#SSL #transformer #detection
Обновления по графовым сетям, которые сейчас активно исследуются для биологических и химических целей.
(1) На YouTube выложили лекцию профессора Макса Веллинга (Max Welling) по графовым нейронным сетям для симуляции молекул.
(2) умельцы собрали Colab блокнот по обучению графовой нейронной сети для классификации молекул на основе их биологической активности. В блокноте разбираются аспекты использования Jraph (JAX библиотеки для графов).
#ScientificML #gnn #graphs #biology #chemistry
(1) На YouTube выложили лекцию профессора Макса Веллинга (Max Welling) по графовым нейронным сетям для симуляции молекул.
(2) умельцы собрали Colab блокнот по обучению графовой нейронной сети для классификации молекул на основе их биологической активности. В блокноте разбираются аспекты использования Jraph (JAX библиотеки для графов).
#ScientificML #gnn #graphs #biology #chemistry