DABS - The Domain Agnostic Benchmark for Self-Supervised Learning.

Можно ли использовать self-supervised обучение (SSL) с любыми данными? DABS - это бенчмарк методов SSL в семи различных областях, включая рентгеновские снимки грудной клетки, носимые датчики и мультиязычный текст.

Модели обучаются на не размеченном наборе данных в каждой области, а затем оценивают на последующих задачах в той же области.

Методы SSL, которые хорошо работают на DABS, могут быть особенно полезны для научных, медицинских, мультимодальных и других реальных задач, где не хватает меток или их дорого собирать.

📎 Статья
🖥 Код
📈 Бенчмарк
🌎 Красивый сайт

#SSL #ScientificML

Может ли машинное обучение в математику?

Судя по недавней статье в Nature - может. DeepMind и Оксфордские математики András Juhász & Marc Lackenby использовали машинное обучение для выявления новых связей в теории узлов.

🎥 Видео
🔭 Блог-пост

#ScientificML #math

The PAIR-R24M Dataset for Multi-animal 3D Pose Estimation

Если мы разберёмся с основами социального и коллективного поведения животных - мы сможем узнать много нового о жизни. Важным шагом в изучении механизмов, лежащих в основе социального поведения, является точное считывание трехмерной позы взаимодействующих животных.

В недавней работе представлен набор данных PAIR-R24M (Paired Acquisition of Interacting oRganisms - Rat) для оценки трехмерной позы нескольких животных, который содержит 24,3 миллиона кадров RGB-видео и трехмерного захвата движения взаимодействий лабораторных крыс.

PAIR-R24M, поможет усовершенствовать подходы к трехмерному отслеживанию животных и поможет в выяснении нейронных основ социального поведения.

📎 Статья
🗂 Датасет

#datasets #ScientificML #biology

Generalized Shape Metrics on Neural Representations

В нейронауках и в глубоком обучении количественная оценка (не)сходства нейронных представлений в разных сетях является темой, представляющей значительный интерес.

Ученые из Стэнфорда, Гугла и Института Аллена придумали как вычислять метрики между нейронными представлениями. Причём, эти представления могут быть записаны как с реальных животных, так и с нейросетей.

Они регистрируют активность K сетей, следовательно могут вычислить все попарные расстояния и собрать их в матрицу расстояний K × K. Поверх матрицы они применяют алгоритмы кластеризации и уменьшения размерности.

Таким образом, они придумали довольно элегантный и простой способ сравнивать нейронную активность между животными и нейросетями.

📎 Статья
🎥 Видео
🖥 Код

#ScientificML #biology

MARIDA (Архив морского мусора)

Это первый набор данных, основанный на мультиспектральных спутниковых данных Sentinel-2 (S2), который позволяет отличить морской мусор от других морских объектов, включая макроводоросли Sargassum, корабли, природные органические материалы, волны, волнения, пену, различные типы воды (т.е. прозрачная, мутная вода, вода с осадками, мелководье) и облака.

🗂 Датасет

#ScientificML #datasets #earthscience

Open Catalyst

Meta AI и Университет Карнеги-Меллон объединили усилия для поиска более эффективных и масштабируемых способов хранения и использования возобновляемой энергии.

Переход на возобновляемые источники энергии требует способа хранения энергии на время, когда солнце не светит и ветер не дует. Для этого необходимы электрокатализаторы. Однако имеющиеся сегодня электрокатализаторы неэффективны или основаны на редких и дорогих материалах.

Open Catalyst стремится найти недорогие катализаторы, способные стимулировать химические реакции, необходимые для преобразования избыточной энергии солнца и ветра в другие виды топлива, которые могут быть использованы для выработки электроэнергии, когда другие источники возобновляемой энергии недоступны. Если разработать ИИ для точного прогнозирования атомных взаимодействий быстрее, чем тяжелые вычислительные симуляции, на которые сегодня полагаются ученые, то расчеты, занимающие в современных лабораториях дни, смогут занимать секунды.

📸 Блог-пост

#ScientificML

OpenAI научили нейросеть решать (некоторые) олимпиадные задачи по математике

Они создали нейронный доказыватель, который научился решать множество сложных олимпиадных задач для старших классов, включая задачи из конкурсов AMC12 и AIME, а также две задачи, адаптированные из IMO (математики, дайте знать в коментах круто ли это).

Доказыватель использует языковую модель для поиска доказательств формальных утверждений.

Каждый раз, когда OpenAI находят новое доказательство, они используют его в качестве новых обучающих данных (таким образом улучшая нейронную сеть и позволяя ей итеративно находить решения все более трудных утверждений)

📸 Блог-пост
📎 Статья

#ScientificML #math

Пока все спорят о том что такое сознание, и есть ли оно в больших языковых моделях, предлагаю сосредоточится на более научной дискуссии.

ArgSciChat - это набор данных аргументированных диалогов. Он состоит из 498 сообщений, собранных из обсуждения 20 научных статей.

Датасет может быть использован для оценки разговорных агентов и дальнейшего стимулирования исследований в области аргументированных научных агентов.

🗂 Датасет

#ScientificML #nlp #datasets

Команда исследователей из DeepMind нашла применение для RL в ядерном синтезе. Ядерный синтез с использованием магнитного удержания является многообещающим путем к достижению устойчивой энергии. Основной проблемой является формирование и поддержание высокотемпературной плазмы внутри сосуда токамака. Для удержания плазмы необходим нечеловеческий уровень управления катушками магнитных приводов.

В новой работе представили метод для проектирования магнитного контроллера токамака, который автономно обучается управлять полным набором катушек. DeepMind успешно демонстрируют контроль за разнообразными конфигурации плазмы.

Предложенный подход демонстрирует потенциал обучения с подкреплением для ускорения исследований в области термоядерного синтеза.

Астрологи явно обьявили 2022 год годом RL. Казалось бы, на фоне успехов в глубоком обучении, на обучение с подкреплением (RL) начали забивать даже OpenAI, которые с него начали свой звёздный путь. Но видимо это было затишье перед бурей.

📎 Статья

#ScientificML #RL

SEDENOSS: SEparating and DENOising Seismic Signals With Dual-Path Recurrent Neural Network Architecture

У меня опубликовали статью! Вот о чем она:

Ученым, изучающим землетрясения, приходится иметь дело с перекрывающимися и шумными сигналами, например, когда происходит землетрясение, оно часто вызывает последовательность афтершоков. Сигналы, записанные от этих афтершоков, могут значительно перекрываться. В нашей новой работе мы использовали методы обработки сигналов для решения этой проблемы. Используя машинное обучение, мы продемонстрировали возможность разделения источников для одностанционных, однокомпонентных сейсмических записей. Техника, которую мы используем для разделения сейсмических сигналов, основана на bi-directional рекуррентной нейронной сети, которая применяется непосредственно к временным рядам (а не к спектрограммам). Подробнее см. в нашей новой статье.

📋Статья

#ScientificML #Earth #Seismology #RNN

ChemicalX - это библиотека на основе PyTorch и TorchDrug для оценки пар лекарств, которая предсказывает лекарственные взаимодействия, побочные эффекты полифармацевтики и возможные синергические эффекты, как в биологическом, так и в химическом контексте.

🖥 Код

#ScientificML, #chemistry, #bio

Пока я пишу статьи и делаю свой курс, кто-то (я первый раз про этих чуваков слышу) уже успел написать целую книжку про машинное обучение в изучении других планет!

📖 Книжка

#ScientificMl

Modern applications of machine learning in quantum sciences

В обзоре даётся исчерпывающее представление о последних достижениях в применении методов машинного обучения к квантовым наукам (если так можно выразиться). Авторы рассказывают об использовании глубокого обучения и методов supervised, self-supervised и reinforcement learning для классификации фаз, представления квантовых состояний многих тел, управления квантовой обратной связью и оптимизации квантовых схем.

Кроме того, авторы вводят и обсуждают более специализированные темы, такие как дифференцируемое программирование, генеративные модели, статистический подход к машинному обучению и квантовое машинное обучение.

📕Обзор

#ScientificML #physics

Learning inverse folding from millions of predicted structures

В Фэйсбук тоже решили увлечься биологией. Они рассматривают проблему предсказания последовательности белка по координатам его атомов (по его форме).

Для решения этой задачи выпустили модель обратного сворачивания белка (inverse protein folding).

Модель обучена на 12 миллионах белковых структур, предсказанных AlphaFold2.

🎮 Colab
🐙 Git
📎 Статья

#ScientificML #biology