Зачем нам использовать нейросети в физических симуляциях? #TwoMinutesPapers отвечает:

YouTube

#physics #ScientificML

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

ΦFlow

ΦFlow - это Фреймворк для физических симуляций, созданный для оптимизации и машинного обучения. Он написан в основном на языке Python и может использоваться с NumPy, PyTorch, Jax или TensorFlow. Тесная интеграция с этими фреймворками машинного обучения позволяет использовать их функции автоматического дифференцирования, что упрощает построение сквозных дифференцируемых функций, включающих как модели обучения, так и физические симуляции.

Отдельно хочется отметить разнообразие встроенных операций PDE с фокусом на явлениях в жидкости, что позволяет лаконично формулировать моделирование.

Статья
Код
Colab

#ScientificML #physics

Second-Order Neural ODE Optimizer

Новый механизм оптимизации второго порядка для обучения нейронных обыкновенных дифференциальных уравнений (нейронных ОДУ). Поскольку их обучение уже включает в себя дорогостоящее вычисление градиента путем решения обратного ОДУ, создание эффективных методов второго порядка становится весьма нетривиальным. Тем не менее, вдохновленные недавней интерпретацией оптимального управления (ОУ) для обучения глубоких сетей, авторы показывают, что конкретная методология ОУ с непрерывным временем, называемая дифференциальным программированием, может быть принята для получения обратных ОДУ для производных высшего порядка при тех же затратах памяти O(1).

Сеть сходится намного быстрее, чем базовые решения первого порядка за часы, и это улучшение сохраняется в различных приложениях, например, в классификации изображений, генеративном потоке и прогнозировании временных рядов.

Статья

#ScientificML #ode #physics

Physics-based Deep Learning

Этот документ содержит практическое и исчерпывающее введение во все, что связано с глубоким обучением в контексте физического моделирования. По мере возможности все темы сопровождаются практическими примерами кода в виде блокнотов Jupyter для быстрого начала работы. Помимо стандартного обучения на данных, рассматривают ограничения на физические потери, дифференцируемые симуляции, а ещё обучение с подкреплением и моделирование неопределенности.

Мы живем в захватывающие времена: эти методы обладают огромным потенциалом, чтобы фундаментально изменить то, чего могут достичь компьютерные симуляции!

Книга
Сайт

#books #physics #ScientificML #RL

Летняя школа по статистической физике и машинному обучению

Школа нацелена в первую очередь на растущую аудиторию физиков-теоретиков, прикладных математиков, компьютерщиков и коллег из других вычислительных областей, интересующихся машинным обучением, нейронными сетями и анализом высокоразмерных данных. На школе будут освещаться основы и границы high-dimensional статистики, машинного обучения, теории вычислений и статистического обучения, а также смежная математика и теория вероятностей.

Подробности

#courses #physics

Машинное обучение для гамма-излучения в центре галактики 🌌

Природа гамма-излучения Ферми в галактическом центре (GCE) до сих пор остается загадкой. Хотя избыток в целом совместим с излучением, ожидаемым из-за аннигиляции темной материи, объяснение в терминах, например, миллисекундных пульсаров, остается жизнеспособным.

Авторы используют методы оценки плотности с использованием нормализующих потоков, чтобы охарактеризовать вклад моделируемых компонентов (что именно выдаёт излишки гамма-излучения).

По сравнению с традиционными методами, основанными на статистическом распределении числа фотонов, их метод, основанный на машинном обучении, способен использовать больше информации, содержащейся в модели излучения Галактического центра, и, в частности, может выполнять апостериорную оценку параметров с учетом пространственных корреляций между пикселями на карте гамма-излучения. Это делает метод заметно более устойчивым к некоторым формам неправильной спецификации модели.

Статья
Код

#ScientificML #physics #flows

Вышел большой обзор про ML в науке

В этом обзорном докладе обсуждаются приложения и методы быстрого машинного обучения (БМО) в науке - концепцию интеграции мощных методов БМО в цикл обработки экспериментальных данных в реальном времени для ускорения научных открытий.
Обзор охватывает три основных направления: приложения быстрого ML в ряде научных областей; методы обучения и реализации производительных и ресурсоэффективных алгоритмов ML; вычислительные архитектуры, платформы и технологии для развертывания этих алгоритмов.

Этот обзор призван продемонстрировать множество примеров и вдохновить на научные открытия с помощью ML.

📎 Статья

#ScientificML #physics

Deep physical neural networks trained with backpropagation.

Глубокое обучение уже повсюду. Однако, оно присутствует только в виде кода. Исследователи предложили делать бэкпроп сразу на физических приборах (обучение с учетом физики). Подобно тому, как глубокое обучение реализует вычисления с помощью глубоких нейронных сетей, состоящих из слоев математических функций, этот подход позволяет обучать глубокие физические нейронные сети, состоящие из слоев управляемых физических систем.

Коллектив авторов обучил различные физические нейронные сети, основанные на оптике, механике и электронике, для экспериментального выполнения задач классификации аудио и изображений. Физические нейронные сети способны выполнять машинное обучение быстрее и более энергоэффективно, чем обычные электронные процессоры, и, в более широком смысле, могут наделять физические системы автоматически создаваемыми физическими функциями, например, для робототехники, материалов и интеллектуальных датчиков.

📎 Статья

#physics #chip #hardware

Modern applications of machine learning in quantum sciences

В обзоре даётся исчерпывающее представление о последних достижениях в применении методов машинного обучения к квантовым наукам (если так можно выразиться). Авторы рассказывают об использовании глубокого обучения и методов supervised, self-supervised и reinforcement learning для классификации фаз, представления квантовых состояний многих тел, управления квантовой обратной связью и оптимизации квантовых схем.

Кроме того, авторы вводят и обсуждают более специализированные темы, такие как дифференцируемое программирование, генеративные модели, статистический подход к машинному обучению и квантовое машинное обучение.

📕Обзор

#ScientificML #physics