Небольшой спойлер из завтрашнего материала.

Для всех, кто не смог послушать доклады во время конференции - выложили их на наш YouTube-канал в виде двух мини-семинаров:

Семинар по генеративному дизайну физических объектов

Семинар по моделированию с помощью байесовских сетей

Приятного просмотра!

Всем привет.

У нас наконец вышла финальная версия статьи "Hybrid and automated machine learning approaches for oil fields development: The case study of Volve field, North Sea" - в Q1-журнале Computers & Geosciences.

Она посвящена применению ML и AutoML для различных задач из области моделирования нефтяного месторождения
1) прогнозирование добычи нефти с помощью гибридной модели, созданной с помощь фреймворке FEDOT;
2) классификация и сегментация сейсмических срезов для локализации расположения нефтяного резервуара.

Почитать её можно тут.

Ссылка для цитирования:

@article{NIKITIN2022105061,
title = {Hybrid and automated machine learning approaches for oil fields development: The case study of Volve field, North Sea},
journal = {Computers & Geosciences},
pages = {105061},
year = {2022},
issn = {0098-3004},
doi = {https://doi.org/10.1016/j.cageo.2022.105061},
url = {https://www.sciencedirect.com/science/article/pii/S0098300422000267},
author = {Nikolay O. Nikitin and Ilia Revin and Alexander Hvatov and Pavel Vychuzhanin and Anna V. Kalyuzhnaya}
}

Всем привет!

Хотим поздравить всех защитников с праздником!

И в этот праздничный день вышел первый релиз
нашей библиотеки для моделирования с помощью байесовских сетей BAMT v0.1.0.

Функционал библиотеки широк, вы можете:
- строить многомерные распределения на ваших данных
- исследовать зависимости в данных
- генерировать синтетические данные
- заполнять пропуски и искать выбросы в данных

Приглашаем всех к тестированию библиотеки (звёздочки приветствуются)!

Всем привет.

Сегодня у нас вышла немного "непрофильная" статья, написанная в рамках международной коллаборации - "Single Red Blood Cell Hydrodynamic Traps via the Generative Design" в журнале Micromachines.

Она посвящена генеративному дизайну структуры микроустройств - "селезенок-на-чипе", состоящих из ловушек для клеток крови различного размера.

Часть работ, посвященную применению эволюционной оптимизации и её реализации в рамках библиотеки GEFEST выполняли мы, а изготовление прототипов микро-устройств "в железе" и их экспериментальную валидацию - ученые из Tsinghua Berkeley Shenzhen Institute и их коллеги.

Полученные результаты позволяют утверждать, что эволюционный генеративный дизайн позволяет получать human-competitive решения для данной задачи.

Бонус - картинка из статьи.

Всем привет!

Сегодня мы выпустили ещё одну статью на хабр. В этот раз, в блоге Open Data Science (ODS) увидел свет наш пост "Чистый AutoML для “грязных” данных: как и зачем автоматизировать предобработку таблиц в машинном обучении".

О чем это?
- Мы обсуждаем подходы к вычистке табличных данных при подготовке к подаче в ML модели. Всё это, естественно, через призму разработки AutoML фреймворка FEDOT. Показываем, какими на самом деле страшными могут быть такие знакомые любому Data Scientist'у таблицы. Также к статье мы подготовили репозиторий automl-crash-test, в котором была сгенерирована таблица с очень большим количеством внутренних нерешенных проблем. Мы попробовали разрешить все эти проблемы при помощи фреймворков FEDOT, TPOT, AutoGluon, LAMA. Что из этого вышло читайте в статье и смотрите в репозитории :D

Зачем это?
- В предыдущие несколько месяцев мы хотели попробовать сделать наш фреймворк как можно более "всеядным". Хотя бы для табличных данных. В результате всех улучшений мы подумали, что нашими подходами и техническими изысканиями стоит поделиться с коллегами. Ведь зачем писать свою предобработку неинтересностей в таблицах, если можно поручить это занятие AutoML. А чтобы быть уверенным в том, что AutoML с данными сделает, хорошо бы знать как построена система изнутри.

Ссылка: https://habr.com/ru/company/ods/blog/657525/
Читайте, пишите комментарии! И до новых встреч :)

Всем привет.

Завтра в 10:45 11:15 руководитель нашей лаборатории Анна Калюжная в рамках OpenScienceFest выступит с докладом "Мечтает ли ИИ об эволюции".

Послушать трансляцию можно будет тут: https://www.youtube.com/watch?v=_l_VN5YmoGw

Для англоязычной части сообщества выпустили на TowardsDataScience переводную версию этой публикации под названием:

Clean AutoML for “Dirty” Data: How and why to automate preprocessing of tables in machine learning

https://towardsdatascience.com/clean-automl-for-dirty-data-how-and-why-to-automate-preprocessing-of-tables-in-machine-learning-d79ac87780d3

Всем привет.

Для интересующихся поступлением в магистратуру - прямо сейчас проходит день открытых дверей нашей образовательной программы “Искусственный интеллект в промышленности”.

Ссылка на трансляцию:
https://vk.com/itmomagistry?w=wall-54201931_8112

Всем привет.

Недавнее голосование за лучшие opensource-решения дало свои плоды - наш фреймворк FEDOT был успешно представлен на конференции Highload++ 2022.

Помимо представления основных возможностей фреймворка, в ходе выступления обсуждалась эффективность кэширования, параллелизации и использования удаленной инфраструктуры для вычисления фитнес-функции в ходе эволюционной оптимизации композитных пайплайнов.

Презентация с конференции доступна по ссылке, равно как и видео.

Всем привет.

Сегодня в 17:00 пройдет семинар по высокопроизводительным
вычислениям от НИУ ВШЭ, на котором будет выступать с докладом представитель нашей лаборатории Александр Хватов.

Тема: «Поиск уравнений физических процессов по данным: можно ли уравнять математиков и ИИ?»

Аннотация доклада:
Традиционно, монополией на вывод дифференциальных уравнений по данным экспериментов обладают физики и математики. Все мы знаем про вариационные принципы, например принцип Гамильтона. Число вариационных принципов конечно, а значит, по теореме Нётер и число уравнений, которые потенциально могут открыть учёные, конечно.

В докладе поговорим, можно ли научить компьютер "выводить" уравнения по данным, то есть искать внутренние связи между точками поля измерений в виде дифференциального уравнения. При этом, машину довольно трудно научить вариационным принципам, и она может обладать лишь возможностью численно дифференцировать поля. Такой способ получать уравнения теоретически (и на практике), даёт неизученные уравнения, а значит и вдохновение для учёных на поиск уравнений не там где "светло", а там где "ключи потерял".

Ссылка для подключения:
https://zoom.us/j/96910349838?pwd=N21NNTFjclFZRXNVMm51UUZUM0R5QT09

Meeting ID: 969 1034 9838
Passcode: 501711

Подключайтесь послушать!

Всем привет.

Помимо непосредственно научных результатов, NSS Lab создает ещё и многочисленные open-source продукты. Сегодня мы хотим кратко описать наши основные фреймворки и библиотеки; одни из них знакомы нашим постоянным читателям, другие - представляются впервые.

Мы будем очень рады звездочкам на гитхабе, равно как и любому другому фидбеку.

FEDOT (https://github.com/nccr-itmo/FEDOT) - не нуждающийся в представлении фреймворк автоматического машинного обучения, позволяющий строить композитные пайплайны для различных задач и типов данных с помощью эволюционных алгоритмов. Особенно он хорош в прогнозировании временных рядов. Помимо основного репозитория, доступен прототип веб-интерфейса - https://github.com/nccr-itmo/FEDOT.Web и версия для поиска архитектур сверточных нейронных сетей - https://github.com/ITMO-NSS-team/nas-fedot

GEFEST (https://github.com/ITMO-NSS-team/GEFEST) - фреймворк для генеративного дизайна физических объектов, взаимодействующих с физической средой. Среди примеров применения - поиск оптимальной конфигурации волноломов в портах, искусственных селезенок, дорог на нефтяном месторождении. Особенность фреймворка является модульность - каждый блок (оптимизатор, симулятор и т.д.) можно заменить в зависимости от решаемой задачи.

BAMT (https://github.com/ITMO-NSS-team/BAMT) - фреймворк для обучения байесовских сетей, а также для выполнения прикладных задач, связанных с моделированием на основе байесовских сетей. Фреймворк включает самые передовые алгоритмы обучения структуры и параметров байесовских сетей, а также функционал, позволяющих производить семплирование. Модульная структура фреймворка позволяет добавлять в него новые алгоритмы обучения. Функциональность фреймворка была опробован на геологических и социальных данных - код можно найти в папке с примерами.

EPDE (https://github.com/ITMO-NSS-team/EPDE) - фреймворк для определения дифференциальных уравнений, которые описывают динамические системы, на основе временных рядов, или полей измерений. В основу подхода положен эволюционный алгоритм, который позволяет подобрать уравнения, соблюдая баланс между их "сложностью" и качеством воспроизведения процесса. В то время как большинство аналогичных фреймворков накладывает жесткие ограничения на структуру искомых уравнений, работая преимущественно на аппроксимацией временной динамики процесса, EPDE обладает большей гибкостью и может получать произвольные уравнения.

TEDEouS (Torch Exhaustive Differential Equation Solver) (https://github.com/ITMO-NSS-team/torch_DE_solver ) - “один, чтобы править всеми”, фреймворк автоматизированного решения дифференциальных уравнений. В самой области существуют несколько десятков древнейших представителей профессии, написанных на Fortran и C++ (например, в той же boost library таковой есть) - они решают свою задачу быстро и точно. Проблема в том, что для каждой отдельной задачи нужен свой солвер, а людей, которые умеют пользоваться всеми солверами - ничтожно мало. Мы подумали и решили перепоручить решение диффуров компьютеру - пусть он решает всё не так быстро и точно, но зато сам.

pytsbe (https://github.com/ITMO-NSS-team/pytsbe) - библиотека для бенчмаркинга на задачах прогнозирования временных рядов. Например, если у вас есть два алгоритма прогнозирования и вы не знаете какой из них лучше - вы запускаете эту библиотеку и она проводит сравнение на разных горизонтах прогнозирования и на множестве рядов. Есть множество опций для запуска по несколько раз с усреднением результатов (что особенно важно для AutoML), отрисовкой графиков и сохранением большого количества дополнительной информации.

meteotik (https://github.com/ITMO-NSS-team/meteotik) - модуль для формирования временных рядов из сеток реанализа (это такие рассчитанные моделью значения метеопараметров на большую территорию, например, направление ветра) и статистического сравнения рядов с такими же данными, но с метеостанций (данные измерений, они точечные, зато как правило точнее реанализа). Мини-библиотека позволяет формировать таблицы для отчетов и множество красивых графиков.

Графическая версия с логотипами.

Все решения, не вошедшие в основной список, доступны в https://github.com/ITMO-NSS-team

P.S. Для тех, кто хочет разрабатывать научный опен-сорс, но не знает как - скоро проведем на эту тему онлайн-семинар.

Всем привет!

Сегодня мы выпустили ещё одну статью на Хабре - "Про настройку гиперпараметров ансамблей моделей машинного обучения" за неизменным авторством Михаила Сарафанова.

Где почитать:
https://habr.com/ru/post/672486/

В статье поднимается тема настройки (tuning) гиперпараметров в пайплайнах машинного обучения, получаемых при помощи многоуровневого блендинга отдельных моделей. Дается небольшой обзор вопроса, ссылки на интересные посты и примеры, а также описывается как мы решали такую проблему во фреймворке FEDOT (куда уж без него). Есть и немного экспериментальных результатов.

Будем рады любом фидбеку: лайкам, комментариям, репостам.

Всем привет.

Завтра в рамках конференции VK Cloud Conf пройдет сессия "AutoML на 360. Как выбрать технологии и внедрить".

Возможна ли дискуссия про современный AutoML без упоминания создаваемого в нашей лаборатории фреймворка FEDOT? Ответ очевиден.

Поэтому, если хотите послушать - регистрируйтесь по ссылке и подключайтесь к трансляции дискуссии с 15:30 до 16:00 мск.

UPD: запись доступна тут.

Всем привет.

Сегодня вышла ещё и англоязычная версия поста про настройку гиперпараметров ансамблей моделей машинного обучения:

https://towardsdatascience.com/hyperparameters-tuning-for-machine-learning-model-ensembles-8051782b538b

Читайте, лайкайте, распространяйте в международном сообществе)

Всем привет!

С 25 июня по 10 июля в пространстве Севкабель Порт проходит выставка роботического искусства от ИТМО. В программе мероприятия 9 июля в 12-00 - доклад сотрудника нашей лаборатории Григория Киргизова, посвященный различным подходам к ИИ (сильному и не только).

Если будете в тех местах - заходите послушать Григория, а также посмотреть на инсталляцию его же авторства).

Всем привет.

На этих выходных представители нашей лаборатории - Андрей Гетманов, Майя Пинчук и Валерий Покровский поучаствовали в хакатоне по ИИ "Цифровой прорыв".

Основанное на AutoML-фреймворке FEDOT решение позволило им быстро и эффективно решить задачу прогнозирования временных рядов из области экономики (предоставленных Центробанком) и ворваться в ТОП3.

Презентация, код и данные доступны в репозитории. Видео выступления можно посмотреть по ссылке на отметке 58:20.

Подробности по решению:

В качестве начального приближения для каждого временного ряда использована модель авторегрессии с L2 регуляризацией.

На основе этих данных построена двухуровневая мета-модель, учитывающая структуру временных рядов. Для каждого временного ряда выбирается самый близкий по структуре временной ряд из тестовых данных и выбираются гиперпараметры, которые оказались лучшими для похожего ряда из обучающей выборки. В случаях условного предсказания используется модель с добавлением в нее экзогенных переменных.

#daily_science

Всем привет. Это я, Саша. Закончил работу над статьёй по туннельному эффекту в акустике.

Наверное все знают про судьбу частицы-электрона в потенциальной яме. Несмотря на давящий потенциал, он имеет возможность выбраться из трудной ситуации, потому что он ещё и волна.

Волны бывают и другого рода, в том числе и акустические. И вот, как выяснилось, не обязательно думать о частицах. Волна, если ей помогает более сильная (с более низкой частотой отсечки) подруга, всегда может выбраться из давящего потенциала, если они вместе путешествуют по периодической структуре на частоте меньшей, чем доступно слабой волне в одиночку.

Ну и побочно ввели новое определение фазовой и групповой скорости композитной волны (раньше так никто не делал, этот вопрос мне задали на защите диссертации два года назад, ответил на него только сейчас).

Всем привет!

В это воскресенье на конференции HackConf произойдет доклад Николая Никитина под названием "Автоматическое машинное обучение: от автоматизации рутины к композитному ИИ". Доклад начнется в 13-00 (см. программу мероприятия).

Регистрируйтесь и приходите послушать - Санкт-Петербург, пл. Победы, д. 1, Park Inn Пулковская. Всё в духе старой школы - никаких трансляций не будет.

Про что будет идти речь:

Мы поговорим о различных инструментах AutoML и их возможностях. Помимо стандартных задач работы с табличными данными, отдельное внимание будет уделено задачам прогнозирования и классификации временных рядов.

В качестве примера многофункционального инструмента AutoML расскажу о open-source фреймворке FEDOT, разрабатываемом в нашей лаборатории.

Будут затронуты вопросы автоматического создания гибридных, композитных и мульти-модальных пайплайнов МО, бенчмаркинга AutoML-решений, а также намечены перспективные пути повышения их эффективности. В заключение обсудим концепцию композитного ИИ и роль AutoML в ее реализации.