Всем доброго пятничного вечера! Мы подготовили ещё одну англоязычную статью на TowardsDataSciense. В её рамках мы рассматриваем возможности AutoML фреймворков (не только FEDOT'а) прогнозировать временные ряды на прикладном примере. Мы глубже погрузились в технические детали в этой статье. Однако там почти нет листингов кода - мы постарались описать всё как можно более доходчиво используя графики и анимации (много анимаций).

Статья:
AutoML for time series: advanced approaches with FEDOT framework

Не забывайте хлопать статье и ставить звёзды репозиторию - это помогает продвижению!
И особенно будем благодарны, если вы попробуете наш фреймворк на своих данных и задачах :)

Всем привет.

Сегодня хотим поделиться нашими новыми публикациями:

1) Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines
https://arxiv.org/pdf/2106.15397.pdf

В этом пре-принте описываются многочисленные методы и алгоритмы AutoML, разработанные нами для повышения эффективности решения задачи автоматического создания композитных пайплайнов, а также их реализация в рамках фреймворка FEDOT.

2) Generative design of microfluidic channel geometry using evolutionary approach
https://dl.acm.org/doi/10.1145/3449726.3462740

В этой мини-статье на GECCO речь идет о алгоритмах генеративного дизайна микро-флюидных устройств. В качестве примера такого устройства используется т.н. "селезенка-на-чипе" - фильтр для клеток крови различного размера. В статье мы показали, как можно повысить эффективность автоматизированного проектирования таких устройств c помощью эволюционных подходов.

P.S. На хабре вышел пост, начинающий серию публикаций о open-source проектах Университета ИТМО - разумеется, повествование начинается с FEDOT (как же иначе). Также описан продукт наших коллег - библиотека алгоритмов отбора признаков ITMO FS.

Всем привет!

Напомню, что спбгеотех - уже сегодня, через пол-часа.

Чтобы получить ссылку, нужно зайти на https://spbgeotex.timepad.ru/event/1687035/

Доклады от нашей лаборатории таковы:

-17:05 – 17:15 / О магистерской программе «Цифровые геотехнологии» в университете ИТМО / Николай Никитин (ФЦТ ИТМО)

17:15 – 17:50 / Восстановление пропущенных значений в гидрометеорологических временных рядах при помощи автоматического машинного обучения / Михаил Сарафанов (ФЦТ ИТМО)

18:20 – 18:35 / Гибридное моделирование океана: совмещаем гидродинамику и машинное обучение / Юлия Борисова (ФЦТ ИТМО)

18:35 – 19:40 / Практический мастер класс. Машинное обучение как способ быстро решить инженерную задачу: совсем нестрашно и немного мокро (на примере гидрологических данных) / Михаил Масляев (ФЦТ ИТМО)

Подключайтесь!

Всем привет.

Сегодня хотим поделиться несколькими видео, которые мы выложили на нашем YouTube-канале:

Три из них посвящены нашим статьям на конференции YSC 2021:

- Sensitivity analysis of the composite data-driven pipelines in the automated machine learning (Ирина Барабанова)

- Hybrid modelling of environmental processes using composite models (Юлия Борисова)

- Automated Evolutionary Design of CNN Classifiers for Object Recognition on Satellite Images (Яна Полонская)

Ещё одно - выступлению на конференции CEC 2021:

Multi-Objective Evolutionary Design of Composite Data-Driven Models (Яна Полонская)

И, наконец, небольшое, но насыщенное картинками и анимациями промо-видео о FEDOT как о фабрике human-competitive результатов для одноименного конкурса, проходящего в рамках конференции GECCO (вошли там в перечень из шести финалистов):

FEDOT: Evolutionary composite AutoML as Human-competitive result (Николай Никитин)

У нас в планах ещё много материалов - следите за обновлениями!

Всем привет.

О наших open-source решениях снова пишут на Хабрахабре: на этот раз описываются фреймворк для идентификации дифференциальных уравнений EPDE и библиотека для анализа данных на основе баесовских сетей BAMT.

Почитать пост можно по ссылке: https://habr.com/ru/company/spbifmo/blog/566842/

Вcем привет!

Только что мы выпустили очередной мастер-класс: "Прогнозирование гео-временных рядов с помощью AutoML". Автор - наш сотрудник Михаил Сарафанов.

Ссылка на МК : https://youtu.be/rG_5u0-BoTM
или
https://vk.com/dx.itmo?z=video-38025481_456239061%2F2877a0ab5cc7f618aa%2Fpl_wall_-38025481

В рамках МК мы а) рассмотрим методы прогнозирования временных рядов при помощи моделей машинного обучения, а также алгоритм автоматической идентификации композитных моделей; б) разберём какие существуют способы валидации и кросс-валидации моделей на временных рядах; в) узнаем на практике как можно прогнозировать одномерные и многомерные временные ряды уровня моря при помощи AutoML (на примере FEDOT).

Исходный код для всех показанных примеров доступен на github.

Мастер-класс проходит в рамках дня открытых дверей образовательной программы магистратуры “Цифровые геотехнологии”: https://abit.itmo.ru/program/14597/

Всем привет.

Сегодня мы выпустили очередной релиз фреймворка FEDOT - 0.4.0.

В нем достаточно много интересных изменений:
- поддержка вычислений на GPU
- docker-контейнеры для более удобного развертывания
- универсальный эволюционный оптимизатор, применимый не только для ML-задач (см. презентацию)
- улучшенная работа с временными рядами (кросс-валидация, разреженные траекторные матрица и т.д.) и табличными данными
- многое другое - см. подробности здесь.

Также фреймворк продолжает набирать популярность: помимо множества отзывов issue от новых пользователей, он получил ещё и более 200 звездочек.

Jupyter-ноутбуки с примерами будут доступны чуть позже уже доступны (в соответствующем репозитории). Следите за новостями!

Всем привет!

У нас в лаборатории открылось несколько стажерских позиций по направлениям AutoML и Equation Discovery.

Мы ориентируемся на студентов магистратуры и последних курсов бакалавриата, поэтому работа предполагает формат part-time.

Ознакомится с деталями вакансий и откликнуться на тут: https://job.itmo.ru/ru/catalog/vacancy/1804

Если есть заинтересованность в присоединении к команде NSS Lab на другие full-time позиции - пишите @nicl_nno или @sasha_hvat, пообщаемся в индивидуальном порядке.

Как говорится, it's wednesday my dudes!

Вышла наша новая статья на хабре, посвященная победе команды нашей лаборатории "NSS lab team" на хакатоне Emergency DataHack 2021 в конце мая этого года. В статье мы делимся реализованным подходом и опытом преодоления трудностей, возникших во время решения задачи. Что тоже приятно, во время хакатона использовали разрабатываемый у нас в лаборатории фреймворк FEDOT, чтобы получать достойные решения. Как видите, он показал себя не плохо :)

Ссылка на пост: https://habr.com/ru/post/577886/

Читайте, оставляйте комментарии, задавайте вопросы!

Дорогие друзья, всем привет!
Порция свежих новостей:

1) В Q1-журнале Future Generation Computer Systems вышла финальная версия нашей статьи "Automated evolutionary approach for the design of composite machine learning pipelines". В ней всё как мы любим: обзор существующих AutoML решений, наш опыт и эксперименты. Статья довольно обширная, включает в себя эксперименты с разными стратегиями настройки гиперапараметров (тюнинга), результаты запусков на разных задачах классификации, регрессии и прогнозирования временных рядов. Исследована вычислительная эффективность построенных алгоритмов. В общем, читайте, ссылайтесь - мы очень старались!

Bibtex-ссылка:

@article{nikitin2021automated,
title={Automated evolutionary approach for the design of composite machine learning pipelines},
author={Nikitin, Nikolay O and Vychuzhanin, Pavel and Sarafanov, Mikhail and Polonskaia, Iana S and Revin, Ilia and Barabanova, Irina V and Maximov, Gleb and Kalyuzhnaya, Anna V and Boukhanovsky, Alexander},
journal={Future Generation Computer Systems},
year={2021},
publisher={Elsevier}
}

2) Недавно закончилась конференция SOCO 2021, где с докладом на тему "Automated Data-driven Approach for Gap Filling in the Time Series using Evolutionary Learning" выступил наш аспирант Михаил Сарафанов. Рассказ ведётся о том, каких успехов нам удалось добиться при совмещения алгоритмов прогнозирования временных рядов и эволюционных алгоритмов. Спойлер: получилось лучше, чем линейная интерполяция и не только :)

Ссылка на видеозапись в YouTube: https://www.youtube.com/watch?v=_UX90mmarAs
Смотрите, читайте, комментируйте! Сама статья доступна здесь.

Всем привет.

Мы выпустили очередную версию фреймворка FEDOT - 0.4.1

В ней существенно улучшена имеющаяся функциональность, исправлено несколько ошибок и добавлены новые функции (например, прогнозирование временных рядов с помощью модели CLSTM).

Полное описание изменений доступно здесь. Всегда рады любому фидбеку, особенно звездочкам)

P.S. Как вы могли заметить, у фреймворка теперь есть красочный логотип.

Всем привет!

Сегодня мы презентовали FEDOT на сайте producthunt. Будем рады поддержке в виде лайков и комментариев!

P.S. На приложенном фото запечатлен процесс генерации нами новых идей по развитию методов и технологий AutoML. Придумали много интересного, ждите статей и анонсов)

Погнаться за двумя зайцами и поймать обоих! Именно это предлагают организаторы Марафона ИТ-соревнований «Роснефти». Впервые участникам предстоит решить две задачи – можно обе сразу или одну на выбор. Всё зависит от аппетитов любителей хакатонов, которых ждёт общий призовой фонд в 1 250 000 рублей!

Регистрация на Rosneft Challenge идёт полным ходом по ссылке: https://it2021.rn.digital/
До 13 ноября успейте попасть на «борт» международного хакатона и приступить к решению задач!
Задача №1 – это идентификация северных оленей на аэрофотоснимках и выделение молодых особей (экологический мониторинг).
Задача №2 – разработка web-приложения для поиска объектов-аналогов в проектной документации по параметрам.
27 ноября пройдёт финал Rosneft Challenge и подведение итогов всего Марафона «Роснефти» 2021 года. Ноябрь будет жарким!
#РНБашНИПИнефть #пульсмарафона #марафонРоснефти #хакатонРоснефти #робототехника #роботизация #айтишники #хакатон #регистрациянахакатон

Всем привет.

В ближайший четверг (11.11) состоится конференция AI Journey, в рамках которой планируется два доклада от представителей нашей лаборатории:

1) Анна Калюжная: Мечтает ли ИИ об эволюции? (Секция AI in Russia, начало секции в 15:20).

2) Николай Никитин: FEDOT - открытый фреймворк эволюционного автоматического обучения композитных пайплайнов (Секция AutoML, начало секции в 17:00)

Полная программа конференции доступна тут. Для просмотра трансляции необходимо зарегистрироваться.

Приходите, будет интересно!

Всем привет.

В рамках организованной НЦКР школы молодых учёных в области ИИ планируется несколько докладов от представителей нашей лаборатории. Они пройдут вечером 23 ноября.

- Эволюционные подходы в задачах генеративного дизайна физических объектов и математических моделей, Анна Калюжная, ИТМО.

- Автоматическое решение дифференциальных уравнений с помощью методов оптимизации и нейронных сетей, Александр Хватов, ИТМО.

- Методы композитного ИИ для моделирования многомасштабных временных рядов, Михаил Сарафанов, ИТМО.


Полная программа школы доступна тут. Её участниками могут стать студенты старших курсов, магистранты, аспиранты, молодые ученые и специалисты. Заявки на участие принимаются до 20 ноября 2021 г.

Всем привет.

Для тех, кто пропустил выступления сотрудников лаборатории на конференции AI Journey - выкладываем видео:

Мечтает ли ИИ об эволюции? - Анна Калюжная
https://www.youtube.com/watch?v=Jt098BMy-fQ

FEDOT - открытый фреймворк автоматического машинного обучения для композитных моделей - Николай Никитин
https://www.youtube.com/watch?v=qiVRZvJCio0

Also, we have versions in English:

Does AI dream of evolution? - Anna Kalyuzhnaya
https://www.youtube.com/watch?v=Mo-wn5T5vCo

FEDOT - open-source AutoML for composite pipelines - Nikolay Nikitin
https://www.youtube.com/watch?v=JblS7AmnkXA

Всем привет.

Продолжаем серию постов о новых конференционных докладах, описывающий результаты нашей группы.

Сегодня речь пойдет о выступлении директора национального центра когнитивных разработок Александра Бухановского под заголовком ""Автоматизированный ИИ".

Видео доклада доступно по ссылке:
https://youtu.be/5hmb-oqA2e8

В нём рассказывается о уже знакомом вам фреймворке для автоматизированного построения моделей композитного ИИ FEDOT, основных проблемах, с которыми сталкиваются заказчики технологий ИИ, а также полном цикле разработки ИИ – от подготовки данных до внедрения моделей в реальные задачи.

Лекция состоялась в рамках Школы ведущих инженеров НОЦ ТулаТЕХ.

Дорогие друзья, всем привет!

Сегодня вышла наша новая статья в Q1-журнале Water: "Short-Term River Flood Forecasting Using Composite Models and Automated Machine Learning: The Case Study of Lena River".

Статья написана по мотивам выигранного нашей командой "NSS_lab team" Хакатона Emergency datahack 2021, где нам лучше других команд удалось спрогнозировать подъемы уровня воды в период половодья на реке Лена. В этом нам помогла наша разработка - AutoML-фреймворк FEDOT, на основе которого мы построили большую часть моделей.

В статье обсуждается подход к прогнозированию уровня воды на основе композитного пайплайна на семь дней вперёд c помощью автоматического машинного обучения. Мы показали, что можно эффективно объединять классические физические модели и модели машинного обучения в единую прогнозную систему. Подтверждением этих слов служит высокое значение коэффициента Нэша – Сатклиффа, показанное нашей моделью на валидационной выборке: 0.8 (коэффициент изменяется от минус бесконечности до 1, чем больше значение - тем лучше модель). В соответствии с данной классификацией, модель попала в "лучшую категорию" по значению данного популярного в гидрологии коэффициента.

Ссылка на статью (open access) - https://www.mdpi.com/2073-4441/13/24/3482

@Article{w13243482,
AUTHOR = {Sarafanov, Mikhail and Borisova, Yulia and Maslyaev, Mikhail and Revin, Ilia and Maximov, Gleb and Nikitin, Nikolay O.},
TITLE = {Short-Term River Flood Forecasting Using Composite Models and Automated Machine Learning: The Case Study of Lena River},
JOURNAL = {Water},
VOLUME = {13},
YEAR = {2021},
NUMBER = {24},
ARTICLE-NUMBER = {3482},
URL = {https://www.mdpi.com/2073-4441/13/24/3482},
ISSN = {2073-4441},
DOI = {10.3390/w13243482}
}

И бонус - заглавная картинка в сообщении ниже

Концепт предлагаемого в статье подхода: просим любить и жаловать