🚀 @sberloga продолжает серию онлайн докладов по NLP (Natural Language Processing)
👨‍🔬 Андрей Козлюк (@FutorioFranklin (ПрессИндекс)) "TinyBert: 7.5x smaller and 9.4x faster"
⌚️ Четверг 10 июня 19.00 по Москве

Доклад посвящен методам дистилляции языковых моделей на основе архитектуры Трансформер. Мы уделим особое внимание одному из методов, лежащему в основе модели TinyBERT. В основе доклада лежит код: https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT

Ссылка на зум будет доступна через тг чат https://t.me/sberlogadataclub ближе к началу доклада.
ПС
Далее: 17 июня Игорь Шаталин (Human Cosmos) "Разрешение кореферентности для русского языка"

🚀 @sberloga продолжаем обсуждение курса Knowledge Graphs от М. Галкина
👨‍🔬 Лекция 7 "Knowledge Graph Embeddings"
⌚️ Вторник 15 июня 19.00 по Москве

Лекция о алгоритмах эмбеддингов для графов знаний и задачи предсказания связей (link prediction). Сначала сформулируем задачу (которая похожа на ранжирование, а не на классификацию) и рассмотрим отличия от классических (unidirectional) графов из Л6.

Мы сосредоточимся на shallow decoder-only моделях трех семейств: факторизационные (Tensor Factorization), трансляционные (Translation) и нейросетевые (CNN и трансформер, куда без них). Затем посмотрим, как их тренировать и по каким метрикам оценивать , а потом и какие вообще современные бенчмарки для этого есть. В текстовом конспекте материалов почти на book chapter - длинный рулон с текстом, формулами и примерами.

Домашка сейчас содержит пару простых упражнений на арифметику комплексных чисел, колаб ноутбук с кодом будет скоро.

Ссылка: https://migalkin.github.io/kgcourse2021/lectures/lecture7
Видео: https://www.youtube.com/watch?v=YNX4hQsNfks

Ссылка на зум будет доступна через тг чат https://t.me/kg_course ближе к началу доклада.

🚀 Онлайн DS доклад от @SBERLOGA
👨‍🔬 Анвар Курмуков (Сбер Институт Искусственного Интеллекта, ВШЭ, ИППИ) "Проблемы Deep learning/Computer Vision при анализе медицинских изображений."
⌚️ Четверг 17 июня, 19.00 по Москве

Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)

Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.

🚀 Онлайн DS доклад от @SBERLOGA
👨‍🔬 Алексей Тихонов (Яндекс) "Систематический анализ метрик кластерной близости"
⌚️ Вторник 22 июня, 19.00 по Москве

Доклад основан на работе https://arxiv.org/abs/1911.04773 недавно принятой на ICML 2021. Существует много метрик (индексов) для сравнения различных кластеризаций одного датасета, и выбор лучшей из них для конкретной задачи остается открытой проблемой. Мы демонстрируем, что эта проблема имеет решающее значение: имеется много разногласий между метриками (индексами), эти разногласия действительно влияют на то, какие алгоритмы предпочтительнее в приложениях, и это может привести к снижению производительности в реальных системах. Мы предлагаем теоретическую основу для решения этой проблемы: разрабатываем список желаемых свойств и проводим обширный теоретический анализ, чтобы проверить, какие индексы им удовлетворяют. Это позволяет сделать осознанный выбор: для конкретного приложения можно сначала выбрать свойства, которые желательны для задачи, а затем определить удовлетворяющие им индексы. Наша работа объединяет и значительно расширяет существующие попытки анализа индексов сходства кластеров: мы вводим новые свойства, формализуем существующие и математически подтверждаем или опровергаем каждое свойство для обширного списка индексов валидации. Этот более широкий и более строгий подход приводит к рекомендациям, которые значительно отличаются от того, как индексы валидации в настоящее время выбираются практиками. Показано, что в некоторых из самых популярных индексов даже преобладают индексы, на которые ранее не обращали внимания.

PS
Также Алексей является автором одного из наиболее популярных каналов в тг по анализу данных "Жалкие низкочастотники" и соавтором лучшего канала с разбором МЛ-статей "gonzo-обзоры ML статей".

Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.

🚀 @SBERLOGA продолжает онлайны доклады по NLP (Natural Language Processing)
👨‍🔬 Андрей Лукьяненко (MTC AИ) "Практические аспекты работы с задачей NER"
⌚️ Четверг 24 июня, 19.00 по Москве

Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
Тем не менее в проектах не всегда есть возможность использовать эти модели - например из-за инфраструктурных ограничений или из-за недостатка размеченных данных. В таких случаях весьма хорошие результаты могут показать подходы попроще.
В этом докладе я вначале расскажу о постановке задачи NER, схемах разметки и способах оценки качества моделей. Затем продемонстрирую различные подходы к построению моделей и в заключение дам советы о том, как можно улучшить качество таких подходов.

PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogadataclub ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
PSPS
Далее: 1 июля Александр Абрамов "Обучение универсальной модели NLU c BERT и Multitask Learning"
https://m.habr.com/ru/company/sberdevices/blog/560748/

Ребята,
Выкладываем доклад с прошлой недели

Проблемы Deep learning/Computer Vision при анализе медицинских изображений - Анвар Курмуков
https://youtu.be/VHnAf8UsHzs

Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)

📝 Материалы:
https://docs.google.com/presentation/d/1NxB8tGpguQbRa_n-Nbu_SQo1JX9BGLzzwVNbXoVT3BU/edit?usp=sharing

📢 Смотреть наши другие доклыды:
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub

@sberloga

Ребята,
Выходные нужно проводить продуктивно - поэтому для вас выложили видео прошедшего доклада

Практические аспекты работы с задачей NER - Андрей Лукьяненко
https://youtu.be/WGZpsDSmHnE

Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
Тем не менее в проектах не всегда есть возможность использовать эти модели - например из-за инфраструктурных ограничений или из-за недостатка размеченных данных. В таких случаях весьма хорошие результаты могут показать подходы попроще.
В этом докладе я вначале расскажу о постановке задачи NER, схемах разметки и способах оценки качества моделей. Затем продемонстрирую различные подходы к построению моделей и в заключение дам советы о том, как можно улучшить качество таких подходов.

📝 Материалы:
Презентация
https://slides.com/andreylukyanenko/deck-8f46e4
и ноутбук
https://github.com/Erlemar/Erlemar.github.io/blob/master/Notebooks/ner_sberloga.ipynb
https://www.kaggle.com/artgor/a-supplementary-notebook-for-my-talk-on-ner

📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий
https://t.me/sberloga

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub

@sberloga

🚀 @SBERLOGA - представляет два онлайн эвента за один раз
⌚️ Вторник 29 июня, 19.00 и 19.30 по Москве
⌚️ В 19.00 мы продолжим просмотр и обсуждение Лекция 7 "Knowledge Graph Embeddings" курса М.Галкина
👨‍🔬 В 19.30 Анвар Курмуков (Сбер, ВШЭ, ИППИ) сделает обзор свежей работы "Training Graph Neural Networks with 1000 Layers" (Accepted at ICML'2021)

https://arxiv.org/abs/2106.07476
Deep graph neural networks (GNNs) have achieved excellent results on various tasks on increasingly large graph datasets with millions of nodes and edges. However, memory complexity has become a major obstacle when training deep GNNs for practical applications due to the immense number of nodes, edges, and intermediate activations. To improve the scalability of GNNs, prior works propose smart graph sampling or partitioning strategies to train GNNs with a smaller set of nodes or sub-graphs. In this work, we study reversible connections, group convolutions, weight tying, and equilibrium models to advance the memory and parameter efficiency of GNNs. We find that reversible connections in combination with deep network architectures enable the training of overparameterized GNNs that significantly outperform existing methods on multiple datasets. Our models RevGNN-Deep (1001 layers with 80 channels each) and RevGNN-Wide (448 layers with 224 channels each) were both trained on a single commodity GPU and achieve an ROC-AUC of 87.74±0.13 and 88.24±0.15 on the ogbn-proteins dataset. To the best of our knowledge, RevGNN-Deep is the deepest GNN in the literature by one order of magnitude. Please visit our project website this https URL for more information.

Код доступен на сайте: https://www.deepgcns.org/arch/gnn1000
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga

Сбер активно развивает направление дата-сайнс. Новый этап — создание "Института Искусственного Интеллекта AIRI". Цель института - проведение исследований мирового уровня по широкому профилю направлений в области дата-сайнс и на стыке с другими науками, в том числе с биоинформатикой.

В данный момент формируются команды, открыты вакансии, предлагается достойная оплата.

Более подробная информация в https://t.me/sberlogajobs/106, подписывайтесь на канал @sberlogajobs

ПС
По направлению анализа медицинских изображений можно ознакомиться с недавним докладом:
https://t.me/sberloga/79
видео запись: https://www.youtube.com/watch?v=VHnAf8UsHzs
и все вопросы уточнить у @anvarki

🚀 @SBERLOGA - представляет два онлайн эвента за один раз
⌚️ Вторник 6 июля, 19.00 и 19.30 по Москве
⌚️ В 19.00 мы продолжим просмотр и обсуждение Лекция 7 "Knowledge Graph Embeddings" курса М.Галкина
👨‍🔬 В 19.30 доклад по граф-мл: Илья Сенаторов (Helmholtz Institute) "Предсказания взаимодействий молекул и белков с помощью глубокого обучения и графовых нейросетей"

Предсказание взаимодействия между белком и молекулой - нетривиальная задача, которая активно решается последние 5 лет. Множество подходов комбинируют машинное обучение с теорией графов для решение этой задачи. Однако датасеты, используемые для сравнения разных моделей сильно отличаются от датасетов которые встречаются в реальной жизни - они гораздо более полные и сбалансированые. В этой лекции я расскажу о проблемах, которые встречаются при попытке применить модели, натренированые на стандартных датасетах KIBA и Davis и способах их решения - weighted loss, biologically relevant protein graph augmentation и graph-level pre-training.

PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga

https://youtu.be/GtiDsb4pQR0

Обзор свежей работы "Training Graph Neural Networks with 1000 Layers" (ICML2021) - Анвар Курмуков

https://arxiv.org/abs/2106.07476
Deep graph neural networks (GNNs) have achieved excellent results on various tasks on increasingly large graph datasets with millions of nodes and edges. However, memory complexity has become a major obstacle when training deep GNNs for practical applications due to the immense number of nodes, edges, and intermediate activations. To improve the scalability of GNNs, prior works propose smart graph sampling or partitioning strategies to train GNNs with a smaller set of nodes or sub-graphs. In this work, we study reversible connections, group convolutions, weight tying, and equilibrium models to advance the memory and parameter efficiency of GNNs. We find that reversible connections in combination with deep network architectures enable the training of overparameterized GNNs that significantly outperform existing methods on multiple datasets. Our models RevGNN-Deep (1001 layers with 80 channels each) and RevGNN-Wide (448 layers with 224 channels each) were both trained on a single commodity GPU and achieve an ROC-AUC of 87.74±0.13 and 88.24±0.15 on the ogbn-proteins dataset. To the best of our knowledge, RevGNN-Deep is the deepest GNN in the literature by one order of magnitude. Please visit our project website this https URL for more information.

📝 Материалы:
Код доступен на сайте:
https://www.deepgcns.org/arch/gnn1000

📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий:
https://t.me/sberloga

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub

@sberloga

🚀 @SBERLOGA продолжает онлайны доклады по NLP (Natural Language Processing)
👨‍🔬 Михаил Нефедов (Сбер) "NLP модели без токенизации"
⌚️ Четверг 8 июля, 19.00 по Москве


В докладе я расскажу о недавней статье от Google Research (https://arxiv.org/abs/2105.13626), в которой показывается, что трансформеры можно успешно обучать без какой-либо токенизации, на байтовых последовательностях. Отказ от токенизации упрощает пайплайн предобработки, значительно сокращает размеры входных и выходных слоев, а также делает модель более устойчивой к искажениям текста. Перфоманс полученных модулей не уступает, а иногда и превосходит аналогичные модели с токенизацией. Недостатком такого подхода является значительное увеличение длины последовательностей, которое приводит к снижению скорости обучения и инференса.

PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogadataclub ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga

🚀 @SBERLOGA рекомендует онлайн доклад по НЛП
⌚️ Четверг 15 июля, 19.00 по Москве

Всем привет!

Приглашаем вас на онлайн-семинар НУЛ ММВП "Матричные и тензорные разложения в задачах обработки естественного языка", который состоится 15 июля 2021 года в 19.00.

О докладчике: Гринчук Алексей Валерьевич (https://scholar.google.com/citations?user=Z8GCLksAAAAJ&hl=en&oi=ao) Окончил бакалавриат МФТИ в 2015 году. В 2017 окончил магистратуру МФТИ и Сколтеха. С 2017 является аспирантом МФТИ и занимается применением матричных и тензорных разложений к различным задачам обработки естественного языка (NLP) под руководством И.В. Оселедца. С 2020 года работает ведущим инженером в компании NVIDIA, занимается распознаванием речи и машинным переводом.

Аннотация: В настоящей работе предлагаются методы решения различных задач в области обработки естественного языка при помощи матричных и тензорных разложений. Предложен метод построения векторных представлений слов на основе Римановой оптимизации в пространстве матриц малого ранга. Предложена математическая модель векторных представлений слов на основе разложения тензорного поезда, которая требует меньше параметров, чем классическое представление в виде плотной матрицы. Предложено обобщение тензорных нейронных сетей, которое позволяет анализировать рекуррентные и полносвязные сети с различными нелинейностями между слоями. Проведён теоретический анализ обобщающей способности и выразительной силы обобщённых рекуррентных тензорных сетей с нелинейностью типа ReLU.

Для участия в семинаре необходимо зарегистрироваться до 16.00 15 июля 2021 г.

https://cs.hse.ru/ai/computational-pragmatics/announcements/484649607.html

🚀 @SBERLOGA онлайн доклад по биоинформатике и граф-мл
👨‍🔬 Леонид Урошлев (Институт Общей Генетики РАН) "Геномные графы, их применение для хранения последовательностей и алгоритмы их обработки"
⌚️ Пятница 16 июля, 17.00 по Москве

Геномные графы, их устройство и применимость. Особое внимание будет уделено графам вариаций, их применению в анализе популяционной изменчивости, а также алгоритмам индексации графов.

PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogabio ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga

Ребята, выкладываю видео прошедших семинаров

NLP модели без токенизации
Михаил Нефедов (Сбер)
https://youtu.be/POvjBt7D1nM
В докладе Михаил рассказал о недавней статье от Google Research (https://arxiv.org/abs/2105.13626), в которой показывается, что трансформеры можно успешно обучать без какой-либо токенизации, на байтовых последовательностях. Отказ от токенизации упрощает пайплайн предобработки, значительно сокращает размеры входных и выходных слоев, а также делает модель более устойчивой к искажениям текста. Перфоманс полученных модулей не уступает, а иногда и превосходит аналогичные модели с токенизацией. Недостатком такого подхода является значительное увеличение длины последовательностей, которое приводит к снижению скорости обучения и инференса.
📝 Материалы:
https://drive.google.com/file/d/1CbZZe74gYm1tpr8pMWdvaBj2iUGke578/view?usp=sharing

Предсказания взаимодействий молекул и белков с помощью графовых нейросетей
Илья Сенаторов (Helmholtz Institute)
https://youtu.be/5MFvmPIvQLk
Предсказание взаимодействия между белком и молекулой - нетривиальная задача, которая активно решается последние 5 лет. Множество подходов комбинируют машинное обучение с теорией графов для решение этой задачи. Однако датасеты, используемые для сравнения разных моделей сильно отличаются от датасетов которые встречаются в реальной жизни - они гораздо более полные и сбалансированые. В этой лекции я расскажу о проблемах, которые встречаются при попытке применить модели, натренированые на стандартных датасетах KIBA и Davis и способах их решения - weighted loss, biologically relevant protein graph augmentation и graph-level pre-training.
📝 Материалы:
https://drive.google.com/file/d/1pAGsHLAU4id2CD-9nYMnsdNWMxZmFECP/view?usp=sharing

📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий: https://t.me/sberloga
🗨 Обсудить доклады можно в нашем чатике https://t.me/sberlogadataclub

@sberloga

Записывайтесь добровольцами на разбор АльфФолд2 от Гугл ДипМайнд https://t.me/sberlogabio/7357

Подробней тут: https://t.me/sberloga/95 , присоединяйтесь к группе https://t.me/sberlogabio для координации усилий

Революционное достижение от Гугл ДипМайнд (анонс осень 2020) - АльфаФолд2 - очень точное предсказание трехмерной структуры белков (то есть координат в трехмерном пространстве атомов белка), зная только последовательность аминокислот белка (то есть одномерную структуру).
На днях (15 июля) Дипмайнд выложил более подробное описание своей работы, а незадолго до этого группа независимых исследователей выложило менее совершенное,
но и менее ресурсоемкое решение - РозеттаФолд.

Давайте попробуем разобраться в этих работах - присоединяйтесь к 70 "добровольцам" на разбор этих работы в https://t.me/sberlogabio/7357 .

Статья Альфафолд2: https://www.nature.com/articles/s41586-021-03819-2
Модель: https://github.com/deepmind/alphafold

Замечательные посты Григория Сапунова, с кратким описанием достижений:
РозеттаФолд: https://t.me/gonzo_ML/642
АльфаФолд2: https://t.me/gonzo_ML/649

Каггл можно использовать для сбора материалов (данных, скриптов, ссылок, обсуждений) по этой активности:
https://www.kaggle.com/alexandervc/towards-understanding-alphafold2-and-rosettafold

🚀 @SBERLOGA онлайн доклад по дс&граф-мл
👨‍🔬 Александр Кореков, Данил Сметанев (Сбер) "Подход и кейсы process mining"
⌚️ Вторник 20 июля, 19.00 по Москве

Process Mining - это относительно молодая область знаний. Она сочетает в себе подходы для анализа как операционных процессов компании, так и клиентских путей (customer journey) в любый фронтальных и бэкендовых системах, а в качестве источника данных обычно используют event logs разной степени детализации. В нашем рассказе хотим познакомить вас с основными бизнес-задачами в process mining, поговорить о подходах и проблематике при построении аналитики по event logs, посвятить в кейсы разбора клиентских путей, а также рассказать о нашей новой библиотеке sberPM: https://github.com/SberProcessMining/Sber_Process_Mining
Доклад будет перекликаться с нашей статьей https://habr.com/ru/company/sberbank/blog/565476/

PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga