🚀 Онлайн DS доклад
👨🔬 Александр Пономаренко (ВШЭ, ИПФ РАН) "Поиск перекрывающихся кластеров на графах"
⌚️ Четверг 6 мая, 18.00 по Москве
На докладе расскажем про метод поиска перекрывающихся кластеров в графе (Link Partitioning Around Mediods) https://arxiv.org/abs/1907.08731, https://github.com/aponom84/lpam-clustering
Суть метода: кластеризуются рёбра, а не вершины. Мы считаем, что вершина принадлежит нескольким сообществам, если она смежна с рёбрами из разных кластеров. Для кластеризации рёбер строится линейный графа, и на нём решается задача о p-медианах (facility location problem). Мы изучили как работает этот метод главным образом с двумя функциями расстояния: commute distance и с одиним из вариантов её коррекции – amplified commute distance.
Одно из преимущество метода – интуитивно понятный результат. Рёбра группируются вокруг некоторых центров.
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
👨🔬 Александр Пономаренко (ВШЭ, ИПФ РАН) "Поиск перекрывающихся кластеров на графах"
⌚️ Четверг 6 мая, 18.00 по Москве
На докладе расскажем про метод поиска перекрывающихся кластеров в графе (Link Partitioning Around Mediods) https://arxiv.org/abs/1907.08731, https://github.com/aponom84/lpam-clustering
Суть метода: кластеризуются рёбра, а не вершины. Мы считаем, что вершина принадлежит нескольким сообществам, если она смежна с рёбрами из разных кластеров. Для кластеризации рёбер строится линейный графа, и на нём решается задача о p-медианах (facility location problem). Мы изучили как работает этот метод главным образом с двумя функциями расстояния: commute distance и с одиним из вариантов её коррекции – amplified commute distance.
Одно из преимущество метода – интуитивно понятный результат. Рёбра группируются вокруг некоторых центров.
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Ребята привет,
Майские "не рабочие" закончились и мы снова начинаем организовывать доклады по DataScience тематикам 👍 Скоро будет анонс 🥳
А пока можете ознакомиться с видео последних докладов:
Сергей Лавриков - Трэкинг экспериментов в MLFlow
Обсудили:
* как с помощью MLflow привнести в команду порядок в проведении ML экспериментов и какие от этого плюсы;
* общий обзор возможностей фреймворка;
* наглядная демонстрация real time.
Александр Пономаренко - Поиск перекрывающихся кластеров на графах
На докладе обсуждали метод поиска перекрывающихся кластеров в графе (Link Partitioning Around Mediods) https://arxiv.org/abs/1907.08731, https://github.com/aponom84/lpam-clustering
Суть метода: кластеризуются рёбра, а не вершины. Мы считаем, что вершина принадлежит нескольким сообществам, если она смежна с рёбрами из разных кластеров. Для кластеризации рёбер строится линейный графа, и на нём решается задача о p-медианах (facility location problem). Мы изучили как работает этот метод главным образом с двумя функциями расстояния: commute distance и с одиним из вариантов её коррекции – amplified commute distance.
Одно из преимущество метода – интуитивно понятный результат. Рёбра группируются вокруг некоторых центров.
Антон Костин - Философия на графах
Разбирали блокнот с кодом построения графа поверх текстовых эмбеддингов (fasttext).
На примере Louvain посмотрим, как алгоритмы модульности находят философские школы.
В задаче Link Prediction подумаем над неочевидными связями между разными школами и философами.
А также обсудим, будут ли студенты ВУЗов делать домашку по философии с использованием NLP
и дискретной математики (спойлер: на Физтехе уже начали)? Рассказывает преподаватель философии.
Ноутбуки и данные доступы на каггле:
https://www.kaggle.com/visualcomments/philosophy-ru-large
Курс Knowledge Graphs - Обсуждение Лекции 6 часть 2
Рекомендуем всем лекцию Вадима Сафронова (@VadymSafronov) - https://www.youtube.com/watch?v=2NemwwyK9x4 - она содержит (в том числе) краткий дайджест многих моментов известного стенфордского курса cs224w (от Лесковича)
@sberloga
Майские "не рабочие" закончились и мы снова начинаем организовывать доклады по DataScience тематикам 👍 Скоро будет анонс 🥳
А пока можете ознакомиться с видео последних докладов:
Сергей Лавриков - Трэкинг экспериментов в MLFlow
Обсудили:
* как с помощью MLflow привнести в команду порядок в проведении ML экспериментов и какие от этого плюсы;
* общий обзор возможностей фреймворка;
* наглядная демонстрация real time.
Александр Пономаренко - Поиск перекрывающихся кластеров на графах
На докладе обсуждали метод поиска перекрывающихся кластеров в графе (Link Partitioning Around Mediods) https://arxiv.org/abs/1907.08731, https://github.com/aponom84/lpam-clustering
Суть метода: кластеризуются рёбра, а не вершины. Мы считаем, что вершина принадлежит нескольким сообществам, если она смежна с рёбрами из разных кластеров. Для кластеризации рёбер строится линейный графа, и на нём решается задача о p-медианах (facility location problem). Мы изучили как работает этот метод главным образом с двумя функциями расстояния: commute distance и с одиним из вариантов её коррекции – amplified commute distance.
Одно из преимущество метода – интуитивно понятный результат. Рёбра группируются вокруг некоторых центров.
Антон Костин - Философия на графах
Разбирали блокнот с кодом построения графа поверх текстовых эмбеддингов (fasttext).
На примере Louvain посмотрим, как алгоритмы модульности находят философские школы.
В задаче Link Prediction подумаем над неочевидными связями между разными школами и философами.
А также обсудим, будут ли студенты ВУЗов делать домашку по философии с использованием NLP
и дискретной математики (спойлер: на Физтехе уже начали)? Рассказывает преподаватель философии.
Ноутбуки и данные доступы на каггле:
https://www.kaggle.com/visualcomments/philosophy-ru-large
Курс Knowledge Graphs - Обсуждение Лекции 6 часть 2
Рекомендуем всем лекцию Вадима Сафронова (@VadymSafronov) - https://www.youtube.com/watch?v=2NemwwyK9x4 - она содержит (в том числе) краткий дайджест многих моментов известного стенфордского курса cs224w (от Лесковича)
@sberloga
YouTube
Сергей Лавриков - Трэкинг экспериментов в MLFlow
* как с помощью MLflow привнести в команду порядок в проведении ML экспериментов и какие от этого плюсы;
* общий обзор возможностей фреймворка;
* наглядная демонстрация real time.
📝 Материалы:
https://drive.google.com/file/d/1EE7GSC1CvWsobkOBhoOMm_voM2U…
* общий обзор возможностей фреймворка;
* наглядная демонстрация real time.
📝 Материалы:
https://drive.google.com/file/d/1EE7GSC1CvWsobkOBhoOMm_voM2U…
🚀 "SBERLOGA" продолжает серию докладов по теме фреймворков для Data Science проектов
👨🔬 Доклад Ярослава Черепанова: "Построение пайплайнов обработки данных с использованием Luigi"
⌚ Четверг 20 мая, 18:00 по Москве
В процессе решения DS или DE задач иногда возникает необходимость написать переиспользуемый пайплайн, который производит тяжёлые вычисления. Такой код далеко не всегда перезапускается без ошибок, поэтому полезно иметь возможность не терять уже проделанные вычисления. Также, если вычисления действительно долгие, бывает непонятно на каком этапе сейчас находятся расчёты. И в конце концов полезно иметь возможность легко распараллелить расчёты, где это возможно. Всё это можно делать, если написать пайплайн с использованием Luigi.
В этом докладе Ярослав расскажет о Luigi и покажет примеры того как писать пайплайны с её применением.
Ссылка на зум будет доступна ближе к началу доклада через чат @sberlogadataclub
Записи докладов на ютубе https://www.youtube.com/c/SBERLOGA
Looking for speakers - Мы постоянно проводим небольшие семинары, где можно поделиться совими знаниями по теме Data Science/Data Engineering. Чтобы обсудить тему вашего доклада нужно написать - @boyadzhi или @Alexander_V_C
@sberloga
👨🔬 Доклад Ярослава Черепанова: "Построение пайплайнов обработки данных с использованием Luigi"
⌚ Четверг 20 мая, 18:00 по Москве
В процессе решения DS или DE задач иногда возникает необходимость написать переиспользуемый пайплайн, который производит тяжёлые вычисления. Такой код далеко не всегда перезапускается без ошибок, поэтому полезно иметь возможность не терять уже проделанные вычисления. Также, если вычисления действительно долгие, бывает непонятно на каком этапе сейчас находятся расчёты. И в конце концов полезно иметь возможность легко распараллелить расчёты, где это возможно. Всё это можно делать, если написать пайплайн с использованием Luigi.
В этом докладе Ярослав расскажет о Luigi и покажет примеры того как писать пайплайны с её применением.
Ссылка на зум будет доступна ближе к началу доклада через чат @sberlogadataclub
Записи докладов на ютубе https://www.youtube.com/c/SBERLOGA
Looking for speakers - Мы постоянно проводим небольшие семинары, где можно поделиться совими знаниями по теме Data Science/Data Engineering. Чтобы обсудить тему вашего доклада нужно написать - @boyadzhi или @Alexander_V_C
@sberloga
🚀 @sberloga организует серию онлайн докладов по NLP (Natural Language Processing).
⌚️ Предварительные даты и время - каждый четверг в 19.00 по Москве.
Дополнительная информация и подробные анонсы в телеграм канале @sberloga за пару дней до доклада. Видео записи этих и предыдущих докладов на ютуб канале - https://www.youtube.com/c/sberloga . Присоединяйтесь - будет интересно:
27 мая. Давид Дале (@cointegrated (Сколтех)) "Предобученные модели для русского языка"
3 июня. Андрей Козлюк (@FutorioFranklin (ПрессИндекс)) "TinyBert: 7.5x smaller and 9.4x faster"
Далее:
Игорь Шаталин "Разрешение кореферентности для русского языка"
А также: Андрей Лукьяненко, Михаил Нефедов, Eгор Плотников,
Александр Абрамов, Леонид Синев, Farid Khafizov
PS
Looking for speakers - Мы постоянно проводим небольшие семинары, где можно поделиться своими знаниями по теме Data Science/Data Engineering. Eсли вы готовы рассказать и/или порекомендовать хорошего докладчика обращайтесь - @boyadzhi или @Alexander_V_C
⌚️ Предварительные даты и время - каждый четверг в 19.00 по Москве.
Дополнительная информация и подробные анонсы в телеграм канале @sberloga за пару дней до доклада. Видео записи этих и предыдущих докладов на ютуб канале - https://www.youtube.com/c/sberloga . Присоединяйтесь - будет интересно:
27 мая. Давид Дале (@cointegrated (Сколтех)) "Предобученные модели для русского языка"
3 июня. Андрей Козлюк (@FutorioFranklin (ПрессИндекс)) "TinyBert: 7.5x smaller and 9.4x faster"
Далее:
Игорь Шаталин "Разрешение кореферентности для русского языка"
А также: Андрей Лукьяненко, Михаил Нефедов, Eгор Плотников,
Александр Абрамов, Леонид Синев, Farid Khafizov
PS
Looking for speakers - Мы постоянно проводим небольшие семинары, где можно поделиться своими знаниями по теме Data Science/Data Engineering. Eсли вы готовы рассказать и/или порекомендовать хорошего докладчика обращайтесь - @boyadzhi или @Alexander_V_C
🚀 Онлайн DS доклад от @SBERLOGA
👨🔬 Давид Дале (Сколтех, экс-Яндекс.Алиса) "Предобученные модели для русского языка"
⌚️ Четверг 27 мая, 19.00 по Москве
Поговорим про особенности, ограничения и рецепты использования русского BERT. Обсудим опыт дистилляции BERT и сжатия fastText. Разберёмся, какая магия нужна, чтобы заставить GPT от Сбера генерировать нужный вам текст, и почему с T5 то же самое можно сделать без магии.
Чтобы встреча прошла максимально интересно, заранее задавайте свои вопросы в комментариях!
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
👨🔬 Давид Дале (Сколтех, экс-Яндекс.Алиса) "Предобученные модели для русского языка"
⌚️ Четверг 27 мая, 19.00 по Москве
Поговорим про особенности, ограничения и рецепты использования русского BERT. Обсудим опыт дистилляции BERT и сжатия fastText. Разберёмся, какая магия нужна, чтобы заставить GPT от Сбера генерировать нужный вам текст, и почему с T5 то же самое можно сделать без магии.
Чтобы встреча прошла максимально интересно, заранее задавайте свои вопросы в комментариях!
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
🚀 Онлайн DS доклад от @SBERLOGA по граф-мл
👨🔬 Вадим Сафронов (@VadymSafronov) "Учиться, учиться, и ещё раз учиться? (Простые модели против полноценно обученных GCN: 12 датасетов * 12 раундов * 2 сценария - кто кого заборет?) "
⌚️ Вторник 1 июня, 19.00 по Москве
Необученная графовая свёрточная нейронная сеть [1] (uGCN) со случайной инициализацией весов уже пару лет занимает первое место в моём списке алгоритмов для задач машинного обучения на графах из-за копеечной стоимости, простоты реализации, да вполне очевидной элегантности решения. В то же время, насколько мне известно, никто ещё не не проводил соревнований между этой простой моделью и её старшей сестрой - полноценно обученной графовой свёрточной нейронной сетью (GCN) в режиме обучения с учителем. Вот я сделал.
Мотивация: показать, что uGCN выдаёт качественные представления, которые можно использовать в последующих задачах машинного обучения в индуктивном режиме (вдохновлено недавним отчётом [2] о производительности простых моделей в трансдуктивном случае).
Полученные результаты - занимательны. В худшем случае простые модели (uGCN + degree kernel + random forest) показали счёт 54:90 против полноценно обученных GCN, в то время как реалистичный сценарий закончился разгромным реваншем 93:51, указывающим на то, что мы можем позволить себе почти бесплатные эмбеддинги, которые превосходят или показывают результаты на уровне полноценно обученных GCN в задаче предсказания свойств графа (например - эффекта медикаментов: яд или лекарство) за долю стоимости. Простые модели обучались ~10 минут в то время как весь эксперимент продлился ~4 часа.
Результаты:
https://hsto.org/webt/fr/am/7s/fram7skdikce2xxbpyowaul3qvw.png
DK - гистограмма степеней вершин,
uGCN - необученная свёртка со случайными весами,
Mix = uGCN + DK,
GCN-A - среднее за 191-200 эпоху обучения,
GCN-B - лучшая из 200 эпох
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
👨🔬 Вадим Сафронов (@VadymSafronov) "Учиться, учиться, и ещё раз учиться? (Простые модели против полноценно обученных GCN: 12 датасетов * 12 раундов * 2 сценария - кто кого заборет?) "
⌚️ Вторник 1 июня, 19.00 по Москве
Необученная графовая свёрточная нейронная сеть [1] (uGCN) со случайной инициализацией весов уже пару лет занимает первое место в моём списке алгоритмов для задач машинного обучения на графах из-за копеечной стоимости, простоты реализации, да вполне очевидной элегантности решения. В то же время, насколько мне известно, никто ещё не не проводил соревнований между этой простой моделью и её старшей сестрой - полноценно обученной графовой свёрточной нейронной сетью (GCN) в режиме обучения с учителем. Вот я сделал.
Мотивация: показать, что uGCN выдаёт качественные представления, которые можно использовать в последующих задачах машинного обучения в индуктивном режиме (вдохновлено недавним отчётом [2] о производительности простых моделей в трансдуктивном случае).
Полученные результаты - занимательны. В худшем случае простые модели (uGCN + degree kernel + random forest) показали счёт 54:90 против полноценно обученных GCN, в то время как реалистичный сценарий закончился разгромным реваншем 93:51, указывающим на то, что мы можем позволить себе почти бесплатные эмбеддинги, которые превосходят или показывают результаты на уровне полноценно обученных GCN в задаче предсказания свойств графа (например - эффекта медикаментов: яд или лекарство) за долю стоимости. Простые модели обучались ~10 минут в то время как весь эксперимент продлился ~4 часа.
Результаты:
https://hsto.org/webt/fr/am/7s/fram7skdikce2xxbpyowaul3qvw.png
DK - гистограмма степеней вершин,
uGCN - необученная свёртка со случайными весами,
Mix = uGCN + DK,
GCN-A - среднее за 191-200 эпоху обучения,
GCN-B - лучшая из 200 эпох
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
🚀 @sberloga рекомендует онлайн доклад по NLP (Natural Language Processing) на семинаре ВШЭ
Телеграм канал семинара ВШЭ: @nlp_seminar
👨🔬 Владислав Михайлов (Сбер), Екатерина Такташева (ВШЭ), Элина Сигдал (ВШЭ) “RuSentEval: диагностическое тестирование языковых моделей на русском языке”
⌚️ Четверг 3 июня в 19.00 по Москве.
RuSentEval – это новый набор данных для диагностического тестирования (probing) векторных и языковых моделей для русского языка. Набор включает в себя 14 датасетов, которые покрывают различные лингвистические явления – от поверхностных (число слов в предложении) до синтаксических (глубина синтаксического дерева) и семантических (число и род подлежащего). Классический метод диагностического тестирования – обучить классификатор, который предсказывает наличие того или иного явления по вектору предложения. Поведение классификатора может показать, например, какие слои языковой модели более чувствительны к низкоуровневым признакам, а какие – к высокоуровневым.
В работе мы использовали данные RuSentEval и SentEval (английский язык), чтобы провести диагностическое тестирование пяти мультиязычных трансформеров – в том числе mBERT, mBART и LABSE – и узнали, что модели имеют похожее представление о некоторых признаках для обоих языков, несмотря на их типологические различия. А вот mBART и LABSE отличаются от остальных (как именно – читайте в статье).
Репозиторий с кодом и данными доступен по ссылке (https://github.com/RussianNLP/rusenteval).
Телеграм канал семинара ВШЭ: @nlp_seminar
👨🔬 Владислав Михайлов (Сбер), Екатерина Такташева (ВШЭ), Элина Сигдал (ВШЭ) “RuSentEval: диагностическое тестирование языковых моделей на русском языке”
⌚️ Четверг 3 июня в 19.00 по Москве.
RuSentEval – это новый набор данных для диагностического тестирования (probing) векторных и языковых моделей для русского языка. Набор включает в себя 14 датасетов, которые покрывают различные лингвистические явления – от поверхностных (число слов в предложении) до синтаксических (глубина синтаксического дерева) и семантических (число и род подлежащего). Классический метод диагностического тестирования – обучить классификатор, который предсказывает наличие того или иного явления по вектору предложения. Поведение классификатора может показать, например, какие слои языковой модели более чувствительны к низкоуровневым признакам, а какие – к высокоуровневым.
В работе мы использовали данные RuSentEval и SentEval (английский язык), чтобы провести диагностическое тестирование пяти мультиязычных трансформеров – в том числе mBERT, mBART и LABSE – и узнали, что модели имеют похожее представление о некоторых признаках для обоих языков, несмотря на их типологические различия. А вот mBART и LABSE отличаются от остальных (как именно – читайте в статье).
Репозиторий с кодом и данными доступен по ссылке (https://github.com/RussianNLP/rusenteval).
GitHub
GitHub - RussianNLP/RuSentEval: Probing suite for evaluation of Russian embedding and language models
Probing suite for evaluation of Russian embedding and language models - GitHub - RussianNLP/RuSentEval: Probing suite for evaluation of Russian embedding and language models
🚀 @sberloga продолжает серию онлайн докладов по NLP (Natural Language Processing), следующий доклад будет 10 июня, а не 3 июня как планировалось.
⌚️ Предварительные даты и время - каждый четверг в 19.00 по Москве.
Дополнительная информация и подробные анонсы в телеграм канале @sberloga за пару дней до доклада. Видео записи этих и предыдущих докладов на ютуб канале - https://www.youtube.com/c/sberloga . Присоединяйтесь - будет интересно:
10 июня. Андрей Козлюк (@FutorioFranklin (ПрессИндекс)) "TinyBert: 7.5x smaller and 9.4x faster"
17 июня Игорь Шаталин (Human Cosmos) "Разрешение кореферентности для русского языка"
Далее:
Андрей Лукьяненко, Михаил Нефедов, Eгор Плотников,
Александр Абрамов, Леонид Синев, Farid Khafizov
ПС
В ближайший четверг (3 июня) рекомендуем посетить онлайн доклад по NLP “RuSentEval: диагностическое тестирование языковых моделей на русском языке” от ВШЭ (см. предыдущий пост).
⌚️ Предварительные даты и время - каждый четверг в 19.00 по Москве.
Дополнительная информация и подробные анонсы в телеграм канале @sberloga за пару дней до доклада. Видео записи этих и предыдущих докладов на ютуб канале - https://www.youtube.com/c/sberloga . Присоединяйтесь - будет интересно:
10 июня. Андрей Козлюк (@FutorioFranklin (ПрессИндекс)) "TinyBert: 7.5x smaller and 9.4x faster"
17 июня Игорь Шаталин (Human Cosmos) "Разрешение кореферентности для русского языка"
Далее:
Андрей Лукьяненко, Михаил Нефедов, Eгор Плотников,
Александр Абрамов, Леонид Синев, Farid Khafizov
ПС
В ближайший четверг (3 июня) рекомендуем посетить онлайн доклад по NLP “RuSentEval: диагностическое тестирование языковых моделей на русском языке” от ВШЭ (см. предыдущий пост).
Ребята,
Сегодня выкладываю очередную порцию прошедших докладов
Ярослав Черепанов - Построение пайплайнов обработки данных с использованием Luigi
В процессе решения DS или DE задач иногда возникает необходимость написать переиспользуемый пайплайн, который производит тяжёлые вычисления. Такой код далеко не всегда перезапускается без ошибок, поэтому полезно иметь возможность не терять уже проделанные вычисления. Также, если вычисления действительно долгие, бывает непонятно на каком этапе сейчас находятся расчёты. И в конце концов полезно иметь возможность легко распараллелить расчёты, где это возможно. Всё это можно делать, если написать пайплайн с использованием Luigi.
В этом докладе Ярослав рассказал о Luigi и показал примеры того как писать пайплайны с её применением.
Давид Дале (Сколтех, экс-Яндекс.Алиса) - Предобученные модели для русского языка
Поговорим про особенности, ограничения и рецепты использования русского BERT. Обсудим опыт дистилляции BERT и сжатия fastText. Разберёмся, какая магия нужна, чтобы заставить GPT от Сбера генерировать нужный вам текст, и почему с T5 то же самое можно сделать без магии.
Курс Knowledge Graphs - Q&A
Cессия вопросов-ответов c Михаилом Галкиным, одним из создателей курса по KG
@sberloga
Сегодня выкладываю очередную порцию прошедших докладов
Ярослав Черепанов - Построение пайплайнов обработки данных с использованием Luigi
В процессе решения DS или DE задач иногда возникает необходимость написать переиспользуемый пайплайн, который производит тяжёлые вычисления. Такой код далеко не всегда перезапускается без ошибок, поэтому полезно иметь возможность не терять уже проделанные вычисления. Также, если вычисления действительно долгие, бывает непонятно на каком этапе сейчас находятся расчёты. И в конце концов полезно иметь возможность легко распараллелить расчёты, где это возможно. Всё это можно делать, если написать пайплайн с использованием Luigi.
В этом докладе Ярослав рассказал о Luigi и показал примеры того как писать пайплайны с её применением.
Давид Дале (Сколтех, экс-Яндекс.Алиса) - Предобученные модели для русского языка
Поговорим про особенности, ограничения и рецепты использования русского BERT. Обсудим опыт дистилляции BERT и сжатия fastText. Разберёмся, какая магия нужна, чтобы заставить GPT от Сбера генерировать нужный вам текст, и почему с T5 то же самое можно сделать без магии.
Курс Knowledge Graphs - Q&A
Cессия вопросов-ответов c Михаилом Галкиным, одним из создателей курса по KG
@sberloga
YouTube
Курс Knowledge Graphs - Q&A
📝 Материалы:
https://drive.google.com/file/d/1LL3ndImtKU0db-fkp8iYrp7hLO45h5N9/view?usp=sharing
📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий: https://t.me/sberloga
Присоединяйтесь к тг чату @kg_course для дополнительноной…
https://drive.google.com/file/d/1LL3ndImtKU0db-fkp8iYrp7hLO45h5N9/view?usp=sharing
📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий: https://t.me/sberloga
Присоединяйтесь к тг чату @kg_course для дополнительноной…
🚀 @sberloga продолжает серию онлайн докладов по NLP (Natural Language Processing)
👨🔬 Андрей Козлюк (@FutorioFranklin (ПрессИндекс)) "TinyBert: 7.5x smaller and 9.4x faster"
⌚️ Четверг 10 июня 19.00 по Москве
Доклад посвящен методам дистилляции языковых моделей на основе архитектуры Трансформер. Мы уделим особое внимание одному из методов, лежащему в основе модели TinyBERT. В основе доклада лежит код: https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT
Ссылка на зум будет доступна через тг чат https://t.me/sberlogadataclub ближе к началу доклада.
ПС
Далее: 17 июня Игорь Шаталин (Human Cosmos) "Разрешение кореферентности для русского языка"
👨🔬 Андрей Козлюк (@FutorioFranklin (ПрессИндекс)) "TinyBert: 7.5x smaller and 9.4x faster"
⌚️ Четверг 10 июня 19.00 по Москве
Доклад посвящен методам дистилляции языковых моделей на основе архитектуры Трансформер. Мы уделим особое внимание одному из методов, лежащему в основе модели TinyBERT. В основе доклада лежит код: https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT
Ссылка на зум будет доступна через тг чат https://t.me/sberlogadataclub ближе к началу доклада.
ПС
Далее: 17 июня Игорь Шаталин (Human Cosmos) "Разрешение кореферентности для русского языка"
GitHub
Pretrained-Language-Model/TinyBERT at master · huawei-noah/Pretrained-Language-Model
Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab. - huawei-noah/Pretrained-Language-Model
🚀 @sberloga продолжаем обсуждение курса Knowledge Graphs от М. Галкина
👨🔬 Лекция 7 "Knowledge Graph Embeddings"
⌚️ Вторник 15 июня 19.00 по Москве
Лекция о алгоритмах эмбеддингов для графов знаний и задачи предсказания связей (link prediction). Сначала сформулируем задачу (которая похожа на ранжирование, а не на классификацию) и рассмотрим отличия от классических (unidirectional) графов из Л6.
Мы сосредоточимся на shallow decoder-only моделях трех семейств: факторизационные (Tensor Factorization), трансляционные (Translation) и нейросетевые (CNN и трансформер, куда без них). Затем посмотрим, как их тренировать и по каким метрикам оценивать , а потом и какие вообще современные бенчмарки для этого есть. В текстовом конспекте материалов почти на book chapter - длинный рулон с текстом, формулами и примерами.
Домашка сейчас содержит пару простых упражнений на арифметику комплексных чисел, колаб ноутбук с кодом будет скоро.
Ссылка: https://migalkin.github.io/kgcourse2021/lectures/lecture7
Видео: https://www.youtube.com/watch?v=YNX4hQsNfks
Ссылка на зум будет доступна через тг чат https://t.me/kg_course ближе к началу доклада.
👨🔬 Лекция 7 "Knowledge Graph Embeddings"
⌚️ Вторник 15 июня 19.00 по Москве
Лекция о алгоритмах эмбеддингов для графов знаний и задачи предсказания связей (link prediction). Сначала сформулируем задачу (которая похожа на ранжирование, а не на классификацию) и рассмотрим отличия от классических (unidirectional) графов из Л6.
Мы сосредоточимся на shallow decoder-only моделях трех семейств: факторизационные (Tensor Factorization), трансляционные (Translation) и нейросетевые (CNN и трансформер, куда без них). Затем посмотрим, как их тренировать и по каким метрикам оценивать , а потом и какие вообще современные бенчмарки для этого есть. В текстовом конспекте материалов почти на book chapter - длинный рулон с текстом, формулами и примерами.
Домашка сейчас содержит пару простых упражнений на арифметику комплексных чисел, колаб ноутбук с кодом будет скоро.
Ссылка: https://migalkin.github.io/kgcourse2021/lectures/lecture7
Видео: https://www.youtube.com/watch?v=YNX4hQsNfks
Ссылка на зум будет доступна через тг чат https://t.me/kg_course ближе к началу доклада.
KG Course 2021
Лекция 7
Knowledge Graph Embeddings
🚀 Онлайн DS доклад от @SBERLOGA
👨🔬 Анвар Курмуков (Сбер Институт Искусственного Интеллекта, ВШЭ, ИППИ) "Проблемы Deep learning/Computer Vision при анализе медицинских изображений."
⌚️ Четверг 17 июня, 19.00 по Москве
Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
👨🔬 Анвар Курмуков (Сбер Институт Искусственного Интеллекта, ВШЭ, ИППИ) "Проблемы Deep learning/Computer Vision при анализе медицинских изображений."
⌚️ Четверг 17 июня, 19.00 по Москве
Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
🚀 Онлайн DS доклад от @SBERLOGA
👨🔬 Алексей Тихонов (Яндекс) "Систематический анализ метрик кластерной близости"
⌚️ Вторник 22 июня, 19.00 по Москве
Доклад основан на работе https://arxiv.org/abs/1911.04773 недавно принятой на ICML 2021. Существует много метрик (индексов) для сравнения различных кластеризаций одного датасета, и выбор лучшей из них для конкретной задачи остается открытой проблемой. Мы демонстрируем, что эта проблема имеет решающее значение: имеется много разногласий между метриками (индексами), эти разногласия действительно влияют на то, какие алгоритмы предпочтительнее в приложениях, и это может привести к снижению производительности в реальных системах. Мы предлагаем теоретическую основу для решения этой проблемы: разрабатываем список желаемых свойств и проводим обширный теоретический анализ, чтобы проверить, какие индексы им удовлетворяют. Это позволяет сделать осознанный выбор: для конкретного приложения можно сначала выбрать свойства, которые желательны для задачи, а затем определить удовлетворяющие им индексы. Наша работа объединяет и значительно расширяет существующие попытки анализа индексов сходства кластеров: мы вводим новые свойства, формализуем существующие и математически подтверждаем или опровергаем каждое свойство для обширного списка индексов валидации. Этот более широкий и более строгий подход приводит к рекомендациям, которые значительно отличаются от того, как индексы валидации в настоящее время выбираются практиками. Показано, что в некоторых из самых популярных индексов даже преобладают индексы, на которые ранее не обращали внимания.
PS
Также Алексей является автором одного из наиболее популярных каналов в тг по анализу данных "Жалкие низкочастотники" и соавтором лучшего канала с разбором МЛ-статей "gonzo-обзоры ML статей".
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
👨🔬 Алексей Тихонов (Яндекс) "Систематический анализ метрик кластерной близости"
⌚️ Вторник 22 июня, 19.00 по Москве
Доклад основан на работе https://arxiv.org/abs/1911.04773 недавно принятой на ICML 2021. Существует много метрик (индексов) для сравнения различных кластеризаций одного датасета, и выбор лучшей из них для конкретной задачи остается открытой проблемой. Мы демонстрируем, что эта проблема имеет решающее значение: имеется много разногласий между метриками (индексами), эти разногласия действительно влияют на то, какие алгоритмы предпочтительнее в приложениях, и это может привести к снижению производительности в реальных системах. Мы предлагаем теоретическую основу для решения этой проблемы: разрабатываем список желаемых свойств и проводим обширный теоретический анализ, чтобы проверить, какие индексы им удовлетворяют. Это позволяет сделать осознанный выбор: для конкретного приложения можно сначала выбрать свойства, которые желательны для задачи, а затем определить удовлетворяющие им индексы. Наша работа объединяет и значительно расширяет существующие попытки анализа индексов сходства кластеров: мы вводим новые свойства, формализуем существующие и математически подтверждаем или опровергаем каждое свойство для обширного списка индексов валидации. Этот более широкий и более строгий подход приводит к рекомендациям, которые значительно отличаются от того, как индексы валидации в настоящее время выбираются практиками. Показано, что в некоторых из самых популярных индексов даже преобладают индексы, на которые ранее не обращали внимания.
PS
Также Алексей является автором одного из наиболее популярных каналов в тг по анализу данных "Жалкие низкочастотники" и соавтором лучшего канала с разбором МЛ-статей "gonzo-обзоры ML статей".
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
Telegram
Жалкие низкочастотники
Реклама не продаётся и не покупается!
Это мой персональный канал безумных ссылок. Ожидаются: безумные картинки, странная математика, кибернекрофилия, нёрдовский юмор. Правила: https://t.me/pathetic_low_freq/285
Это мой персональный канал безумных ссылок. Ожидаются: безумные картинки, странная математика, кибернекрофилия, нёрдовский юмор. Правила: https://t.me/pathetic_low_freq/285
🚀 @SBERLOGA продолжает онлайны доклады по NLP (Natural Language Processing)
👨🔬 Андрей Лукьяненко (MTC AИ) "Практические аспекты работы с задачей NER"
⌚️ Четверг 24 июня, 19.00 по Москве
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
Тем не менее в проектах не всегда есть возможность использовать эти модели - например из-за инфраструктурных ограничений или из-за недостатка размеченных данных. В таких случаях весьма хорошие результаты могут показать подходы попроще.
В этом докладе я вначале расскажу о постановке задачи NER, схемах разметки и способах оценки качества моделей. Затем продемонстрирую различные подходы к построению моделей и в заключение дам советы о том, как можно улучшить качество таких подходов.
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogadataclub ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
PSPS
Далее: 1 июля Александр Абрамов "Обучение универсальной модели NLU c BERT и Multitask Learning"
https://m.habr.com/ru/company/sberdevices/blog/560748/
👨🔬 Андрей Лукьяненко (MTC AИ) "Практические аспекты работы с задачей NER"
⌚️ Четверг 24 июня, 19.00 по Москве
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
Тем не менее в проектах не всегда есть возможность использовать эти модели - например из-за инфраструктурных ограничений или из-за недостатка размеченных данных. В таких случаях весьма хорошие результаты могут показать подходы попроще.
В этом докладе я вначале расскажу о постановке задачи NER, схемах разметки и способах оценки качества моделей. Затем продемонстрирую различные подходы к построению моделей и в заключение дам советы о том, как можно улучшить качество таких подходов.
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogadataclub ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
PSPS
Далее: 1 июля Александр Абрамов "Обучение универсальной модели NLU c BERT и Multitask Learning"
https://m.habr.com/ru/company/sberdevices/blog/560748/
Telegram
Sberloga in Data
Data Сообщество
По всем вопросам обращаться @SberlogaHelperBot
По всем вопросам обращаться @SberlogaHelperBot
Ребята,
Выкладываем доклад с прошлой недели
Проблемы Deep learning/Computer Vision при анализе медицинских изображений - Анвар Курмуков
https://youtu.be/VHnAf8UsHzs
Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)
📝 Материалы:
https://docs.google.com/presentation/d/1NxB8tGpguQbRa_n-Nbu_SQo1JX9BGLzzwVNbXoVT3BU/edit?usp=sharing
📢 Смотреть наши другие доклыды:
https://www.youtube.com/c/SBERLOGA
🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub
@sberloga
Выкладываем доклад с прошлой недели
Проблемы Deep learning/Computer Vision при анализе медицинских изображений - Анвар Курмуков
https://youtu.be/VHnAf8UsHzs
Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)
📝 Материалы:
https://docs.google.com/presentation/d/1NxB8tGpguQbRa_n-Nbu_SQo1JX9BGLzzwVNbXoVT3BU/edit?usp=sharing
📢 Смотреть наши другие доклыды:
https://www.youtube.com/c/SBERLOGA
🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub
@sberloga
YouTube
Проблемы Deep learning/Computer Vision при анализе медицинских изображений - Анвар Курмуков
Проблемы Deep learning/Computer Vision при анализе медицинских изображений - Анвар Курмуков
01:20 Виды неинвазивных медицинских визуализаций
03:10 Сходства снимков КТ и МРТ
07:50 3D изображения - стопки двумерных срезов
13:30 Резюме сходств КТ и МРТ
20:00…
01:20 Виды неинвазивных медицинских визуализаций
03:10 Сходства снимков КТ и МРТ
07:50 3D изображения - стопки двумерных срезов
13:30 Резюме сходств КТ и МРТ
20:00…
Ребята,
Выходные нужно проводить продуктивно - поэтому для вас выложили видео прошедшего доклада
Практические аспекты работы с задачей NER - Андрей Лукьяненко
https://youtu.be/WGZpsDSmHnE
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
Тем не менее в проектах не всегда есть возможность использовать эти модели - например из-за инфраструктурных ограничений или из-за недостатка размеченных данных. В таких случаях весьма хорошие результаты могут показать подходы попроще.
В этом докладе я вначале расскажу о постановке задачи NER, схемах разметки и способах оценки качества моделей. Затем продемонстрирую различные подходы к построению моделей и в заключение дам советы о том, как можно улучшить качество таких подходов.
📝 Материалы:
Презентация
https://slides.com/andreylukyanenko/deck-8f46e4
и ноутбук
https://github.com/Erlemar/Erlemar.github.io/blob/master/Notebooks/ner_sberloga.ipynb
https://www.kaggle.com/artgor/a-supplementary-notebook-for-my-talk-on-ner
📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий
https://t.me/sberloga
🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub
@sberloga
Выходные нужно проводить продуктивно - поэтому для вас выложили видео прошедшего доклада
Практические аспекты работы с задачей NER - Андрей Лукьяненко
https://youtu.be/WGZpsDSmHnE
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
Тем не менее в проектах не всегда есть возможность использовать эти модели - например из-за инфраструктурных ограничений или из-за недостатка размеченных данных. В таких случаях весьма хорошие результаты могут показать подходы попроще.
В этом докладе я вначале расскажу о постановке задачи NER, схемах разметки и способах оценки качества моделей. Затем продемонстрирую различные подходы к построению моделей и в заключение дам советы о том, как можно улучшить качество таких подходов.
📝 Материалы:
Презентация
https://slides.com/andreylukyanenko/deck-8f46e4
и ноутбук
https://github.com/Erlemar/Erlemar.github.io/blob/master/Notebooks/ner_sberloga.ipynb
https://www.kaggle.com/artgor/a-supplementary-notebook-for-my-talk-on-ner
📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий
https://t.me/sberloga
🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub
@sberloga
YouTube
Практические аспекты работы с задачей NER - Андрей Лукьяненко
Практические аспекты работы с задачей NER - Андрей Лукьяненко
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты…
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты…
🚀 @SBERLOGA - представляет два онлайн эвента за один раз
⌚️ Вторник 29 июня, 19.00 и 19.30 по Москве
⌚️ В 19.00 мы продолжим просмотр и обсуждение Лекция 7 "Knowledge Graph Embeddings" курса М.Галкина
👨🔬 В 19.30 Анвар Курмуков (Сбер, ВШЭ, ИППИ) сделает обзор свежей работы "Training Graph Neural Networks with 1000 Layers" (Accepted at ICML'2021)
https://arxiv.org/abs/2106.07476
Deep graph neural networks (GNNs) have achieved excellent results on various tasks on increasingly large graph datasets with millions of nodes and edges. However, memory complexity has become a major obstacle when training deep GNNs for practical applications due to the immense number of nodes, edges, and intermediate activations. To improve the scalability of GNNs, prior works propose smart graph sampling or partitioning strategies to train GNNs with a smaller set of nodes or sub-graphs. In this work, we study reversible connections, group convolutions, weight tying, and equilibrium models to advance the memory and parameter efficiency of GNNs. We find that reversible connections in combination with deep network architectures enable the training of overparameterized GNNs that significantly outperform existing methods on multiple datasets. Our models RevGNN-Deep (1001 layers with 80 channels each) and RevGNN-Wide (448 layers with 224 channels each) were both trained on a single commodity GPU and achieve an ROC-AUC of 87.74±0.13 and 88.24±0.15 on the ogbn-proteins dataset. To the best of our knowledge, RevGNN-Deep is the deepest GNN in the literature by one order of magnitude. Please visit our project website this https URL for more information.
Код доступен на сайте: https://www.deepgcns.org/arch/gnn1000
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
⌚️ Вторник 29 июня, 19.00 и 19.30 по Москве
⌚️ В 19.00 мы продолжим просмотр и обсуждение Лекция 7 "Knowledge Graph Embeddings" курса М.Галкина
👨🔬 В 19.30 Анвар Курмуков (Сбер, ВШЭ, ИППИ) сделает обзор свежей работы "Training Graph Neural Networks with 1000 Layers" (Accepted at ICML'2021)
https://arxiv.org/abs/2106.07476
Deep graph neural networks (GNNs) have achieved excellent results on various tasks on increasingly large graph datasets with millions of nodes and edges. However, memory complexity has become a major obstacle when training deep GNNs for practical applications due to the immense number of nodes, edges, and intermediate activations. To improve the scalability of GNNs, prior works propose smart graph sampling or partitioning strategies to train GNNs with a smaller set of nodes or sub-graphs. In this work, we study reversible connections, group convolutions, weight tying, and equilibrium models to advance the memory and parameter efficiency of GNNs. We find that reversible connections in combination with deep network architectures enable the training of overparameterized GNNs that significantly outperform existing methods on multiple datasets. Our models RevGNN-Deep (1001 layers with 80 channels each) and RevGNN-Wide (448 layers with 224 channels each) were both trained on a single commodity GPU and achieve an ROC-AUC of 87.74±0.13 and 88.24±0.15 on the ogbn-proteins dataset. To the best of our knowledge, RevGNN-Deep is the deepest GNN in the literature by one order of magnitude. Please visit our project website this https URL for more information.
Код доступен на сайте: https://www.deepgcns.org/arch/gnn1000
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
www.deepgcns.org
DeepGCNs - GNN1000
Figure 1. ROC-AUC score vs. GPU memory consumption on the ogbn-proteins dataset. Reversible models consistently achieve the same or better performance as the baseline using only a fraction of the memory. Weight-tied and equilibrium models offer a good performance…
Сбер активно развивает направление дата-сайнс. Новый этап — создание "Института Искусственного Интеллекта AIRI". Цель института - проведение исследований мирового уровня по широкому профилю направлений в области дата-сайнс и на стыке с другими науками, в том числе с биоинформатикой.
В данный момент формируются команды, открыты вакансии, предлагается достойная оплата.
Более подробная информация в https://t.me/sberlogajobs/106, подписывайтесь на канал @sberlogajobs
ПС
По направлению анализа медицинских изображений можно ознакомиться с недавним докладом:
https://t.me/sberloga/79
видео запись: https://www.youtube.com/watch?v=VHnAf8UsHzs
и все вопросы уточнить у @anvarki
В данный момент формируются команды, открыты вакансии, предлагается достойная оплата.
Более подробная информация в https://t.me/sberlogajobs/106, подписывайтесь на канал @sberlogajobs
ПС
По направлению анализа медицинских изображений можно ознакомиться с недавним докладом:
https://t.me/sberloga/79
видео запись: https://www.youtube.com/watch?v=VHnAf8UsHzs
и все вопросы уточнить у @anvarki
Telegram
Sberloga Jobs
Несколько исследовательских позиций в Sber AIR Institute (Институт Искусственного Интеллекта)
Вилка ЗП: 180-450 т. руб., потенциально готовы рассматривать и большие вилки
Направления:
Scientist по направлению медицина
ML Researcher по обучению с подкреплением…
Вилка ЗП: 180-450 т. руб., потенциально готовы рассматривать и большие вилки
Направления:
Scientist по направлению медицина
ML Researcher по обучению с подкреплением…
🚀 @SBERLOGA - представляет два онлайн эвента за один раз
⌚️ Вторник 6 июля, 19.00 и 19.30 по Москве
⌚️ В 19.00 мы продолжим просмотр и обсуждение Лекция 7 "Knowledge Graph Embeddings" курса М.Галкина
👨🔬 В 19.30 доклад по граф-мл: Илья Сенаторов (Helmholtz Institute) "Предсказания взаимодействий молекул и белков с помощью глубокого обучения и графовых нейросетей"
Предсказание взаимодействия между белком и молекулой - нетривиальная задача, которая активно решается последние 5 лет. Множество подходов комбинируют машинное обучение с теорией графов для решение этой задачи. Однако датасеты, используемые для сравнения разных моделей сильно отличаются от датасетов которые встречаются в реальной жизни - они гораздо более полные и сбалансированые. В этой лекции я расскажу о проблемах, которые встречаются при попытке применить модели, натренированые на стандартных датасетах KIBA и Davis и способах их решения - weighted loss, biologically relevant protein graph augmentation и graph-level pre-training.
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
⌚️ Вторник 6 июля, 19.00 и 19.30 по Москве
⌚️ В 19.00 мы продолжим просмотр и обсуждение Лекция 7 "Knowledge Graph Embeddings" курса М.Галкина
👨🔬 В 19.30 доклад по граф-мл: Илья Сенаторов (Helmholtz Institute) "Предсказания взаимодействий молекул и белков с помощью глубокого обучения и графовых нейросетей"
Предсказание взаимодействия между белком и молекулой - нетривиальная задача, которая активно решается последние 5 лет. Множество подходов комбинируют машинное обучение с теорией графов для решение этой задачи. Однако датасеты, используемые для сравнения разных моделей сильно отличаются от датасетов которые встречаются в реальной жизни - они гораздо более полные и сбалансированые. В этой лекции я расскажу о проблемах, которые встречаются при попытке применить модели, натренированые на стандартных датасетах KIBA и Davis и способах их решения - weighted loss, biologically relevant protein graph augmentation и graph-level pre-training.
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
Telegram
Sberloga in Graphs
Data Сообщество
По всем вопросам обращаться @SberlogaHelperBot
По всем вопросам обращаться @SberlogaHelperBot