Видео запись прошедшего доклада:
From linear models through GCN to Attention - Anvar Kurmukov (AIRI)
https://www.youtube.com/watch?v=-hXUsOIcUqM

Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning.

📈Слайды
https://drive.google.com/file/d/1FQFrw0yaJG4qOm_huIylpRQm9PBrwH6G/view?usp=sharing

📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий
https://t.me/sberloga

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub

О зумбомберах.
Если вы проводите онлайн мероприятия и линки на них в открытом доступе, следует иметь ввиду, что можно столкнуться с такой проблемой - "зумбомберство".
Этот пост о нашем опыте и как с этим бороться - это не сложно, если быть готовым.

Вчера на доклад к нам опять пожаловали нежелательные гости - "зумбомберы", вероятно, подростки развлекаются тем, что находят открытые зум-линки и присоединившись, пытаются сорвать мероприятие. Первый раз это случилось год назад, мы были не готовы и доклад был сорван. Но подготовиться к такому достаточно просто и в этот раз были лишь не сильные неудобства. Следует иметь ввиду, что зумбомберы - в некоторой степени организованы, они координируют свои действия на сайтах типа "двача", кто-то из них находит ссылки, выкладывает их общий в доступ, "атаку" производят обычно несколько участников с разных экаунтов (обычно 2-3-4) , если вы удалили одного, это, обычно, не решает проблему - ждите, что через несколько минут начнет другой, потом третий. Это международное явление - даже есть статья в NY об этом и как с этим бороться: https://www.nytimes.com/2020/04/07/style/zoom-security-tips.html

Как бороться - кнопка "Security" - здесь ключевые настройки - здесь надо запретить (то есть НЕ должно быть "галок") - 1) шарить экран 2) Start video (1,2 вообще лучше делать сразу и всегда - после того как докладчик расшарил экран) 3) "unmute themselves" 4) Chat - можно запретить 1,2, 3 и 4 и тогда вам никакие зумбомберы не страшны, но теряется некоторый элемент интерактивности - участники не смогут задавать вопросы.

Если мы все-таки готовы чуток рискнуть, чтобы сохранить интерактивность доклада, то 1) или просить участников поднять руки (кнопка reactions) и давать слово тем кто поднял руку - если он это "бомбер", то удаляем его 2) или задавать вопросы в чате - опять же бомберы могут начать писать ерунду туда - удаляем раскрывшего себя бомбера 3) или - разрешаем всем себя анмьютить, но как только начинается "атака" первым делом убираем эту возможность и переходим к вариантам 1 или 2.

Ну и если началась атака, то лучше залокировать собрание или по крайней мере включить комнату ожидания (самые верхние пункты в меню "Security") - поскольку, когда вы удалили бомбера он пытается вернуться. Вчера бомберы удивили нас тем, что вернулись более чем через час после первой атаки.

Субботний нетворкинг.
Один из постов с канала Андрея @ml_world - посмотрите - это интересно: https://t.me/ml_world/846

Субботний нетворкинг. Если у вас есть интересный канал, блог, любой проект или активность - не стесняйтесь, расскажите о них.

Сегодня, разрешите вам представить несколько интереснейших каналов наших коллег, обязательно подписывайтесь:

@ml_world - на этом канале вы узнаете о топовых новостях из мира МЛ, новые СОТы для различных задач, ключевые статьи на NIPS, и многое другое ! Его ведёт Андрей - 20 лет в ИТ, РнД архитектор, в МЛ лет 5. Большой опыт в HL/HA, клаудах, децентрализации, немного в крипте и во многом другом. Подписывайтесь.

@datafeeling - на этом канале вы многое узнаете о соревнованиях по дата-сайнс от первого лица, eсли вам интересен kaggle и другие соревнование - подпишитесь. Его ведет Александр - выпускник МФТИ, он написал подробный пост о своем опыте за 2021 год в ОДС треде kaggle_crackers - "ODS2021AWARDS" - ссылка. Приятно, что подача материала в режиме один пост - одна мысль - подписывайтесь.

@o_fundamentalnom - это канал Валеры и для тех, кто давно в @sberloga этим всё сказано - первый доклад на @sberloga - доклад Валеры . К сожалению, Валера не часто пишет, но всегда очень интересно. Сам он представляет свой канал так - "Если это одновременно просто, важно, мощно, красиво, естественно, восхитительно, общо и всепронизывающе — или если для полного изъяснения вам не хватает языка и вы вдруг находите его в каком-то диалекте математики — значит это о фундаментальном." Подписывайтесь !

❗️Важно:

1) @Sberloga ищет докладчиков:

Многие участники нашего комьюнити @sberloga, делают интересные проекты и было бы замечательно послушать их доклады. Это могут быть как оригинальные результаты, так и обучающие лекции, которые полезны комьюнити.

Пожалуйста, проголосуйте, по срокам, когда Вы могли бы сделать доклад. По любому из направлений - дата сайнс, биоинформатика/биология, ИТ, математика, физика, экономика/финансы.

Главное - НЕ СТЕСНЯЙТЕСЬ - не думайте, что Вам нечего рассказать ! Если вы колеблетесь - всё равно - проголосуйте , а там - разберемся, если передумаете или сроки изменятся - ничего страшного - это предварительный список - потом можно изменить.

————————————————————

2) @Sberloga ищет организаторов:

Также, у нас просьба - если кто-то готов помогать нам организовывать доклады - нам нужно несколько добровольцев. Кроме как плюс в карму сложно обещать что-то за такие усилия, но, возможно, дополнительным плюсом такой активности может являться некоторый нетворкинг - нам самим всегда была полезна возможность приглашать на доклад замечательных людей - это создает некоторые связи, которые могут быть полезны в будущем, а кроме того - всегда можно звать на доклад тех, кого самому интересно послушать, но сложно достать другим способом. Так или иначе - будем рады если кто-то откликнется на наш призыв !

Голосование доступно по любой из ссылок: https://t.me/sberlogadataclub/12038
https://t.me/sberlogawithgraphs/20235
https://t.me/sberlogabio/18140
- телеграм не позволяет размещать неанонинмые голосования в каналах (в отличии от чатов), поэтому так.

Видео запись прошедшего доклада:
Намедни-2021 в GraphML - М. Галкин, А. Цицулин, А. Курмуков
https://youtu.be/s3Cc3Uo4smE

Aбстракт доклада:
Cобытия, люди, явления, определившие ход жизни в граф мл. То, без чего нас невозможно представить и еще тяжелее понять. Очередной год, очередной дайджест.

📈 Слайды
https://drive.google.com/file/d/1Xs2tYk_E-6N73VZoydUMhgB-lDtwf1cB/view?usp=sharing

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogawithgraphs

Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))

Кому именно достанется приз - решать вам - голосуйте ! Голосование в телеграмме ограничено 10 пунктами, поэтому в списке только 10 последних докладов. Все доклады были замечательные и выбор наилучшего - всего лишь геймификация - а главное давайте вспомним, тех кто старался поделиться с нами своими знаниями и опытом - и не забывайте ставить лайки под видео докладов на ютубе.

Голосование пройдет в двух номинациях - доклады по биоинформатике , и доклады по дата-сайнс.
Вот десять последних докладов на @Sberloga по дата-сайнс - голосуйте, кто понравился вам больше - тот получит приз.

Голосование в посте - https://t.me/sberloga/193 ( оно анонимное ).

1 From linear models through GCN to Attention - Anvar Kurmukov (AIRI)
https://www.youtube.com/watch?v=-hXUsOIcUqM

2 “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков
https://youtu.be/s3Cc3Uo4smE

3 Современные Хопфилдовские Нейронные Сети - Кротов Дмитрий (MIT-IBM Watson AI Lab, IBM Research)
https://youtu.be/NHIZwWYQwCM

4 О математике метода симулированного отжига - Илья Павлюкевич (Prof. Dr. Universität Jena)
https://youtu.be/RwKlG5Xh5PQ

5 Визуализация данных в Data Science - Андрей Лукьяненко (МТС AI)
https://youtu.be/sbrAY1TObmc

6 Self-supervised обучение для последовательных данных - Алексей Зайцев (Skoltech):
Чуть позже выложим на Ютуб - произошла накладка - разбираемся.

7 Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов - Руслан Лукин
https://youtu.be/bfFK1K4ENDY

8 Новые методы поиска сущностей в графах знаний - Фёдор Николаев (Иннополис)
https://youtu.be/XFfDcjSTr8M

9 Git hooks is all you need - Дани Эль-Айясс (Sber)
https://youtu.be/92OMAtdVIAs

10 Введение в ворд2век - Фарид Хафизов
https://youtu.be/RRZQy-IUK9Y

Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))

2021 год близится к завершению, у нас было много замечательных докладов, и самое время вспомнить их. А чтобы придать элемент геймификации мы договорились с замечательной командой https://shop.pcr.news, которая предоставит нам призы. Кому именно достанутся призы - решать вам - голосуйте ! Подробности в следующем посте.

Коллеги из https://shop.pcr.news сделали замечательную вещь - если вы хотите подарить подарок, чтобы он был практичным, но красивым и оригинальным ? Такой вопрос обычно ставит в тупик.

Коллеги создали коллекции - одежды, украшения, подарки, аксессуары - которые с одной стороны практичны, а с другой стороны они не дадут вам забыть о любимой науке и ваши любимые формулы - будут всегда рядом.

ДНК на футболке и антитело на цепочке 🧬 — https://shop.pcr.news For science lovers❤️

Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Boris Burkov
https://youtu.be/t9WgWZuT9t8

Aбстракт доклада:
Целеполагание ключевых модулей системы, а также ряд инженерных приемов:
- Исходные данные и общий поток информации в системе: выравнивания, hmmer, uniprot/mgnify/BFD, pdb, шаблоны структур.
- Архитектура нейросетевой части с высоты птичьего полета: Evoformer и структурный модуль.
- Evoformer: дистограммы из выравнивания через внешнее произведение и gated self-attention, условная оптимизация и соблюдения неравенств треугольника с помощью triangle self-attention
- Структурный модуль: механика постепенного сворачивания белка, Invariant Point Attention (IPA), SE(3)-эквивариантность
- Frame Aligned Point Error (FAPE) и дополнительные лоссы
- recylcing и самодистилляция

📈 Слайды
http://borisburkov.net/2021-12-25-1/

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogabio

Transformer architecture - Boris Burkov
https://youtu.be/XLNZ0wG3fQw

Aбстракт доклада:
Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning. Часть вторая.

📈 Слайды
https://github.com/BurkovBA/attention-talk/blob/main/attention.ipynb

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogawithgraphs

Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))

Вторая номинация - биоинформатика.
Аналогично предыдущей - 10 последних докладов, небольшое изменение - голосовать можно за несколько пунктов,
есть мнение, что это может давать более справедливые результаты.
Голосование в посте: https://t.me/sberloga/196 , предыдущее голосование по номинации - доклады по дата-сайнс - https://t.me/sberloga/193.

Вот список с линками на видео записи - не забывайте подписываться на https://www.youtube.com/c/sberloga и ставить лайки !

1 Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Борис Бурков
https://youtu.be/t9WgWZuT9t8

2 Нейронаука — задачи для теоретической физики и анализа больших данных - Александр Горский (ИППИ РАН)
Видео запись скоро появится на канале https://www.youtube.com/c/sberloga - подписывайтесь

3 Иммунный ответ в раке. Как это работает и не работает - Мария Кондратова (Lille University)
https://youtu.be/oS6T5KYClYg

4 Подтипы микроокружения DLBCL - Никита Котлов (BostonGene)
https://youtu.be/ww2wehLe3Yg

5 Генетический паспорт - Александр Ракитько (Genotek)
https://youtu.be/EzcEmor-6gY

6 Различные задачи геномики, решающиеся с помощью задачи разладки - Всеволод Макеев (ИОГен РАН)
https://youtu.be/x2wVsrmP85Q

7 Аспекты производства и моделирования данных РНК-секвенирования одиночных клеток - Александр Ташкеев (University of Liege)
https://youtu.be/aMY3jENGwSQ

8 Биология на графах. Графы 'взаимодействия' генов на основе NLP анализа текстов - Антон Костин (МФТИ)
https://youtu.be/vw10_9j3Lig

9 Новые работы по АльфаФолду - к.б.н А. Залевский (ИБХ РАН) и Д. Иванков (Сколково)
https://youtu.be/hdtY4wJa92w

10 Инструменты для понимания межклеточных взаимодействий по данным SC RNA-Seq - В. А. Шитов (СибГМУ)
https://youtu.be/O43nS6gOWEc

В уходящем году было много замечательных докладов на @Sberloga, огромное СПАСИБО всем докладчикам и всем слушателям !

Наш шутливое голосование - на приз зрительских симпатий от https://shop.pcr.news. Выявило следующих фаворитов: в номинции дата-сайнс побеждает Руслан Лукин (Иннополис) Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов
https://youtu.be/bfFK1K4ENDY

Мы уже (https://t.me/sberloga/180) поздравляли Руслана и его команду - они заняли престижное второе место на международном конкурсе Open Catalyst Challenge, организованного Meta AI (Facebook AI Research), в котором участвовали 30 команд. А теперь поздравляем с призом зрительских симпатий !

В замечательном докладе обзоре “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков https://youtu.be/s3Cc3Uo4smE (который вышел на второе место в голосовалке) , один из слайдов - о результате Руслана. Английскую версию обзора в своем твиттер Petar Veličković (DeepMind) назвал как must read. Так что кто не успел на этот доклад - всем рекомендуем (вместе с Petar Veličković - одним из лучших спецов в ГрафМЛ в мире ) !

В номинации биоинформатика у нас в последние моменты образовалось два лидера - Борис Буков - Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии https://youtu.be/t9WgWZuT9t8
и Никита Котлов (BostonGene) Подтипы микроокружения DLBCL - https://youtu.be/ww2wehLe3Yg
Но поскольку Борис оказался на пьедестале первым, а приз один - то приз достанется ему.

Все доклады были замечательные ! И еще раз огромное спасибо докладчикам и слушателям, присоединяйтесь к докладам в новом году !

@Sberloga поздравляет всех с наступающим Новым Годом ! Желаем всем огромных успехов, побед, достижений, бонусов, а главное счастья и здоровья !

Медалей с каггл, Дед Мороз пусть принесёт !
Побед на Dream Challenges , Дед Мороз пусть не забудет !
Хакатоны будут взяты , статьи на NIPS все приняты !

Есть такая Сберовская байка - какой день самый счастливый - тот день когда дают бонус )))) Весь Сбер ходит со счастливой улыбкой, все люди - братья и сестры, довольны и счастливы. Пусть Дед Мороз сделает так, чтобы мы каждый день чувствовали себя так - как будто сегодня получен бонус )))

Еще раз - с Новым Годом (от Бостон Динамикс и @Sberloga )))

Twitter и вокруг него: наши цели на 2022; наши докладчики и Ян ЛеКун.

Во-первых у @Sberloga появился Twitter - https://twitter.com/sberloga - прямо также @Sberloga - только в Twitter - подписывайтесь, лайкайте, ретвитьте - сделаете нам Новогодний подарок. Зачем кому-либо Twitter ? Многие ученые и специалисты в дата-сайнс, биоинформатике и других областях ведут Twitter. Даже если вы сами не планируете ничего писать - Twitter - очень удобен, чтобы отслеживать новые статьи, конференции, вакансии и прочее - просто подпишитесь на тех специалистов, которые вам нравятся. Кроме того рекомендательная система Twitter сама будет подсказывать вам полезные посты и людей на кого подписаться. А "Твитториалы" - то есть серия коротких постов с изложением основных идей статей - вообще бесподобная вещь.

Во-вторых давайте поставим себе цель на 2022 - зазвать на доклад на @Sberloga известного ученого не из наших краев. И тут Twitter и ваши подписки, ретвиты и лайки вполне помогут - поскольку это повышает вероятность того, что @Sberloga будет замечена и согласиться выступать на площадке, о который ты что-то знаешь намного легче, чем неизвестно где.

В-третьих Ян ЛеКун (один из самых известных людей в МЛ, один из "отцов" дип ленинг революции, глава МЛ в Facebook, etc.,etc.,) в своем недавнем твите похвалил и ретвитнул обзор с итогом графМЛ за 2021 от М.Галкина и его коллег ! Поздравляем коллег с этим ! Русскую версию они рассказывали у нас на @Sberloga - кто не успел на доклад - очень рекомендуем видео запись - https://youtu.be/s3Cc3Uo4smE .

В-четвертых - оставляйте в комментах к этому посту ваших любимых Твит авторов - давайте соберем коллекцию.

🚀 @SBERLOGA online seminar on machine learning:
👨‍🔬 Анвар Курмуков (Институт искусственного интеллекта AIRI)
«Vision Transformer (ViT)»
⌚️ Четверг 6 января, 18.00 по Москве

Продолжаем развивать тему трансформеров и их использования в задачах машинного обучения. На этот раз обсудим их применение в работе с изображениями.

❔Могут ли трансформеры заменить свёртки? Какие проблемы это создаст? Ответы на эти и другие вопросы вы получите на нашем следующем семинаре!

❕Для упрощения понимания, рекомендуем ознакомиться с недавними докладами Анвара Курмукова «From linear models through GCN to Attention» https://youtu.be/-hXUsOIcUqM и Бориса Буркова «Разбор алгоритмов и идей DeepMind AplhaFold2 с позиции ML-инженерии» https://youtu.be/XLNZ0wG3fQw

Подписывайтесь на каналы тг: @sberloga, Ютуб: https://www.youtube.com/c/sberloga - топовые онлайн доклады каждую неделю! @sberlogajobs - вакансии.

Ссылка на зум будет доступна в чатах: https://t.me/sberlogadataclub ближе к началу доклада.