ml.log | AI, ML & MLOps
2.49K subscribers
245 photos
44 videos
8 files
274 links
Честно про ML, данные и продакшн-код. Разборы собеседований, архитектура и живые кейсы без идеализаций
Download Telegram
🚀 @SBERLOGA online seminar on machine learning/bioinformatics:
👨‍🔬 Александр Горский (ИППИ РАН) “Нейронаука — задачи для теоретической физики и анализа больших данных.”
⌚️ Четверг 23 декабря, 18.00 по Москве

В докладе будут рассмотрены ключевые вопросы теории мозга, которые инициированы современными исследованиями. Они включают в себя исследование коннектома методами случайных сетей, изучение зависимости явления синхронизации нейронов от структурного и функционального коннектомов. Также будут обсуждены вопросы , связанные с предполагаемой околокритичностью состояния мозга и его термодинамическими свойствами. Мы обсудим применение методов анализа больших данных к нейронауке; редукцию размерности и топологический анализ данных.

О докладчике: д.ф.-м.н. А. Горский - выдающийся теор.физик, работы которого цитированы многие тысячи раз.

Подписывайтесь на каналы тг: @sberloga, Ютуб: SBERLOGA - топовые доклады каждую неделю! @sberlogajobs - вакансии.

Зум линк - в чате: @sberlogabio перед докладом.
@SBERLOGA искренне поздравляет нашего докладчика Руслана Лукина и его команду - они заняли престижное второе место на международном конкурсе Open Catalyst Challenge, организованного Meta AI (Facebook AI Research), в котором участвовали 30 команд.

Видео доклада Руслана на @sberloga:
https://www.youtube.com/watch?v=bfFK1K4ENDY

"ТАСС уполномочен заявить:"
(https://tass.ru/ekonomika/13169683) "Специалисты Университета Иннополис уступили только команде из Microsoft Research. Участники Open Catalyst Challenge разрабатывали алгоритмы по применению глубокого обучения для квантовой химии и поиска катализаторов для возобновляемой энергетики".

Руслан: "Во время конкурса мы построили модели на основе графовых нейросетей с передачей информации для предсказания энергии адсорбции из структуры катализатора и реагента. С помощью этого можно найти катализаторы, которые позволят сделать эти процессы возможными, а также отобрать среди огромного пространства катализаторов..."
Открыта запись на курс «Анализ NGS-данных»!

С 24 января по 4 февраля 2022 года ждём вас на десятидневном интенсиве, где мы разберем основные типы NGS-данных, а также продвинутые технологии — секвенирование единичных клеток и нанопоровое секвенирование.

Подробная программа тут

После курса вы:

— сможете запускать базовые анализы по современным пайплайнам и будете понимать пользу и ограничения разных разделов NGS;
— получите материалы с расшифровкой основных терминов, указанием программ обработки данных и полезными советами по каждой теме;
— научитесь формулировать задачи биоинформатикам (или самому себе), будете представлять, сколько времени и сил требуется для выполнения конкретных задач.

До 20 декабря можно занять место на курсе по сниженной цене раннего бронирования! Также мы сохранили скидки для студентов и аспирантов:)
🚀 @SBERLOGA online seminar on ML/bioinformatics:
👨‍🔬 Борис Бурков (http://borisburkov.net/ , @BorisBurkov) “Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии.”
⌚️ Пятница 24 декабря, 18.00 по Москве

Целеполагание ключевых модулей системы, а также ряд инженерных приемов:
- Исходные данные и общий поток информации в системе: выравнивания, hmmer, uniprot/mgnify/BFD, pdb, шаблоны структур.
- Архитектура нейросетевой части с высоты птичьего полета: Evoformer и структурный модуль.
- Evoformer: дистограммы из выравнивания через внешнее произведение и gated self-attention, условная оптимизация и соблюдения неравенств треугольника с помощью triangle self-attention
- Структурный модуль: механика постепенного сворачивания белка, Invariant Point Attention (IPA), SE(3)-эквивариантность
- Frame Aligned Point Error (FAPE) и дополнительные лоссы
- recylcing и самодистилляция

Подписывайтесь на: @sberloga, Ютуб: SBERLOGA - топовые доклады! @sberlogajobs - вакансии.

Зум линк - в чате: @sberlogabio
Видео запись прошедшего доклада:
From linear models through GCN to Attention - Anvar Kurmukov (AIRI)
https://www.youtube.com/watch?v=-hXUsOIcUqM

Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning.

📈Слайды
https://drive.google.com/file/d/1FQFrw0yaJG4qOm_huIylpRQm9PBrwH6G/view?usp=sharing

📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий
https://t.me/sberloga

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogadataclub
О зумбомберах.
Если вы проводите онлайн мероприятия и линки на них в открытом доступе, следует иметь ввиду, что можно столкнуться с такой проблемой - "зумбомберство".
Этот пост о нашем опыте и как с этим бороться - это не сложно, если быть готовым.

Вчера на доклад к нам опять пожаловали нежелательные гости - "зумбомберы", вероятно, подростки развлекаются тем, что находят открытые зум-линки и присоединившись, пытаются сорвать мероприятие. Первый раз это случилось год назад, мы были не готовы и доклад был сорван. Но подготовиться к такому достаточно просто и в этот раз были лишь не сильные неудобства. Следует иметь ввиду, что зумбомберы - в некоторой степени организованы, они координируют свои действия на сайтах типа "двача", кто-то из них находит ссылки, выкладывает их общий в доступ, "атаку" производят обычно несколько участников с разных экаунтов (обычно 2-3-4) , если вы удалили одного, это, обычно, не решает проблему - ждите, что через несколько минут начнет другой, потом третий. Это международное явление - даже есть статья в NY об этом и как с этим бороться: https://www.nytimes.com/2020/04/07/style/zoom-security-tips.html

Как бороться - кнопка "Security" - здесь ключевые настройки - здесь надо запретить (то есть НЕ должно быть "галок") - 1) шарить экран 2) Start video (1,2 вообще лучше делать сразу и всегда - после того как докладчик расшарил экран) 3) "unmute themselves" 4) Chat - можно запретить 1,2, 3 и 4 и тогда вам никакие зумбомберы не страшны, но теряется некоторый элемент интерактивности - участники не смогут задавать вопросы.

Если мы все-таки готовы чуток рискнуть, чтобы сохранить интерактивность доклада, то 1) или просить участников поднять руки (кнопка reactions) и давать слово тем кто поднял руку - если он это "бомбер", то удаляем его 2) или задавать вопросы в чате - опять же бомберы могут начать писать ерунду туда - удаляем раскрывшего себя бомбера 3) или - разрешаем всем себя анмьютить, но как только начинается "атака" первым делом убираем эту возможность и переходим к вариантам 1 или 2.

Ну и если началась атака, то лучше залокировать собрание или по крайней мере включить комнату ожидания (самые верхние пункты в меню "Security") - поскольку, когда вы удалили бомбера он пытается вернуться. Вчера бомберы удивили нас тем, что вернулись более чем через час после первой атаки.
Субботний нетворкинг. Если у вас есть интересный канал, блог, любой проект или активность - не стесняйтесь, расскажите о них.

Сегодня, разрешите вам представить несколько интереснейших каналов наших коллег, обязательно подписывайтесь:

@ml_world - на этом канале вы узнаете о топовых новостях из мира МЛ, новые СОТы для различных задач, ключевые статьи на NIPS, и многое другое ! Его ведёт Андрей - 20 лет в ИТ, РнД архитектор, в МЛ лет 5. Большой опыт в HL/HA, клаудах, децентрализации, немного в крипте и во многом другом. Подписывайтесь.

@datafeeling - на этом канале вы многое узнаете о соревнованиях по дата-сайнс от первого лица, eсли вам интересен kaggle и другие соревнование - подпишитесь. Его ведет Александр - выпускник МФТИ, он написал подробный пост о своем опыте за 2021 год в ОДС треде kaggle_crackers - "ODS2021AWARDS" - ссылка. Приятно, что подача материала в режиме один пост - одна мысль - подписывайтесь.

@o_fundamentalnom - это канал Валеры и для тех, кто давно в @sberloga этим всё сказано - первый доклад на @sberloga - доклад Валеры . К сожалению, Валера не часто пишет, но всегда очень интересно. Сам он представляет свой канал так - "Если это одновременно просто, важно, мощно, красиво, естественно, восхитительно, общо и всепронизывающе — или если для полного изъяснения вам не хватает языка и вы вдруг находите его в каком-то диалекте математики — значит это о фундаментальном." Подписывайтесь !
❗️Важно:

1) @Sberloga ищет докладчиков:

Многие участники нашего комьюнити @sberloga, делают интересные проекты и было бы замечательно послушать их доклады. Это могут быть как оригинальные результаты, так и обучающие лекции, которые полезны комьюнити.

Пожалуйста, проголосуйте, по срокам, когда Вы могли бы сделать доклад. По любому из направлений - дата сайнс, биоинформатика/биология, ИТ, математика, физика, экономика/финансы.

Главное - НЕ СТЕСНЯЙТЕСЬ - не думайте, что Вам нечего рассказать ! Если вы колеблетесь - всё равно - проголосуйте , а там - разберемся, если передумаете или сроки изменятся - ничего страшного - это предварительный список - потом можно изменить.

————————————————————

2) @Sberloga ищет организаторов:

Также, у нас просьба - если кто-то готов помогать нам организовывать доклады - нам нужно несколько добровольцев. Кроме как плюс в карму сложно обещать что-то за такие усилия, но, возможно, дополнительным плюсом такой активности может являться некоторый нетворкинг - нам самим всегда была полезна возможность приглашать на доклад замечательных людей - это создает некоторые связи, которые могут быть полезны в будущем, а кроме того - всегда можно звать на доклад тех, кого самому интересно послушать, но сложно достать другим способом. Так или иначе - будем рады если кто-то откликнется на наш призыв !

Голосование доступно по любой из ссылок: https://t.me/sberlogadataclub/12038
https://t.me/sberlogawithgraphs/20235
https://t.me/sberlogabio/18140
- телеграм не позволяет размещать неанонинмые голосования в каналах (в отличии от чатов), поэтому так.
Видео запись прошедшего доклада:
Намедни-2021 в GraphML - М. Галкин, А. Цицулин, А. Курмуков
https://youtu.be/s3Cc3Uo4smE

Aбстракт доклада:
Cобытия, люди, явления, определившие ход жизни в граф мл. То, без чего нас невозможно представить и еще тяжелее понять. Очередной год, очередной дайджест.

📈 Слайды
https://drive.google.com/file/d/1Xs2tYk_E-6N73VZoydUMhgB-lDtwf1cB/view?usp=sharing

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogawithgraphs
Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))

Кому именно достанется приз - решать вам - голосуйте ! Голосование в телеграмме ограничено 10 пунктами, поэтому в списке только 10 последних докладов. Все доклады были замечательные и выбор наилучшего - всего лишь геймификация - а главное давайте вспомним, тех кто старался поделиться с нами своими знаниями и опытом - и не забывайте ставить лайки под видео докладов на ютубе.

Голосование пройдет в двух номинациях - доклады по биоинформатике , и доклады по дата-сайнс.
Вот десять последних докладов на @Sberloga по дата-сайнс - голосуйте, кто понравился вам больше - тот получит приз.

Голосование в посте - https://t.me/sberloga/193 ( оно анонимное ).

1 From linear models through GCN to Attention - Anvar Kurmukov (AIRI)
https://www.youtube.com/watch?v=-hXUsOIcUqM

2 “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков
https://youtu.be/s3Cc3Uo4smE

3 Современные Хопфилдовские Нейронные Сети - Кротов Дмитрий (MIT-IBM Watson AI Lab, IBM Research)
https://youtu.be/NHIZwWYQwCM

4 О математике метода симулированного отжига - Илья Павлюкевич (Prof. Dr. Universität Jena)
https://youtu.be/RwKlG5Xh5PQ

5 Визуализация данных в Data Science - Андрей Лукьяненко (МТС AI)
https://youtu.be/sbrAY1TObmc

6 Self-supervised обучение для последовательных данных - Алексей Зайцев (Skoltech):
Чуть позже выложим на Ютуб - произошла накладка - разбираемся.

7 Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов - Руслан Лукин
https://youtu.be/bfFK1K4ENDY

8 Новые методы поиска сущностей в графах знаний - Фёдор Николаев (Иннополис)
https://youtu.be/XFfDcjSTr8M

9 Git hooks is all you need - Дани Эль-Айясс (Sber)
https://youtu.be/92OMAtdVIAs

10 Введение в ворд2век - Фарид Хафизов
https://youtu.be/RRZQy-IUK9Y
👍1🤩1
Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))

2021 год близится к завершению, у нас было много замечательных докладов, и самое время вспомнить их. А чтобы придать элемент геймификации мы договорились с замечательной командой https://shop.pcr.news, которая предоставит нам призы. Кому именно достанутся призы - решать вам - голосуйте ! Подробности в следующем посте.

Коллеги из https://shop.pcr.news сделали замечательную вещь - если вы хотите подарить подарок, чтобы он был практичным, но красивым и оригинальным ? Такой вопрос обычно ставит в тупик.

Коллеги создали коллекции - одежды, украшения, подарки, аксессуары - которые с одной стороны практичны, а с другой стороны они не дадут вам забыть о любимой науке и ваши любимые формулы - будут всегда рядом.

ДНК на футболке и антитело на цепочке 🧬 — https://shop.pcr.news For science lovers❤️
Forwarded from Alexander C
Давайте вспомним прошедшие доклады, а чтобы был элемент геймификации - голосуем - решаем кому приз от наших друзей - https://shop.pcr.news/
Это голосование - номиниция - доклады по дата-сайнс. Подробности см. в https://t.me/sberloga/191
Final Results
13%
1 From linear models through GCN to Attention - Anvar Kurmukov (AIRI)
15%
2 “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков
13%
3 Современные Хопфилдовские Нейронные Сети - Кротов Дмитрий (MIT-IBM Watson AI Lab, IBM Research)
5%
4 О математике метода симулированного отжига - Илья Павлюкевич (Prof. Dr. Universität Jena)
6%
5 Визуализация данных в Data Science - Андрей Лукьяненко (МТС AI)
8%
6 Self-supervised обучение для последовательных данных - Алексей Зайцев (Skoltech)
25%
7 Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов - Руслан Лукин
4%
8 Новые методы поиска сущностей в графах знаний - Фёдор Николаев
7%
9 Git hooks is all you need - Дани Эль-Айясс (Sber)
4%
10 Введение в ворд2век - Фарид Хафизов
Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Boris Burkov
https://youtu.be/t9WgWZuT9t8

Aбстракт доклада:
Целеполагание ключевых модулей системы, а также ряд инженерных приемов:
- Исходные данные и общий поток информации в системе: выравнивания, hmmer, uniprot/mgnify/BFD, pdb, шаблоны структур.
- Архитектура нейросетевой части с высоты птичьего полета: Evoformer и структурный модуль.
- Evoformer: дистограммы из выравнивания через внешнее произведение и gated self-attention, условная оптимизация и соблюдения неравенств треугольника с помощью triangle self-attention
- Структурный модуль: механика постепенного сворачивания белка, Invariant Point Attention (IPA), SE(3)-эквивариантность
- Frame Aligned Point Error (FAPE) и дополнительные лоссы
- recylcing и самодистилляция

📈 Слайды
http://borisburkov.net/2021-12-25-1/

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogabio
Transformer architecture - Boris Burkov
https://youtu.be/XLNZ0wG3fQw

Aбстракт доклада:
Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning. Часть вторая.

📈 Слайды
https://github.com/BurkovBA/attention-talk/blob/main/attention.ipynb

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogawithgraphs
Голосование 2 - доклады по биоинформатике, можно голосовать за несколько пунктов.
Главное - вспоминаем доклады и тех кто делилился с нами опытом, для геймификации -кто наберет больше балов - приз от https://shop.pcr.news
Final Results
31%
1 Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Борис Бурков
16%
2 Нейронаука — задачи для теоретической физики и анализа больших данных - Александр Горский (ИППИ)
21%
3 Иммунный ответ в раке. Как это работает и не работает - Мария Кондратова (Lille University)
31%
4 Подтипы микроокружения DLBCL - Никита Котлов (BostonGene)
10%
5 Генетический паспорт - Александр Ракитько (Genotek)
12%
6 Различные задачи геномики, решающиеся с помощью задачи разладки - Всеволод Макеев (ИОГен РАН)
10%
7 Аспекты производства и моделирования данных РНК-секвенирования одиночных клеток -Александр Ташкеев
15%
8 Биология на графах. Графы 'взаимодействия' генов на основе NLP анализа текстов-Антон Костин (МФТИ)
22%
9 Новые работы по АльфаФолду - к.б.н А. Залевский (ИБХ РАН) и Д. Иванков (Сколково)
15%
10 Инструменты для понимания межклеточных взаимодействий по данным SC RNA-Seq - В. А. Шитов (СибГМУ)
Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))

Вторая номинация - биоинформатика.
Аналогично предыдущей - 10 последних докладов, небольшое изменение - голосовать можно за несколько пунктов,
есть мнение, что это может давать более справедливые результаты.
Голосование в посте: https://t.me/sberloga/196 , предыдущее голосование по номинации - доклады по дата-сайнс - https://t.me/sberloga/193.

Вот список с линками на видео записи - не забывайте подписываться на https://www.youtube.com/c/sberloga и ставить лайки !

1 Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Борис Бурков
https://youtu.be/t9WgWZuT9t8

2 Нейронаука — задачи для теоретической физики и анализа больших данных - Александр Горский (ИППИ РАН)
Видео запись скоро появится на канале https://www.youtube.com/c/sberloga - подписывайтесь

3 Иммунный ответ в раке. Как это работает и не работает - Мария Кондратова (Lille University)
https://youtu.be/oS6T5KYClYg

4 Подтипы микроокружения DLBCL - Никита Котлов (BostonGene)
https://youtu.be/ww2wehLe3Yg

5 Генетический паспорт - Александр Ракитько (Genotek)
https://youtu.be/EzcEmor-6gY

6 Различные задачи геномики, решающиеся с помощью задачи разладки - Всеволод Макеев (ИОГен РАН)
https://youtu.be/x2wVsrmP85Q

7 Аспекты производства и моделирования данных РНК-секвенирования одиночных клеток - Александр Ташкеев (University of Liege)
https://youtu.be/aMY3jENGwSQ

8 Биология на графах. Графы 'взаимодействия' генов на основе NLP анализа текстов - Антон Костин (МФТИ)
https://youtu.be/vw10_9j3Lig

9 Новые работы по АльфаФолду - к.б.н А. Залевский (ИБХ РАН) и Д. Иванков (Сколково)
https://youtu.be/hdtY4wJa92w

10 Инструменты для понимания межклеточных взаимодействий по данным SC RNA-Seq - В. А. Шитов (СибГМУ)
https://youtu.be/O43nS6gOWEc
В уходящем году было много замечательных докладов на @Sberloga, огромное СПАСИБО всем докладчикам и всем слушателям !

Наш шутливое голосование - на приз зрительских симпатий от https://shop.pcr.news. Выявило следующих фаворитов: в номинции дата-сайнс побеждает Руслан Лукин (Иннополис) Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов
https://youtu.be/bfFK1K4ENDY

Мы уже (https://t.me/sberloga/180) поздравляли Руслана и его команду - они заняли престижное второе место на международном конкурсе Open Catalyst Challenge, организованного Meta AI (Facebook AI Research), в котором участвовали 30 команд. А теперь поздравляем с призом зрительских симпатий !

В замечательном докладе обзоре “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков https://youtu.be/s3Cc3Uo4smE (который вышел на второе место в голосовалке) , один из слайдов - о результате Руслана. Английскую версию обзора в своем твиттер Petar Veličković (DeepMind) назвал как must read. Так что кто не успел на этот доклад - всем рекомендуем (вместе с Petar Veličković - одним из лучших спецов в ГрафМЛ в мире ) !

В номинации биоинформатика у нас в последние моменты образовалось два лидера - Борис Буков - Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии https://youtu.be/t9WgWZuT9t8
и Никита Котлов (BostonGene) Подтипы микроокружения DLBCL - https://youtu.be/ww2wehLe3Yg
Но поскольку Борис оказался на пьедестале первым, а приз один - то приз достанется ему.

Все доклады были замечательные ! И еще раз огромное спасибо докладчикам и слушателям, присоединяйтесь к докладам в новом году !
🎉2
@Sberloga поздравляет всех с наступающим Новым Годом ! Желаем всем огромных успехов, побед, достижений, бонусов, а главное счастья и здоровья !

Медалей с каггл, Дед Мороз пусть принесёт !
Побед на Dream Challenges , Дед Мороз пусть не забудет !
Хакатоны будут взяты , статьи на NIPS все приняты !

Есть такая Сберовская байка - какой день самый счастливый - тот день когда дают бонус )))) Весь Сбер ходит со счастливой улыбкой, все люди - братья и сестры, довольны и счастливы. Пусть Дед Мороз сделает так, чтобы мы каждый день чувствовали себя так - как будто сегодня получен бонус )))
🎉7🔥5👍3