Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Boris Burkov
https://youtu.be/t9WgWZuT9t8

Aбстракт доклада:
Целеполагание ключевых модулей системы, а также ряд инженерных приемов:
- Исходные данные и общий поток информации в системе: выравнивания, hmmer, uniprot/mgnify/BFD, pdb, шаблоны структур.
- Архитектура нейросетевой части с высоты птичьего полета: Evoformer и структурный модуль.
- Evoformer: дистограммы из выравнивания через внешнее произведение и gated self-attention, условная оптимизация и соблюдения неравенств треугольника с помощью triangle self-attention
- Структурный модуль: механика постепенного сворачивания белка, Invariant Point Attention (IPA), SE(3)-эквивариантность
- Frame Aligned Point Error (FAPE) и дополнительные лоссы
- recylcing и самодистилляция

📈 Слайды
http://borisburkov.net/2021-12-25-1/

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogabio

Transformer architecture - Boris Burkov
https://youtu.be/XLNZ0wG3fQw

Aбстракт доклада:
Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning. Часть вторая.

📈 Слайды
https://github.com/BurkovBA/attention-talk/blob/main/attention.ipynb

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogawithgraphs

Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))

Вторая номинация - биоинформатика.
Аналогично предыдущей - 10 последних докладов, небольшое изменение - голосовать можно за несколько пунктов,
есть мнение, что это может давать более справедливые результаты.
Голосование в посте: https://t.me/sberloga/196 , предыдущее голосование по номинации - доклады по дата-сайнс - https://t.me/sberloga/193.

Вот список с линками на видео записи - не забывайте подписываться на https://www.youtube.com/c/sberloga и ставить лайки !

1 Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Борис Бурков
https://youtu.be/t9WgWZuT9t8

2 Нейронаука — задачи для теоретической физики и анализа больших данных - Александр Горский (ИППИ РАН)
Видео запись скоро появится на канале https://www.youtube.com/c/sberloga - подписывайтесь

3 Иммунный ответ в раке. Как это работает и не работает - Мария Кондратова (Lille University)
https://youtu.be/oS6T5KYClYg

4 Подтипы микроокружения DLBCL - Никита Котлов (BostonGene)
https://youtu.be/ww2wehLe3Yg

5 Генетический паспорт - Александр Ракитько (Genotek)
https://youtu.be/EzcEmor-6gY

6 Различные задачи геномики, решающиеся с помощью задачи разладки - Всеволод Макеев (ИОГен РАН)
https://youtu.be/x2wVsrmP85Q

7 Аспекты производства и моделирования данных РНК-секвенирования одиночных клеток - Александр Ташкеев (University of Liege)
https://youtu.be/aMY3jENGwSQ

8 Биология на графах. Графы 'взаимодействия' генов на основе NLP анализа текстов - Антон Костин (МФТИ)
https://youtu.be/vw10_9j3Lig

9 Новые работы по АльфаФолду - к.б.н А. Залевский (ИБХ РАН) и Д. Иванков (Сколково)
https://youtu.be/hdtY4wJa92w

10 Инструменты для понимания межклеточных взаимодействий по данным SC RNA-Seq - В. А. Шитов (СибГМУ)
https://youtu.be/O43nS6gOWEc

В уходящем году было много замечательных докладов на @Sberloga, огромное СПАСИБО всем докладчикам и всем слушателям !

Наш шутливое голосование - на приз зрительских симпатий от https://shop.pcr.news. Выявило следующих фаворитов: в номинции дата-сайнс побеждает Руслан Лукин (Иннополис) Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов
https://youtu.be/bfFK1K4ENDY

Мы уже (https://t.me/sberloga/180) поздравляли Руслана и его команду - они заняли престижное второе место на международном конкурсе Open Catalyst Challenge, организованного Meta AI (Facebook AI Research), в котором участвовали 30 команд. А теперь поздравляем с призом зрительских симпатий !

В замечательном докладе обзоре “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков https://youtu.be/s3Cc3Uo4smE (который вышел на второе место в голосовалке) , один из слайдов - о результате Руслана. Английскую версию обзора в своем твиттер Petar Veličković (DeepMind) назвал как must read. Так что кто не успел на этот доклад - всем рекомендуем (вместе с Petar Veličković - одним из лучших спецов в ГрафМЛ в мире ) !

В номинации биоинформатика у нас в последние моменты образовалось два лидера - Борис Буков - Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии https://youtu.be/t9WgWZuT9t8
и Никита Котлов (BostonGene) Подтипы микроокружения DLBCL - https://youtu.be/ww2wehLe3Yg
Но поскольку Борис оказался на пьедестале первым, а приз один - то приз достанется ему.

Все доклады были замечательные ! И еще раз огромное спасибо докладчикам и слушателям, присоединяйтесь к докладам в новом году !

@Sberloga поздравляет всех с наступающим Новым Годом ! Желаем всем огромных успехов, побед, достижений, бонусов, а главное счастья и здоровья !

Медалей с каггл, Дед Мороз пусть принесёт !
Побед на Dream Challenges , Дед Мороз пусть не забудет !
Хакатоны будут взяты , статьи на NIPS все приняты !

Есть такая Сберовская байка - какой день самый счастливый - тот день когда дают бонус )))) Весь Сбер ходит со счастливой улыбкой, все люди - братья и сестры, довольны и счастливы. Пусть Дед Мороз сделает так, чтобы мы каждый день чувствовали себя так - как будто сегодня получен бонус )))

Еще раз - с Новым Годом (от Бостон Динамикс и @Sberloga )))

Twitter и вокруг него: наши цели на 2022; наши докладчики и Ян ЛеКун.

Во-первых у @Sberloga появился Twitter - https://twitter.com/sberloga - прямо также @Sberloga - только в Twitter - подписывайтесь, лайкайте, ретвитьте - сделаете нам Новогодний подарок. Зачем кому-либо Twitter ? Многие ученые и специалисты в дата-сайнс, биоинформатике и других областях ведут Twitter. Даже если вы сами не планируете ничего писать - Twitter - очень удобен, чтобы отслеживать новые статьи, конференции, вакансии и прочее - просто подпишитесь на тех специалистов, которые вам нравятся. Кроме того рекомендательная система Twitter сама будет подсказывать вам полезные посты и людей на кого подписаться. А "Твитториалы" - то есть серия коротких постов с изложением основных идей статей - вообще бесподобная вещь.

Во-вторых давайте поставим себе цель на 2022 - зазвать на доклад на @Sberloga известного ученого не из наших краев. И тут Twitter и ваши подписки, ретвиты и лайки вполне помогут - поскольку это повышает вероятность того, что @Sberloga будет замечена и согласиться выступать на площадке, о который ты что-то знаешь намного легче, чем неизвестно где.

В-третьих Ян ЛеКун (один из самых известных людей в МЛ, один из "отцов" дип ленинг революции, глава МЛ в Facebook, etc.,etc.,) в своем недавнем твите похвалил и ретвитнул обзор с итогом графМЛ за 2021 от М.Галкина и его коллег ! Поздравляем коллег с этим ! Русскую версию они рассказывали у нас на @Sberloga - кто не успел на доклад - очень рекомендуем видео запись - https://youtu.be/s3Cc3Uo4smE .

В-четвертых - оставляйте в комментах к этому посту ваших любимых Твит авторов - давайте соберем коллекцию.

🚀 @SBERLOGA online seminar on machine learning:
👨‍🔬 Анвар Курмуков (Институт искусственного интеллекта AIRI)
«Vision Transformer (ViT)»
⌚️ Четверг 6 января, 18.00 по Москве

Продолжаем развивать тему трансформеров и их использования в задачах машинного обучения. На этот раз обсудим их применение в работе с изображениями.

❔Могут ли трансформеры заменить свёртки? Какие проблемы это создаст? Ответы на эти и другие вопросы вы получите на нашем следующем семинаре!

❕Для упрощения понимания, рекомендуем ознакомиться с недавними докладами Анвара Курмукова «From linear models through GCN to Attention» https://youtu.be/-hXUsOIcUqM и Бориса Буркова «Разбор алгоритмов и идей DeepMind AplhaFold2 с позиции ML-инженерии» https://youtu.be/XLNZ0wG3fQw

Подписывайтесь на каналы тг: @sberloga, Ютуб: https://www.youtube.com/c/sberloga - топовые онлайн доклады каждую неделю! @sberlogajobs - вакансии.

Ссылка на зум будет доступна в чатах: https://t.me/sberlogadataclub ближе к началу доклада.

🚀 @SBERLOGA online seminar on machine learning:
👨‍🔬 Роман Куцев (TrainingData.Solutions) «Методы оптимизации процесса разметки для обучения нейронных сетей.»
⌚️ Четверг 13 января, 18.00 по Москве

Описание:
• Сколько данных нужно для обучения нейронной сети
• Что выгоднее: улучшать архитектуру нейронной сети или увеличивать датасет
• Зачем использовать Active Learning
• Как предразметка позволяет удешевить создание датасета
• В чем главный плюс концепции Human in the Loop
• Тренды в разметке данных

Ссылка на зум будет доступна в чатах: https://t.me/sberlogadataclub ближе к началу доклада.

Нейронаука — задачи для теоретической физики и анализа больших данных - Александр Горский (ИППИ РАН)
https://youtu.be/DedliTp886Q

Aбстракт доклада:
В докладе рассмотрены ключевые вопросы теории мозга, которые инициированы современными исследованиями. Они включают в себя исследование коннектома методами случайных сетей, изучение зависимости явления синхронизации нейронов от структурного и функционального коннектомов. Также рассмотрены вопросы, связанные с предполагаемой околокритичностью состояния мозга и его термодинамическими свойствами. Мы обсудили применение методов анализа больших данных к нейронауке; редукцию размерности и топологический анализ данных.

📈 Слайды
https://drive.google.com/file/d/13_44XUfhXaMcTa0VhV_ZhPFd7leZVWgz/view?usp=sharing

📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
https://t.me/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA

🗨 Обсудить доклады можно в нашем чатике
https://t.me/sberlogabio

🚀 @SBERLOGA online seminar on machine learning:
👨‍🔬 Александр Абрамов (Cбер) «Дистилляция моделей на примере SBERT.»
⌚️ Четверг 20 января, 18.00 по Москве

О чем поговорим? Вспомним, что такое RuSBERT. Зачем нам нужна дистилляция моделей. Какие лоссы и подходы мы используем для дистилляции. Как можно собрать свой TinyBERT на коленке, а также наследовать знания от k-ой к k+1-ой модели в проме. Хинты для отображения узких эмбеддингов к широким от учителя к ученику (и наоборот).

Ссылка на зум будет доступна в чатах: https://t.me/sberlogadataclub ближе к началу доклада.

Вы ещё не в курсе последних разработок в области фармацевтики? Держите в подписках — @chemrarpharma

Актуальная информация в области фармацевтики и медицины, последние новости об индустрии в России и мире, научные тренды по био- и нейротехнологиям, новации реальных разработок методов борьбы с COVID-19!

Только у ребят:

▪️ Самая свежая и актуальная информация;
▪️ Кейсы цифровой трансформации фармацевтики;
▪️ Аналитика рынка инновационных разработок лекарств от ведущих экспертов

Университет Иннополис открыл регистрацию на онлайн-хакатон по ИИ с призовым фондом 1 млн рублей

Международный отраслевой хакатон в области искусственного интеллекта Global AI Challenge пройдет 9—24 февраля. Заявки принимаются до 7 февраля от команд из 2—6 человек, состоящих из молодых специалистов, преподавателей, аспирантов направления Data Science, обучающихся ведущих образовательных организаций России и стран ближнего зарубежья.
Командам предстоит решить задачу по предсказанию активности ингибиторов на основе малых молекул против COVID-19.

Подробности и регистрация: https://globalai.innopolis.university/

В последнее время собеседую довольно много людей и думаю стоит поделиться небольшим лайфхаком:
📣 "Повторяйте простые вещи перед собеседованием"

Если вы не отвечаете на сложный вопрос - можно списать на нервы и это не так страшно
Но если вы не отвечаете на простой вопрос - на следующий этап вас не позовут
Например - не сказал метрики регрессионной модели, не сказал критерии сплита в дереве, не смог решить задачу по статистике, не сказал параметры резуляризации в дереве решений.
Отсутствие ответов на такие вопросы - это красный свет ⛔️
Я ищу себе в команду человека, который должен быстро вписаться и способного разобраться в новых вещах без бэбиситтинга. А это означает - знание основ💡

Во вложении (сообщение выше) небольшой cheatsheet по data science с МИНИМАЛЬНЫМ набором вещей которые должен знать ДС. Там 5 страниц А4, это просто скорее список базвых определений, которые стоит бегло повторить. Потратьте 15 минут, и не опозоритесь 🤓
Желаю успехов 👍

💼 У нас так же есть канал с вакансиями @sberlogajobs - их не так много как в одс, но коротко и понятно

❤️ @sberloga ❤️

🧑‍🎓 Учить чтобы учиться

На первый взгляд странная идея, ведь преподаватель должен знать все. Однако речь идет именно о простом способе освоить то, чему вы хотите научиться.
🤓 Техника Фейнмана
На самом деле читая его книги я не помню, чтобы он сам это называл техникой, но не раз писал о способности объяснять даже сложные вещи ребенку и связи этого навыка с пониманием материала.
Потому что обучение — это не про пролистать книгу и запомнить факты, чтобы пройти тест. Информация усваивается, когда вы можете объяснить ее и использовать в самых разных ситуациях.
В конечном счете смысл обучения — понять мир. Но большинство из нас не утруждает себя тем, чтобы осознанно чему-либо учиться. Мы запоминаем то, что нам нужно, когда учимся в школе, а затем большую часть забываем.
Техника Фейнмана помогает превратить информацию в знание, доступ к которому так же прост, как приготовить себе кофе — это помогает избежать неожиданностей.

📣 Это небольшой ролик как раз о способе приложить эту технику в практическое поле:
https://youtu.be/8QCSwgXssVU
Может быть не самый лучший, но думаю стоит его обязательно попробовать 👍

В связи с этим:
🎉 Call for Speakers
Проходишь курс? У тебя интересный проект? Может быть ты просто обладаешь знаниями, которые не прочь рассказать?
Хотим попробовать новый формат трансляций и ищем желающих поделиться знаниями с друзьями. Не обязательно ведь быть супер сеньером-помидором чтобы сделать доклад
Рассказ о новой библиотеке которая помогает вам в работе, проекте, навыки soft-skills или различные agile фреймворки с которыми вы сталкиваетесь казалось бы каждый день - для других это может быть новинкой, которую они хотели бы узнать, так почему не от тебя?
💡 Теперь я еще знаю, что это так же может помочь лучше понять ту область, которую рассказываешь

Если пока все только в стадии идеи, не беда - напиши @boyadzhi, достаточно начать с одного сообщения 👍 дальше поможем

Ну и друзьям перешли это сообщение 🔄

❤️ @sberloga ❤️

Топ 5 видео предыдущего года:

1️⃣АвтоМЛ LightAutoML (или коротко LAMA)
Александр Рыжков, Дмитрий Симаков
Новая библиотека для автоматизации построения ML моделей. Для решения каких задач создавался наш LightAutoML, чем он выделяется на фоне конкурентов и какую пользу способен принести пользователям и бизнесу.
Обсудили состояние automl направления, какие есть вызовы и чем примечательны конкуренты.
В заключение рассказали практическую частью, где можем в деталях показано, как использовать возможности библиотеки, и обсудили разные варианты того или иного элемента пайплайна (отбор и генерация признаков, тюн модели, построение ансамбля и подобное).
https://youtu.be/ci8uqgWFJGg

2️⃣GNN & GCN for complete beginners with examples in python
Анвар Курмуков
Будет объяснено, что такое графовые нейронные сети, в частности разберем 3 популярные статьи посвященные графовым сеткам:
1. Kipf GCN
2. Graph SAGE
3. An End-to-End Deep Learning Architecture for Graph Classification
https://youtu.be/TLVhGs2ckPY

3️⃣Использование Hydra для работы с конфигами в Python
Андрей Лукьяненко
Установка константных значений и управление изменяемыми параметрами - неотъемлемая часть многих проектов, особенно связанных с машинным обучением. Один из самых популярных вариантов для изменения значения параметров - стандартная библиотека argparse; однако, в последнее время все больше проектов используют конфигурационные файлы для хранения значений переменных.
Hydra (в основе которой лежит OmegaConf) - фреймворк для управления конфигами. Он позволяет динамически комбинировать иерархические конфиги, и менять любые значения с помощью командной строки.
В этом докладе Андрей рассказал о возможностях Hydra и показал несколько примеров использования этого фреймворка.
https://youtu.be/T_UyGSUUDKc

4️⃣Практические аспекты работы с задачей NER
Андрей Лукьяненко
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
В этом докладе более подробно рассказано о постановке задачи NER, схемах разметки и способах оценки качества моделей. Продемонстрированы различные подходы к построению моделей и в заключение даны советы о том, как можно улучшить качество таких подходов.
https://youtu.be/WGZpsDSmHnE

5️⃣From linear models through GCN to Attention
Анвар Курмуков
Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning
https://youtu.be/-hXUsOIcUqM

📣 Подписывайтесь на youtube, там еще много чего интересного
https://www.youtube.com/SBERLOGA

❤️@sberloga❤️

https://youtu.be/ONwNCjH6KKY
Self-supervised обучение для последовательных данных
Алексей Зайцев (Skoltech)

Self-supervised learning - мощная парадигма современного машинного обучения.
Она дает возможность избегать дорогостоящей и субъективной разметки данных.
Доклад является введением в self-supervised learning и рассмотрены его приложения к последовательным данным и связанным с ними задачам и достижениям.

💼 Вакансия в группе Алексея, связанная с темой доклада: https://t.me/sberlogajobs/150

🗨 Обсудить доклады можно в нашем чатике
@sberlogadataclub

❤️ @sberloga ❤️

🚀 Open source решения Sber AI Lab
LAMA: LightAutoML - самый быстрый и точный фреймфорк AutoML на табличных данных
RePlay - фреймоврк для создания RecSys на PySpark

На HighLoad++ ребята планируют презентовать 2 новых пайплайна для LightAutoML: для GPU и для Spark - LAMA станет еще быстрее и эффективнее. Если вдруг вам интересно протестить их раньше остальных, то пишите @RyzhkovAlex
Так же их решения вышли в этап открытого голосования за звание лучшего open source решения, где очень нужна ваша поддержка (голосование продлится до 26 февраля). Важно — проголосовать можно только один раз.

📣 Проголосуйте за лучшее open source решение тут:
https://opensource.highload.ru/vote

Вы знаете что делать 👍

❤️ @sberloga ❤️