Библиотека self-supervised методов для representation visual learning на базе PyTorch Lightning.
#SSL #images
#SSL #images
GitHub
GitHub - vturrisi/solo-learn: solo-learn: a library of self-supervised methods for visual representation learning powered by Pytorch…
solo-learn: a library of self-supervised methods for visual representation learning powered by Pytorch Lightning - vturrisi/solo-learn
#alphafold2
Сделали частичный запуск alphafold2 прямо в колабе (без известных структур и, частично, без выравнивания)
Twitter
#ScientificML #biology
Сделали частичный запуск alphafold2 прямо в колабе (без известных структур и, частично, без выравнивания)
#ScientificML #biology
Twitter
Sergey Ovchinnikov
Successfully predicted one of the @foldit denovo designs using #alphafold in google-colab😎 (1 model, no template, single sequence input, and no amber refine, ~2 mins). Notebook if anybody wanna try input your favorite sequence: colab.research.google.com/drive/1qWO6Arw…
Веселая статья.
Из слов авторов получается, что self-attention слои не всегда нужны (но иногда качество улучшают, особенно когда надо выравнять два представления, в случае авторов - два предложения)
Pay Attention to MLPs
Не хватает рисунка как в Mixer MLP зависимости качества разных архитектур от объема обучающей выборки.
#MLP #images #multimodal
Из слов авторов получается, что self-attention слои не всегда нужны (но иногда качество улучшают, особенно когда надо выравнять два представления, в случае авторов - два предложения)
Pay Attention to MLPs
Не хватает рисунка как в Mixer MLP зависимости качества разных архитектур от объема обучающей выборки.
#MLP #images #multimodal
Ян Лекун поделился ссылкой на пакет для работы с массивными линейными слоями
Medium
#code #resources #python
Medium
#code #resources #python
Medium
Introduction to TorchShard
A Lightweight Library for Scaling-up the Training
Forwarded from gonzo-обзоры ML статей
Highly accurate protein structure prediction with AlphaFold
John Jumper, Richard Evans, Alexander Pritzel, Tim Green, Michael Figurnov, Olaf Ronneberger, Kathryn Tunyasuvunakool, Russ Bates, Augustin Žídek, Anna Potapenko, Alex Bridgland, Clemens Meyer, Simon A. A. Kohl, Andrew J. Ballard, Andrew Cowie, Bernardino Romera-Paredes, Stanislav Nikolov, Rishub Jain, Jonas Adler, Trevor Back, Stig Petersen, David Reiman, Ellen Clancy, Michal Zielinski, Martin Steinegger, Michalina Pacholska, Tamas Berghammer, Sebastian Bodenstein, David Silver, Oriol Vinyals, Andrew W. Senior, Koray Kavukcuoglu, Pushmeet Kohli & Demis Hassabis
Статья: https://www.nature.com/articles/s41586-021-03819-2
Модель: https://github.com/deepmind/alphafold
Ну вот наконец и AlphaFold2. В статье и на гитхабе новая система называется просто AlphaFold, а под названием AlphaFold2 она фигурировала на соревновании CASP14. Новая система является совершенно другой системой по сравнению со старой AlphaFold, участвовавшей на CASP13, так что будьте внимательны и не путайте.
Итак, собственно, какова структура этой системы.
На вход системы поступает последовательность аминокислот белка. Для этой последовательности ищутся эволюционные родственники и генерируется множественное выравнивание (MSA, про него мы несколько раз писали в предыдущих постах о похожих моделях). Также в базе структур белков (с 3D координатами атомов) ищутся гомологичные структуры (если есть), и они тоже поступают на вход.
Сама сеть AlphaFold напрямую предсказывает 3D координаты всех тяжёлых атомов (углероды, азоты) по входным данным.
Сеть состоит из двух частей.
Сначала ствол сети обрабатывает входы с помощью последовательности (аж 48 штук, каждый со своими весами) новых блоков под названием Evoformer (хитрый вариант трансформера). Evoformer выдаёт на выходе тензор с обработанным MSA (размера N_seq*N_res, где N_seq — число последовательностей в MSA, а N_res — число аминокислот) и тензор (размера N_res*N_res) с репрезентацией пар аминокислотных остатков.
За стволом сети следует структурный модуль (structure module), генерирующий вращения и смещения для каждого из аминокислотных остатков (инициализируются они identity вращениями и позициями в начале координат) с помощью 8 слоёв с расшаренными весами.
И структурный модуль, и вся сеть целиком итеративно улучшает свои предсказания, подавая их себе же на вход. Этот процесс называется в работе “recycling”, он выполняется трижды, и существенно повышает качество результата.
Главная хитрость Evoformer’а в обмене информацией между репрезентациями MSA и пар аминокислот, образующих по сути отдельные стримы обработки данных.
Для обработки MSA используется вариант axial attention с чередующимся вниманием по строкам и по столбцам, причём оно gated через сигмоиду. Также есть transition layer, который по сути двуслойный MLP.
Стрим для обработки репрезентаций пар аминокислот по сути представляет собой графовый трансформер, узлами графа выступают соседние аминокислоты, а операции обновления репрезентаций работают над треугольниками аминокислот (следствие из интуиции относительно необходимости соблюдения неравенства треугольника для расстояний между аминокислотами). Две основные операции там это triangle multiplicative update и triangle self-attention.
По репрезентациям MSA считается outer product между всеми позициями попарно и добавляется к соответствующим репрезентациям пар. Так происходит регулярный обмен между стримом MSA и стримом парных фич.
Структурный модуль работает с репрезентацией бэкбона белка, используя прилетающие на вход репрезентации пар и оригинальную последовательность белка из MSA. Структура бэкбона представлена N_res независимыми вращениями и трансляциями каждой конкретной аминокислоты относительно глобального фрейма. Это называется “residue gas” (как бы независимо плавающие аминокислотные остатки, которые мы пытаемся ориентировать в пространстве).
John Jumper, Richard Evans, Alexander Pritzel, Tim Green, Michael Figurnov, Olaf Ronneberger, Kathryn Tunyasuvunakool, Russ Bates, Augustin Žídek, Anna Potapenko, Alex Bridgland, Clemens Meyer, Simon A. A. Kohl, Andrew J. Ballard, Andrew Cowie, Bernardino Romera-Paredes, Stanislav Nikolov, Rishub Jain, Jonas Adler, Trevor Back, Stig Petersen, David Reiman, Ellen Clancy, Michal Zielinski, Martin Steinegger, Michalina Pacholska, Tamas Berghammer, Sebastian Bodenstein, David Silver, Oriol Vinyals, Andrew W. Senior, Koray Kavukcuoglu, Pushmeet Kohli & Demis Hassabis
Статья: https://www.nature.com/articles/s41586-021-03819-2
Модель: https://github.com/deepmind/alphafold
Ну вот наконец и AlphaFold2. В статье и на гитхабе новая система называется просто AlphaFold, а под названием AlphaFold2 она фигурировала на соревновании CASP14. Новая система является совершенно другой системой по сравнению со старой AlphaFold, участвовавшей на CASP13, так что будьте внимательны и не путайте.
Итак, собственно, какова структура этой системы.
На вход системы поступает последовательность аминокислот белка. Для этой последовательности ищутся эволюционные родственники и генерируется множественное выравнивание (MSA, про него мы несколько раз писали в предыдущих постах о похожих моделях). Также в базе структур белков (с 3D координатами атомов) ищутся гомологичные структуры (если есть), и они тоже поступают на вход.
Сама сеть AlphaFold напрямую предсказывает 3D координаты всех тяжёлых атомов (углероды, азоты) по входным данным.
Сеть состоит из двух частей.
Сначала ствол сети обрабатывает входы с помощью последовательности (аж 48 штук, каждый со своими весами) новых блоков под названием Evoformer (хитрый вариант трансформера). Evoformer выдаёт на выходе тензор с обработанным MSA (размера N_seq*N_res, где N_seq — число последовательностей в MSA, а N_res — число аминокислот) и тензор (размера N_res*N_res) с репрезентацией пар аминокислотных остатков.
За стволом сети следует структурный модуль (structure module), генерирующий вращения и смещения для каждого из аминокислотных остатков (инициализируются они identity вращениями и позициями в начале координат) с помощью 8 слоёв с расшаренными весами.
И структурный модуль, и вся сеть целиком итеративно улучшает свои предсказания, подавая их себе же на вход. Этот процесс называется в работе “recycling”, он выполняется трижды, и существенно повышает качество результата.
Главная хитрость Evoformer’а в обмене информацией между репрезентациями MSA и пар аминокислот, образующих по сути отдельные стримы обработки данных.
Для обработки MSA используется вариант axial attention с чередующимся вниманием по строкам и по столбцам, причём оно gated через сигмоиду. Также есть transition layer, который по сути двуслойный MLP.
Стрим для обработки репрезентаций пар аминокислот по сути представляет собой графовый трансформер, узлами графа выступают соседние аминокислоты, а операции обновления репрезентаций работают над треугольниками аминокислот (следствие из интуиции относительно необходимости соблюдения неравенства треугольника для расстояний между аминокислотами). Две основные операции там это triangle multiplicative update и triangle self-attention.
По репрезентациям MSA считается outer product между всеми позициями попарно и добавляется к соответствующим репрезентациям пар. Так происходит регулярный обмен между стримом MSA и стримом парных фич.
Структурный модуль работает с репрезентацией бэкбона белка, используя прилетающие на вход репрезентации пар и оригинальную последовательность белка из MSA. Структура бэкбона представлена N_res независимыми вращениями и трансляциями каждой конкретной аминокислоты относительно глобального фрейма. Это называется “residue gas” (как бы независимо плавающие аминокислотные остатки, которые мы пытаемся ориентировать в пространстве).
Nature
Highly accurate protein structure prediction with AlphaFold
Nature - AlphaFold predicts protein structures with an accuracy competitive with experimental structures in the majority of cases using a novel deep learning architecture.
Forwarded from Neural Shit
Нашёл годный репозиторий с коллекцией интересных колаб-ноутбуков как-либо связанных с нейронками и машинным обучением.
По ссылке таблица с описанием, ссылками на автора, страницу проекта (если есть) и сам ноутбук.
https://github.com/amrzv/awesome-colab-notebooks
По ссылке таблица с описанием, ссылками на автора, страницу проекта (если есть) и сам ноутбук.
https://github.com/amrzv/awesome-colab-notebooks
Теперь целая база с последоввательностями, предсказанными alphafold.
Надо смотреть - вообще говоря, запускать модель самим может оказаться идеей лучше, так как коллеги струуктурные биологи уже обнаружили не очень правильные решения на этапе оптимизации полученной от нейросети структуры
P.S Коллеги нашли и в базе кучу очень странных структур. Видимо, лучше запускать руками))
https://alphafold.ebi.ac.uk/
Анонс от deepmind - https://deepmind.com/blog/article/putting-the-power-of-alphafold-into-the-worlds-hands
Надо смотреть - вообще говоря, запускать модель самим может оказаться идеей лучше, так как коллеги струуктурные биологи уже обнаружили не очень правильные решения на этапе оптимизации полученной от нейросети структуры
P.S Коллеги нашли и в базе кучу очень странных структур. Видимо, лучше запускать руками))
https://alphafold.ebi.ac.uk/
Анонс от deepmind - https://deepmind.com/blog/article/putting-the-power-of-alphafold-into-the-worlds-hands
alphafold.ebi.ac.uk
AlphaFold Protein Structure Database
Конечно же оказалось, что BERT like претрейнинг поможет в Image Transformers
#SSL #images #transformer
#SSL #images #transformer
Twitter
Li Dong
BEiT-large (pretrained on ImageNet-22k) achieves SoTA on ADE20K (57.0 mIoU), and 88.6% top-1 accuracy on ImageNet-1k. Self-supervised learning is the future. Code and pretrained checkpoints: github.com/microsoft/unil… twitter.com/ak92501/status…