Сам такой хотел когда-то написать, но руки так и не дошли. Код который помогает расчитать размеры сверток
#CNN
#CNN
Twitter
François Fleuret
I wrote a piece of code that, given an input and output tensor sizes and a depth, computes all the sequences of kernel sizes / strides that do it! No padding. I hate paddings. fleuret.org/git-extract/py… @PyTorch
#cnn #biology #dilation #ResNet #ScientificML
https://www.cell.com/cell/fulltext/S0092-8674(18)31629-5
Отличная статья на биологическую тему - предсказание сайтов сплайсинга.
Коротко - у человека ген, кодирующий белок, не весь кодирует последовательность этого белка. Есть кодирующие его части - экзоны и некодирующие,регуляторные и просто мусорные части - интроны. Отвечает за вырезание из всей последовательности мРНК только нужных экзонов процесс, называемый сплайсинг.
Одной из важных задач является предсказание по последовательности гена экзонов и интронов - соответственно участков, в которых будет происходить вырезание.
В данной работе авторы это делают при помощи resnet-like архитектуры.
Более того - на самом деле некоторые участки в зависимости от условий/великого корейского рандома могут то трактоваться сплайсингом как интроны, то как экзоны. И скоры, которые выдает модель для сайтов сплайсинга коррелируют с вероятностью участка быть экзоном/интроном. Что тоже круто.
Ну и конечно, модель умеет в insilico-скрининг - мутируем последовательность интересующего нас гена и смотрим, изменится ли предсказание модели. Если изменилось, то поменялось то, как спласинг нарезает наш ген. Это часто приводит к чему-то нехорошему - наследственные болезни, опухоли и тд.
Модель хорошая и повсеместно используется. Можно вставлять в примеры архитектур CNN. Более того - она приятна еще и тем, что в ней активно используются dilation конволюции, примеров применения которых у нас в лекциях сейчас мало
https://www.cell.com/cell/fulltext/S0092-8674(18)31629-5
Отличная статья на биологическую тему - предсказание сайтов сплайсинга.
Коротко - у человека ген, кодирующий белок, не весь кодирует последовательность этого белка. Есть кодирующие его части - экзоны и некодирующие,регуляторные и просто мусорные части - интроны. Отвечает за вырезание из всей последовательности мРНК только нужных экзонов процесс, называемый сплайсинг.
Одной из важных задач является предсказание по последовательности гена экзонов и интронов - соответственно участков, в которых будет происходить вырезание.
В данной работе авторы это делают при помощи resnet-like архитектуры.
Более того - на самом деле некоторые участки в зависимости от условий/великого корейского рандома могут то трактоваться сплайсингом как интроны, то как экзоны. И скоры, которые выдает модель для сайтов сплайсинга коррелируют с вероятностью участка быть экзоном/интроном. Что тоже круто.
Ну и конечно, модель умеет в insilico-скрининг - мутируем последовательность интересующего нас гена и смотрим, изменится ли предсказание модели. Если изменилось, то поменялось то, как спласинг нарезает наш ген. Это часто приводит к чему-то нехорошему - наследственные болезни, опухоли и тд.
Модель хорошая и повсеместно используется. Можно вставлять в примеры архитектур CNN. Более того - она приятна еще и тем, что в ней активно используются dilation конволюции, примеров применения которых у нас в лекциях сейчас мало
Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#resources #literature #normalization #optimizer #transformer #nlp #generative #cnn
Наверно, стоит в принципе отметить сайт https://theaisummer.com/
На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.
На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.
Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.
Примеры приятных статей:
In-layer normalization techniques for training very deep neural networks
A journey into Optimization algorithms for Deep Neural Networks
Intuitive Explanation of Skip Connections in Deep Learning
How Transformers work in deep learning and NLP: an intuitive introduction
The theory behind Latent Variable Models: formulating a Variational Autoencoder
Best deep CNN architectures and their principles: from AlexNet to EfficientNet
Наверно, стоит в принципе отметить сайт https://theaisummer.com/
На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.
На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.
Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.
Примеры приятных статей:
In-layer normalization techniques for training very deep neural networks
A journey into Optimization algorithms for Deep Neural Networks
Intuitive Explanation of Skip Connections in Deep Learning
How Transformers work in deep learning and NLP: an intuitive introduction
The theory behind Latent Variable Models: formulating a Variational Autoencoder
Best deep CNN architectures and their principles: from AlexNet to EfficientNet
AI Summer
AI Summer | Learn Deep Learning and Artificial Intelligence
TorchCAM: class activation explorer
TorchCAM использует механизмы хуков PyTorch для легкого получения всей необходимой информации для создания активации класса без дополнительных усилий со стороны пользователя. Каждый объект CAM действует как обертка вокруг вашей модели.
GitHub
#cnn #Explainability
TorchCAM использует механизмы хуков PyTorch для легкого получения всей необходимой информации для создания активации класса без дополнительных усилий со стороны пользователя. Каждый объект CAM действует как обертка вокруг вашей модели.
GitHub
#cnn #Explainability
ConvMLP: Hierarchical Convolutional MLPs for Vision
Недавно было показано, что архитектуры на основе MLP, состоящие из последовательных блоков многослойных перцептронов (см тут), сравнимы с сверточными и трансформерными методами. Однако большинство этих пространственных MLP принимают фиксированные размерные входные данные, поэтому их нельзя применять для решения последующих задач, таких как обнаружение объектов и семантическая сегментация. Более того, одноступенчатые конструкции еще больше ограничивают производительность в других задачах компьютерного зрения, а полностью связанные слои требуют больших вычислений.
Для решения этих проблем авторы предлагают ConvMLP: иерархический сверточный MLP для визуального распознавания, который представляет собой легкую, поэтапную, совместную конструкцию сверточных слоев и MLP. В частности, ConvMLP-S достигает 76,8% точности top-1 на ImageNet-1k с 9M параметрами и 2,4G MACs (15% и 19% от MLP-Mixer-B/16, соответственно).
Статья
Код
#MLP #CNN #segmentation #detetctiton
Недавно было показано, что архитектуры на основе MLP, состоящие из последовательных блоков многослойных перцептронов (см тут), сравнимы с сверточными и трансформерными методами. Однако большинство этих пространственных MLP принимают фиксированные размерные входные данные, поэтому их нельзя применять для решения последующих задач, таких как обнаружение объектов и семантическая сегментация. Более того, одноступенчатые конструкции еще больше ограничивают производительность в других задачах компьютерного зрения, а полностью связанные слои требуют больших вычислений.
Для решения этих проблем авторы предлагают ConvMLP: иерархический сверточный MLP для визуального распознавания, который представляет собой легкую, поэтапную, совместную конструкцию сверточных слоев и MLP. В частности, ConvMLP-S достигает 76,8% точности top-1 на ImageNet-1k с 9M параметрами и 2,4G MACs (15% и 19% от MLP-Mixer-B/16, соответственно).
Статья
Код
#MLP #CNN #segmentation #detetctiton