Неплохой пример по примению графовых конволюций. На гите есть jupyter notebook с примером
#ScientificML
#ScientificML
Forwarded from Graph Machine Learning
Graph Convolutional Neural Networks to Analyze Complex Carbohydrates
A blog post by Daniel Bojar about an application of GNN to analyzing glycan sequences and their proposed GNN architecture called SweetNet. There are other coverages of this work (here and here). The paper is here and the code is here.
A blog post by Daniel Bojar about an application of GNN to analyzing glycan sequences and their proposed GNN architecture called SweetNet. There are other coverages of this work (here and here). The paper is here and the code is here.
Medium
Graph Convolutional Neural Networks to Analyze Complex Carbohydrates
Using PyTorch Geometric to Work With Biological Data
Antarctic Captioning - на основе CLIP и сети для image captioning:
Colab
Git
Позволяет генерировать описания к картинкам, которые значительно выходят за рамки любой обученной модели, например COCO.
#images #captioning #multimodal #CLIP
Colab
Git
Позволяет генерировать описания к картинкам, которые значительно выходят за рамки любой обученной модели, например COCO.
#images #captioning #multimodal #CLIP
Audio Captioning Transformer
Было бы круто обучить такую же модель, но для описания последовательностей/временных рядов. Например для графиков давления - типа «давление падает в виду движения циклона на северо-восток».
#waveforms #audio #captioning
Было бы круто обучить такую же модель, но для описания последовательностей/временных рядов. Например для графиков давления - типа «давление падает в виду движения циклона на северо-восток».
#waveforms #audio #captioning
Библиотека для визуализации feature importance.
Интегрирует другие. Сама решений не предлагает
#explainability
Интегрирует другие. Сама решений не предлагает
#explainability
GitHub
GitHub - MAIF/shapash: 🔅 Shapash: User-friendly Explainability and Interpretability to Develop Reliable and Transparent Machine…
🔅 Shapash: User-friendly Explainability and Interpretability to Develop Reliable and Transparent Machine Learning Models - MAIF/shapash
Что такое CLIP и как он работает не объяснил только ленивый. А вот подъехала Open-Source имплементация.
#multimodal #CLIP
#multimodal #CLIP
GitHub
GitHub - mlfoundations/open_clip: An open source implementation of CLIP.
An open source implementation of CLIP. Contribute to mlfoundations/open_clip development by creating an account on GitHub.
В борьбе снаряда (hyperparameter optimization) и брони (neural architecture search) вновь победа за «снарядом».
AutoTinyBERT: Automatic Hyper-parameter Optimization for Efficient Pre-trained Language Models
#nlp #training
AutoTinyBERT: Automatic Hyper-parameter Optimization for Efficient Pre-trained Language Models
#nlp #training
Twitter
AK
AutoTinyBERT: Automatic Hyper-parameter Optimization for Efficient Pre-trained Language Models pdf: arxiv.org/pdf/2107.13686… abs: arxiv.org/abs/2107.13686 outperforms both the SOTA search-based baseline (NAS-BERT) and the SOTA distillation-based methods
Forwarded from Dmitry Penzar
Они адекватно написали все. На уровне популяризации точно ок.
Почему задача фолдинга не решена они не поняли. Проблема не в комплексах - их альфафолдом2 иногда можно предсказать. Проблема в том, что он очень сильно не учитывает биологию, то, что у белка очень сильно структура зависит от малых изменений pH, молекул рядом и тд.
Условно канонический пример - alphafold2 предсказывает для белка, связывающегося с кальцием, структуру, характерную для того, когда он связался с кальцием. Хотя, очевидно, альфолдуу инфу про кальций не давали и по дефолту (если задача решена) он должен давать структуру без кальция.
А выдает он ее с кальцием, ибо в PDB преобладают структуры этого белка с кальцием.
Ну и аналогично есть белки, которые постоянно в ходе работы меняют две конформации - альфафолд может там предсказать одну форму, вторую форму, и среднее. И предугадать это заранее нельзя
Почему задача фолдинга не решена они не поняли. Проблема не в комплексах - их альфафолдом2 иногда можно предсказать. Проблема в том, что он очень сильно не учитывает биологию, то, что у белка очень сильно структура зависит от малых изменений pH, молекул рядом и тд.
Условно канонический пример - alphafold2 предсказывает для белка, связывающегося с кальцием, структуру, характерную для того, когда он связался с кальцием. Хотя, очевидно, альфолдуу инфу про кальций не давали и по дефолту (если задача решена) он должен давать структуру без кальция.
А выдает он ее с кальцием, ибо в PDB преобладают структуры этого белка с кальцием.
Ну и аналогично есть белки, которые постоянно в ходе работы меняют две конформации - альфафолд может там предсказать одну форму, вторую форму, и среднее. И предугадать это заранее нельзя
Нейросеть для генерации картинок.
DALL-E Mini демка на 🤗 spaces
Можно поиграться прямо с телефона. Красота :)
Видео-разбор
#text2image #images #generative #demo
DALL-E Mini демка на 🤗 spaces
Можно поиграться прямо с телефона. Красота :)
Видео-разбор
#text2image #images #generative #demo
huggingface.co
DALL·E mini by craiyon.com on Hugging Face
Discover amazing ML apps made by the community
Большая и поучительная история как AI не помог в борьбе с пандемией. Почему так вышло? Кто виноват? И что делать?
Если совсем кратко - то «garbage in - garbage out” (подаёшь мусорные данные на вход - получаешь мусорные предсказания на выходе)
Видео-разбор
#science #ScientificML #medicine
Если совсем кратко - то «garbage in - garbage out” (подаёшь мусорные данные на вход - получаешь мусорные предсказания на выходе)
Видео-разбор
#science #ScientificML #medicine
MIT Technology Review
Hundreds of AI tools have been built to catch covid. None of them helped.
Some have been used in hospitals, despite not being properly tested. But the pandemic could help make medical AI better.
Screen Shot 2021-07-31 at 19.59.10.png
385.8 KB
В статье выше цитируется очень приятная и полезная работа - https://www.nature.com/articles/s42256-021-00307-0
Статья рассказывает о частых ошибках при машинном обучении, связанным с предсказанием COVID, и, что тоже очень полезно - дает ссылки на рекомендуемые чеклисты, которые надо смотреть:
1) автору, когда он делает работу
2) рецензенту, когда он работу оценивает
3) читателю, если он решает, стоит ли использовать работу как основу для своей
В частности, упоминаются common лажи типа исключения "неудобных" объектов, попадании фотографий из одной больницы/пациента/.. и в обучение, и в тест и тд.
И, конечно, мое любимое - сравнение качества моделей без малейшей попытки построить confidence interval для качаства моделей
На мой взгляд очень интересная статья сама по себе, и интересны те чеклисты (привел ниже cсылки), на которые она ссылается.
Надо обязательно проанализировать и сделать саммари, которое must have в нашем цикле лекций
RQS:
Lambin, P. et al. Radiomics: the bridge between medical imaging an
Статья рассказывает о частых ошибках при машинном обучении, связанным с предсказанием COVID, и, что тоже очень полезно - дает ссылки на рекомендуемые чеклисты, которые надо смотреть:
1) автору, когда он делает работу
2) рецензенту, когда он работу оценивает
3) читателю, если он решает, стоит ли использовать работу как основу для своей
В частности, упоминаются common лажи типа исключения "неудобных" объектов, попадании фотографий из одной больницы/пациента/.. и в обучение, и в тест и тд.
И, конечно, мое любимое - сравнение качества моделей без малейшей попытки построить confidence interval для качаства моделей
На мой взгляд очень интересная статья сама по себе, и интересны те чеклисты (привел ниже cсылки), на которые она ссылается.
Надо обязательно проанализировать и сделать саммари, которое must have в нашем цикле лекций
RQS:
Lambin, P. et al. Radiomics: the bridge between medical imaging an
#cnn #biology #dilation #ResNet #ScientificML
https://www.cell.com/cell/fulltext/S0092-8674(18)31629-5
Отличная статья на биологическую тему - предсказание сайтов сплайсинга.
Коротко - у человека ген, кодирующий белок, не весь кодирует последовательность этого белка. Есть кодирующие его части - экзоны и некодирующие,регуляторные и просто мусорные части - интроны. Отвечает за вырезание из всей последовательности мРНК только нужных экзонов процесс, называемый сплайсинг.
Одной из важных задач является предсказание по последовательности гена экзонов и интронов - соответственно участков, в которых будет происходить вырезание.
В данной работе авторы это делают при помощи resnet-like архитектуры.
Более того - на самом деле некоторые участки в зависимости от условий/великого корейского рандома могут то трактоваться сплайсингом как интроны, то как экзоны. И скоры, которые выдает модель для сайтов сплайсинга коррелируют с вероятностью участка быть экзоном/интроном. Что тоже круто.
Ну и конечно, модель умеет в insilico-скрининг - мутируем последовательность интересующего нас гена и смотрим, изменится ли предсказание модели. Если изменилось, то поменялось то, как спласинг нарезает наш ген. Это часто приводит к чему-то нехорошему - наследственные болезни, опухоли и тд.
Модель хорошая и повсеместно используется. Можно вставлять в примеры архитектур CNN. Более того - она приятна еще и тем, что в ней активно используются dilation конволюции, примеров применения которых у нас в лекциях сейчас мало
https://www.cell.com/cell/fulltext/S0092-8674(18)31629-5
Отличная статья на биологическую тему - предсказание сайтов сплайсинга.
Коротко - у человека ген, кодирующий белок, не весь кодирует последовательность этого белка. Есть кодирующие его части - экзоны и некодирующие,регуляторные и просто мусорные части - интроны. Отвечает за вырезание из всей последовательности мРНК только нужных экзонов процесс, называемый сплайсинг.
Одной из важных задач является предсказание по последовательности гена экзонов и интронов - соответственно участков, в которых будет происходить вырезание.
В данной работе авторы это делают при помощи resnet-like архитектуры.
Более того - на самом деле некоторые участки в зависимости от условий/великого корейского рандома могут то трактоваться сплайсингом как интроны, то как экзоны. И скоры, которые выдает модель для сайтов сплайсинга коррелируют с вероятностью участка быть экзоном/интроном. Что тоже круто.
Ну и конечно, модель умеет в insilico-скрининг - мутируем последовательность интересующего нас гена и смотрим, изменится ли предсказание модели. Если изменилось, то поменялось то, как спласинг нарезает наш ген. Это часто приводит к чему-то нехорошему - наследственные болезни, опухоли и тд.
Модель хорошая и повсеместно используется. Можно вставлять в примеры архитектур CNN. Более того - она приятна еще и тем, что в ней активно используются dilation конволюции, примеров применения которых у нас в лекциях сейчас мало
SpliceAI2.jpeg
1.2 MB
Архитектуры моделей, тестировавшихся в статье
Нейроморфные чипы для нейросетей
Достижения в области машинного обучения напрямую связаны с увеличивающимеся (с годами) вычислительными ресурсами. Но есть нюанс - ML требует больше ресурсов быстрее, чем эти ресурсы становятся доступны (например OpenAI посчитали что ресурсы необходимые для достижениня SOTA удваиваются каждые 3.4 месяца).
В качестве решения предлагают использовать нйероморфные чипы - то есть чипы, которые тем или иным способом иммитируют природные мозги. Например, у человеческого мозга крайне низкие энергозатраты - всего 20 ватт. Для сравнения, для GPT-3 нужно 20 Мегаватт.
В статье рассказывается про современные подходы к реализации нейроморфных чипов:
1) Spiking Neural Networks
2) Highly Parallel Systems
3) Analogue Computing
И про лабы и стратапы, которые такие чипы уже делают.
#hardware
Достижения в области машинного обучения напрямую связаны с увеличивающимеся (с годами) вычислительными ресурсами. Но есть нюанс - ML требует больше ресурсов быстрее, чем эти ресурсы становятся доступны (например OpenAI посчитали что ресурсы необходимые для достижениня SOTA удваиваются каждые 3.4 месяца).
В качестве решения предлагают использовать нйероморфные чипы - то есть чипы, которые тем или иным способом иммитируют природные мозги. Например, у человеческого мозга крайне низкие энергозатраты - всего 20 ватт. Для сравнения, для GPT-3 нужно 20 Мегаватт.
В статье рассказывается про современные подходы к реализации нейроморфных чипов:
1) Spiking Neural Networks
2) Highly Parallel Systems
3) Analogue Computing
И про лабы и стратапы, которые такие чипы уже делают.
#hardware
Medium
Will we ever compute like a brain?
The majority of significant breakthroughs in computer science and Artificial Intelligence have been the result of an explosive increase in…