Теперь мы публичный канал, зовите друзей. Админские права сохраняются за персоналом msu.ai, комментарии открытые

В статье предлагается использовать автоенкодер, полученный модификацией VAE для self-supervised learning.

Дает неплохие результаты, хотя пока хуже self-supervised SOTA. Будем посмотреть

У Яндекса и Британских коллег стартовал конкурс по предсказанию погоды, и не абы как, а с data shift. Тренировочные данные даны по одному городу, а проверяют по другому.

#competition #ScientificML #datasets #earthscience

В одном из моих любимых каналов “Don’t panic!” @psycholetters нашёл сегодня прекрасную ссылку на тему data science в литературоведении
https://www.pnas.org/content/118/30/e2102061118
Проанализировав тексты 14 млн. книг за последние 125 лет (на английском, немецком и испанском языках) на предмет присутствия в них явных признаков когнитивных искажений, характерных для депрессивных расстройств, авторы обнаружили отчетливо наблюдающиеся «хоккейные клюшки»: после примерно постоянного многолетнего уровня с 80-х годов прошлого века начался подъем, и теперь эти искажения присутствуют в количествах, которых не было ни во времена Великой депрессии, ни в периоды I и II Мировых войн.
Автор канала так суммирует выводы исследования:
«Оказалось, что с 90-х годов прошлого века таких когнитивных искажений в литературе стало больше. То есть в книгах сейчас гораздо легче найти примеры катастрофизации, овергенерализации, черно-белого мышления итд.
Авторы предполагают, что это показывает некие глобальные общественные сдвиги - т.е. мы стали более склонны к депрессии как целый вид, что отражается в творчестве. Но это, конечно, очень спекулятивно и лишь одно из десятков возможных объяснений.» https://t.me/psycholetters/1205
Независимо от выводов (они действительно выглядят спекулятивными) мне очень нравится такой подход к литературоведению :))

AI News:
Deep Genomics 🧬 под научным руководством Yann LeCun подняла раунд финансирования на $180M.
Компания обещает AI Discovery platform for ‘Programmable’ RNA therapeutics

#news #ScientificML #money

AI News:
Tesla AI Day August 19th

#news

Неплохой пример по примению графовых конволюций. На гите есть jupyter notebook с примером

#ScientificML

Graph Convolutional Neural Networks to Analyze Complex Carbohydrates

A blog post by Daniel Bojar about an application of GNN to analyzing glycan sequences and their proposed GNN architecture called SweetNet. There are other coverages of this work (here and here). The paper is here and the code is here.

Antarctic Captioning - на основе CLIP и сети для image captioning:

Colab
Git

Позволяет генерировать описания к картинкам, которые значительно выходят за рамки любой обученной модели, например COCO.

#images #captioning #multimodal #CLIP

Audio Captioning Transformer

Было бы круто обучить такую же модель, но для описания последовательностей/временных рядов. Например для графиков давления - типа «давление падает в виду движения циклона на северо-восток».

#waveforms #audio #captioning

Отличное summary Alias-Free GAN с привязкой к StyleGan2:

YouTube

#gan #holdontoyoirpapers #images

Библиотека для визуализации feature importance.

Интегрирует другие. Сама решений не предлагает

#explainability

Что такое CLIP и как он работает не объяснил только ленивый. А вот подъехала Open-Source имплементация.

#multimodal #CLIP

В борьбе снаряда (hyperparameter optimization) и брони (neural architecture search) вновь победа за «снарядом».

AutoTinyBERT: Automatic Hyper-parameter Optimization for Efficient Pre-trained Language Models


#nlp #training

Они адекватно написали все. На уровне популяризации точно ок.

Почему задача фолдинга не решена они не поняли. Проблема не в комплексах - их альфафолдом2 иногда можно предсказать. Проблема в том, что он очень сильно не учитывает биологию, то, что у белка очень сильно структура зависит от малых изменений pH, молекул рядом и тд.
Условно канонический пример - alphafold2 предсказывает для белка, связывающегося с кальцием, структуру, характерную для того, когда он связался с кальцием. Хотя, очевидно, альфолдуу инфу про кальций не давали и по дефолту (если задача решена) он должен давать структуру без кальция.
А выдает он ее с кальцием, ибо в PDB преобладают структуры этого белка с кальцием.

Ну и аналогично есть белки, которые постоянно в ходе работы меняют две конформации - альфафолд может там предсказать одну форму, вторую форму, и среднее. И предугадать это заранее нельзя

Нейросеть для генерации картинок.

DALL-E Mini демка на 🤗 spaces

Можно поиграться прямо с телефона. Красота :)

Видео-разбор

#text2image #images #generative #demo

Шустрая демка YOLOv5 на 🤗 Spaces

#demo #detection

3D визуализации рентгеновских снимков от NVidia

#ScientificML #medicine

Большая и поучительная история как AI не помог в борьбе с пандемией. Почему так вышло? Кто виноват? И что делать?

Если совсем кратко - то «garbage in - garbage out” (подаёшь мусорные данные на вход - получаешь мусорные предсказания на выходе)

Видео-разбор

#science #ScientificML #medicine