AI Для Всех
12.8K subscribers
1.17K photos
152 videos
10 files
1.37K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
3D-Transformer: Molecular Representation with Transformer in 3D Space

Пространственные структуры в трехмерном пространстве важны для определения свойств молекул. В последних работах по представлению молекул и прогнозированию свойств используется геометрическое глубокое обучение. Однако таки сети требуют больших вычислительных затрат для учета дальних зависимостей входных атомов, а также не учитывают неоднородность межатомных расстояний, что не позволяет изучать контекстно-зависимые представления на разных масштабах.

Чтобы решить эти проблемы, авторы придумали 3D-Transformer, вариант трансформера для молекулярных представлений, который включает трехмерную пространственную информацию. 3D-Transformer работает на полносвязных графах с прямыми связями между атомами. Чтобы справиться с неоднородностью межатомных расстояний, они разработали разномасштабный модуль self-attention.

Статья
Код

#ScientificML #chemistry #transformers #3d
Я все еще не могу себя заставить зайти в твиттер и почитать свежачок. Но тем не менее, вот вам отличная статья про Attention. Лучше пока ничего не написали (в том числе есть перевод на русский). Или если больше заходят видосы, посмотрите лекцию NYU.

#basics #attention #transformers
Новый фронтир биологических знаний - ESM Metagenomic Atlas

Представьте, что у вас в коробке кусочки от сотни миллионов разных пазлов. Решитесь собрать их?

Тогда вам в метагеномику. Берем образец среды и изучаем генетический материал всего образца (метагеном): какие там белковые структуры, функции и метаболические взаимосвязи.

Функция белка зависит от его структуры, даже если последовательность аминокислот различается. Экспериментально стуркутру определяли с помощью рентгеноструктурного анализа (если повезет вырастить кристалл). Благодаря AlfaFold человечество сделало гигантский шаг вперёд. И посветило фонариком в бездну метагеномные структуры.

Meta создали атлас этих структур с помощью ESMFold, которая предсказывает форму с точностью до атомов непосредственно из представления языковой модели этой последовательности. Точность сравнима с AlfaFold, а инференс на порядок быстрее (от 6 до 60 раз). За 2 недели на 2000 GPU собрали 617 миллионов белков.

#transformers

📖статья
🧩код
🗺атлас

@GingerSpacetail