3D-Transformer: Molecular Representation with Transformer in 3D Space
Пространственные структуры в трехмерном пространстве важны для определения свойств молекул. В последних работах по представлению молекул и прогнозированию свойств используется геометрическое глубокое обучение. Однако таки сети требуют больших вычислительных затрат для учета дальних зависимостей входных атомов, а также не учитывают неоднородность межатомных расстояний, что не позволяет изучать контекстно-зависимые представления на разных масштабах.
Чтобы решить эти проблемы, авторы придумали 3D-Transformer, вариант трансформера для молекулярных представлений, который включает трехмерную пространственную информацию. 3D-Transformer работает на полносвязных графах с прямыми связями между атомами. Чтобы справиться с неоднородностью межатомных расстояний, они разработали разномасштабный модуль self-attention.
Статья
Код
#ScientificML #chemistry #transformers #3d
Пространственные структуры в трехмерном пространстве важны для определения свойств молекул. В последних работах по представлению молекул и прогнозированию свойств используется геометрическое глубокое обучение. Однако таки сети требуют больших вычислительных затрат для учета дальних зависимостей входных атомов, а также не учитывают неоднородность межатомных расстояний, что не позволяет изучать контекстно-зависимые представления на разных масштабах.
Чтобы решить эти проблемы, авторы придумали 3D-Transformer, вариант трансформера для молекулярных представлений, который включает трехмерную пространственную информацию. 3D-Transformer работает на полносвязных графах с прямыми связями между атомами. Чтобы справиться с неоднородностью межатомных расстояний, они разработали разномасштабный модуль self-attention.
Статья
Код
#ScientificML #chemistry #transformers #3d
Я все еще не могу себя заставить зайти в твиттер и почитать свежачок. Но тем не менее, вот вам отличная статья про Attention. Лучше пока ничего не написали (в том числе есть перевод на русский). Или если больше заходят видосы, посмотрите лекцию NYU.
#basics #attention #transformers
#basics #attention #transformers
jalammar.github.io
Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)
Translations: Chinese (Simplified), French, Japanese, Korean, Persian, Russian, Turkish, Uzbek
Watch: MIT’s Deep Learning State of the Art lecture referencing this post
May 25th update: New graphics (RNN animation, word embedding graph), color coding, elaborated…
Watch: MIT’s Deep Learning State of the Art lecture referencing this post
May 25th update: New graphics (RNN animation, word embedding graph), color coding, elaborated…
Новый фронтир биологических знаний - ESM Metagenomic Atlas
Представьте, что у вас в коробке кусочки от сотни миллионов разных пазлов. Решитесь собрать их?
Тогда вам в метагеномику. Берем образец среды и изучаем генетический материал всего образца (метагеном): какие там белковые структуры, функции и метаболические взаимосвязи.
Функция белка зависит от его структуры, даже если последовательность аминокислот различается. Экспериментально стуркутру определяли с помощью рентгеноструктурного анализа (если повезет вырастить кристалл). Благодаря AlfaFold человечество сделало гигантский шаг вперёд. И посветило фонариком вбездну метагеномные структуры.
Meta создали атлас этих структур с помощью ESMFold, которая предсказывает форму с точностью до атомов непосредственно из представления языковой модели этой последовательности. Точность сравнима с AlfaFold, а инференс на порядок быстрее (от 6 до 60 раз). За 2 недели на 2000 GPU собрали 617 миллионов белков.
#transformers
📖статья
🧩код
🗺атлас
@GingerSpacetail
Представьте, что у вас в коробке кусочки от сотни миллионов разных пазлов. Решитесь собрать их?
Тогда вам в метагеномику. Берем образец среды и изучаем генетический материал всего образца (метагеном): какие там белковые структуры, функции и метаболические взаимосвязи.
Функция белка зависит от его структуры, даже если последовательность аминокислот различается. Экспериментально стуркутру определяли с помощью рентгеноструктурного анализа (если повезет вырастить кристалл). Благодаря AlfaFold человечество сделало гигантский шаг вперёд. И посветило фонариком в
Meta создали атлас этих структур с помощью ESMFold, которая предсказывает форму с точностью до атомов непосредственно из представления языковой модели этой последовательности. Точность сравнима с AlfaFold, а инференс на порядок быстрее (от 6 до 60 раз). За 2 недели на 2000 GPU собрали 617 миллионов белков.
#transformers
📖статья
🧩код
🗺атлас
@GingerSpacetail