Awesome ML-ops. Нашёл репо со ссылками на (примерно) все инструменты существующие в этой области.

Мозг обладает удивительной способностью обрабатывать визуальную информацию. Люди могут бросить один взгляд на сложную сцену и сразу же быть в состоянии описать увиденное простым языком.

В основе этой способности лежат сложные вычисления, выполняемые зрительной корой. Для того чтобы полностью понять, что это за вычисления, необходимо выяснить, как семантически значимая информация представлена в активациях нейронов зрения.

Исследователи из DeepMind разработали нейросеть β-VAE. Она относится к новому типу интерпретируемых сетей - disentanglement networks. β-VAE учится, предсказывая свои собственные входы; для успешного обучения ей требуется визуальный опыт, аналогичный тому, с которым сталкиваются младенцы; а ее усвоенное скрытое представление похоже на свойства присущие зрительному мозгу.

В своей работе, авторы заметили, что нейроны, обнаруженные с помощью β-VAE, ведут себя как аналогичное по размеру подмножество настоящих нейронов в мозге приматов.

🔭 Блог-пост

#ScientificML

Раскапываю материалы по применению алгоритмов классификации (ML/DL) в различных научных областях (желательно что-то кроме медицины и биологии). Поделитесь хорошими опубликованными статьями?

Benchmarking deep generative models for diverse antibody sequence design

Дизайн новых и разнообразных белков, соответствующих заданной структуре, остается важной нерешенной задачей. В последнее время глубокие генеративные модели, которые обучаются только на основе последовательностей или на основе последовательностей и структур совместно, показали впечатляющие результаты в решении этой задачи.

Исследователи из IBM рассматривают три недавно предложенные глубокие генеративные схемы для проектирования белков: (AR) авторегрессионная генеративная модель на основе последовательности, (GVP) графовая нейронная сеть на основе точной структуры и Fold2Seq.

Авторы сравнили эти модели на задаче вычислительного дизайна последовательностей антител, которая требует проектирования последовательностей с высоким разнообразием для функциональной привязки. Модель Fold2Seq превосходит две другие базовые модели по разнообразию конструируемых последовательностей.

📎 Статья

#ScientificML #biology #generative

SDSS Galaxies

Набор данных из 306 006 галактик, координаты которых взяты из Sloan Digital Sky Survey Data Release. Изображения галактик получены с помощью спектроскопического прибора Dark Energy Spectroscopic Instrument.

🗂 Данные
📎 Статья

#ScientificML #astronomy #datasets

MetNet-2. Глубокое обучение для 12 часового прогноза осадков.

Прогнозирование погоды обычно опирается на традиционные методы, основанные на физике и использующие крупнейшие в мире суперкомпьютеры (об этом очень хорошо написано у Вастрика). Такие методы ограничены высокими вычислительными требованиями и чувствительны к приближениям физических законов, на которых они основаны.

Глубокое обучение предлагает новый подход к вычислению прогнозов (как например в недавней работе от DeepMind). Модели глубокого обучения не включают в себя явные физические законы, а учатся предсказывать погодные условия непосредственно на основе наблюдаемых данных и способны вычислять прогнозы быстрее, чем методы, основанные на физике.

В новой работе, Google AI демонстрирует нейросеть для прогнозирования осадков на следующие 12 часов (с пространственным разрешением в 1 км и временным разрешением в 2 минуты).

📎 Статья
🔭 Блог-пост

#ScientificML #earthscience #meteorology

Многие алгоритмы машинного обучения, как supervised, так и self-supervised, используют метрики расстояния. В этой чудесной шпаргалке подробно рассмотрены основные 9.

Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.

🔭 Блог-пост

#basics #training

Похоже, опенсорсное ПО по изучению структуры белков начинает приносить свои плоды — коллаборация учёных получила данные о том, как трёхмерные структуры белков собираются вместе, образуя многобелковый комплекс. Дальше будет сложно, но мне кажется один фиг интересно.

Вот тут можете освежить в памяти инфу, я писал об нейронке AlphaFold2 от DeepMind, которая достаточно точно предсказывает структур молекулы белка, исходя из определенного набора аминокислот. Новое же исследование как бы немного переступает этот шаг и говорит сразу о том, как эти молекулы объединяются в сложные структуры, что очень круто.

Например, комплекс, создающий копии наших хромосом обычно состоит из более чем десятка белков, объединенные структуры которых требуют тщательной координации их химических изменений. А для того чтобы собрать эти и другие комплексы вместе, необходимо правильно сложить составляющие их белки в нужные трехмерные формы. AlphaFold и RoseTTAFold как раз этим и занимаются, но после того, как складывание завершено, белки должны взаимодействовать друг с другом, правильно соединяться (например «+» заряд на одном белке соответствует «-» заряду на его партнёре).

Метод нейронок оказался полезным при сборке многобелковых структур — RoseTTAFold, например, частично разбивает аминокислотную последовательность белка на более мелкие части и считает каждую из них, прежде чем собрать конструктор. При этом обнаружили, что если подать RoseTTAFold кусочки двух разных белков, она с радостью скушает инфу и соберет оба белка, учитывая их ориентацию и расстояние между ними.

Еще крутой особенностью алгоритмов является то, что их прогнозы опираются на эволюцию — например мутации, когда «+» в белке А мутирует и не может взаимодействовать с «-» в белке Б, алгоритм просчитывает даже варианты, если «-» белка Б тоже будет мутировать и компенсирует проблему, потому что не все аминокислоты могут образовывать спиральные структуры.

Круто осознавать, что вот только в июле появившиеся нейронки уже дают какие-то полезные данные, а ведь прошло меньше чем пол года. И это еще один шаг навстречу лечения разных серьезных заболеваний с помощью таких вот моделей 🧬

TorchGeo - PyTorch‘овая библиотека от Microsoft, аналогичная torchvision. В ней есть наборы данных, преобразования, семплеры и предварительно обученные модели, специфичные для geospatial (ГИС) данных.

🖥 Код
📎 Статья

#earthscience #geo #ScientificML #library

🚀 @SBERLOGA онлайн семинар по биоинформатике:
👨‍🔬 Всеволод Макеев (ИОГен РАН): «Различные задачи геномики, решающиеся с помощью задачи разладки»
⌚️ Пятница 19 Ноября, 18.00 (Moscow time)

Абстракт будет позднее.

О докладчике:
Всеволод Юрьевич Макеев - член-корреспондент РАН, заведующий отделом ИОГен РАН

Ссылка на зум будет доступна в чате: https://t.me/sberlogabio ближе к началу доклада.

⚠️OpenAI GPT-3 в доступе!⚠️
Это не учебная тревога и не реклама!

Скорее расчехляйте свои VPN и вперёд играть с GPT-3 и Codex. Там довольно много токенов дают бесплатно, пока не попросят денег.

Подключатся тут

UPD: Codex ещё в закрытой beta

На Марсе сделали геологическое открытие с помощью ML.

Единственные образцы марсианских пород на Земле - это метеориты, выброшенные с поверхности Марса в результате столкновения с астероидами. Местонахождение и геологический контекст мест падения в настоящее время неизвестны. Определение мест столкновений необходимо для раскрытия взаимосвязи между эволюцией марсианских недр и их поверхности.

Авторы статьи в Nature адаптировали алгоритм обнаружения кратеров (довольно простенькая вариация YOLO), который позволил определить первичные и вторичные кратеры. Оказалось, что несколько кратеров, расположенных в вулканической провинции Тарсис, являются наиболее вероятным источником нескольких найденных на Земле марсианских метеоритов выброшенных 1.1 млн лет назад.

Получается, что, пользуясь похожими методами, можно установить геологические свойства другой планеты и без дорогостоящих и долгосрочных миссий по возврату образцов с Марса (а ещё лучше не без, а вместе).

☄️ Статья

#ScientificML #earthscience

Machine Learning for Clouds and Climate

Алгоритмы машинного обучения являются мощными инструментами для построения моделей облаков и климата. Часто, это модели более точно соответствуют быстро увеличивающимся объемам данных о Земли, чем обычно используемые полуэмпирические модели.

В статье рассматриваются инструменты ML, включая интерпретируемые и физически управляемые ML, и объясняется, как они могут быть применены к облачным процессам в климатической системе, включая радиацию, микрофизику, конвекцию, а также обнаружение, классификацию, эмуляцию и количественную оценку неопределенности облаков.

📎 Статья

#ScientificML #earthscience #meteo

Подборка каналов для любителей науки, AI/ML и цифровых технологий — для тех, кто хочет держать руку на пульсе инноваций и делать будущее сегодня. Enjoy!

@sberloga — сообщество энтузиастов дата сайнс, биоинформатики, родившееся в Сбере, но открытое для всех

@biology_logic — качественные научно-популярные статьи о самом интересном в биологии

@pcr_news — информационный портал о молекулярной диагностике и смежных областях науки и медицины

@start_ds — канал с материалами для подготовки к собеседованиям в области Data Science и не только

@AI_meetups — митапы и прочие важные ивенты про AI, ML, DS, etc

@botka_chronics — интересная математика в машинном обучении и обработке изображений

@smart_lab_news — новости нанобиотеха: различные научные события, конкурсы, конференции и др.

@chemical_medicine — независимый канал о медицине, химии, фармакологии и мировом рынке биотехнологий от специалистов по медицинской химии.

@neuronovosti — новости нейронаук и нейротехнологий. Самые свежие новости нейротематики в вашем телефоне

@medicalksu — канал о цифровом здравоохранении и инновациях в медицине. Новости и ссылки на статьи о телемедицине, технологиях AI/ML, девайсах для врачей и пациентов и digital-проектах фармы.

#этополюбви

XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale

XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.

По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).

XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.

📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо

#SSL #sound #audio #speech

🧬 OpenFold: Точное воспроизведение AlphaFold 2 от DeepMind на PyTorch

Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.

Сегодня стала доступна PyTorch имплементация OpenFold.

OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.

OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.

🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.

Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.

💻 git 🔮colab

Bits and Bytes (Facebook AI)

Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.

Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы

Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.

🖥 Код
📎 Статья
📼 Видео

#training #optimizers

Хироаки Китано — глава лаборатории Sony по computer science — заявил о намерениях создать ИИ, который сможет получить Нобелевскую премию. Звучит неплохо, да?
#ai_inside

Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.

Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.

Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.

На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.

Как считаете, получится у кого-то выиграть конкурс к 2050 году?)

​Кармак и Ромеро опять играют в Doom — так зовут крыс, которых чувак обучил играть в шутер и отстреливать нечисть.

В общем, нейроинженер создал VR-установку с нуля, и обучил крыс проходить длинный коридор, созданный на движке Doom, где были монстры, которые не стреляли в ответ, а просто грозили пушками. В основе установки полистироловый шар, отслеживающий движения: крыса как бы ходит по нему, подвешенная на ремнях, и смотри на экран с игрой, который стоит перед её мордой. Если грызун делает «правильные» вещи (бегает и стреляет), то получает трубочку со сладкой водой, которую очень любит (тоже хочу такую систему к ПК).

Процедура обучения была такой: крыса идёт на монстра → ПО определяет, что игрок находится в непосредственной близости от монстра → крыса не знает что делать в этой ситуации, потому ПО активирует толкающий соленоид, который поднимает грызуна немного вверх → следующее его движение на шаре активирует выстрел → монстр умирает, животное немного опускается вниз и бежит дальше → пьёт сладкую водичку.

Сложно сказать, действительно ли крысы прямо играют в Doom или просто выпрашивают лакомство и бегают по шару, с другой стороны не каждый день увидишь как крыса убивает импа из дробовика. Разработчик, правда, не совсем доволен механикой стрельбы и считает, что ему надо было выбрать систему тыканья носом.

Короче, скоро ждём межвидовой deathmatch на Твиче между крысами и котами в метавселенной «Дикий мир» 🌚

Neural Fields in Visual Computing and Beyond

Последние достижения в области машинного обучения вызвали растущий интерес к решению проблем визуальных вычислений с помощью нейросетей, которые параметризуют физические свойства сцен или объектов в пространстве и времени. Эти методы, которые называют нейронными полями, нашли успешное применение в синтезе 3D-форм и изображений, анимации человеческих тел, 3D-реконструкции и оценке позы.

В докладе, авторы предоставляют контекст, математическое обоснование и обширный обзор литературы по нейронным полям. В первой части доклада авторы разбирают методы нейронных полей, включая различные представления, архитектуры, прямое отображение и методы обобщения. Во второй части, они разбирают приложения нейронных полей к различным проблемам в визуальных вычислениях и не только (например, робототехника, аудио). Помимо этого, авторы выпустили сопутствующий веб-сайт, который представляет собой живую версию обзора, постоянно обновляемую сообществом.

📎 Статья
🌎 Сайт

#neurofields