TorchGeo - PyTorch‘овая библиотека от Microsoft, аналогичная torchvision. В ней есть наборы данных, преобразования, семплеры и предварительно обученные модели, специфичные для geospatial (ГИС) данных.

🖥 Код
📎 Статья

#earthscience #geo #ScientificML #library

🚀 @SBERLOGA онлайн семинар по биоинформатике:
👨‍🔬 Всеволод Макеев (ИОГен РАН): «Различные задачи геномики, решающиеся с помощью задачи разладки»
⌚️ Пятница 19 Ноября, 18.00 (Moscow time)

Абстракт будет позднее.

О докладчике:
Всеволод Юрьевич Макеев - член-корреспондент РАН, заведующий отделом ИОГен РАН

Ссылка на зум будет доступна в чате: https://t.me/sberlogabio ближе к началу доклада.

⚠️OpenAI GPT-3 в доступе!⚠️
Это не учебная тревога и не реклама!

Скорее расчехляйте свои VPN и вперёд играть с GPT-3 и Codex. Там довольно много токенов дают бесплатно, пока не попросят денег.

Подключатся тут

UPD: Codex ещё в закрытой beta

На Марсе сделали геологическое открытие с помощью ML.

Единственные образцы марсианских пород на Земле - это метеориты, выброшенные с поверхности Марса в результате столкновения с астероидами. Местонахождение и геологический контекст мест падения в настоящее время неизвестны. Определение мест столкновений необходимо для раскрытия взаимосвязи между эволюцией марсианских недр и их поверхности.

Авторы статьи в Nature адаптировали алгоритм обнаружения кратеров (довольно простенькая вариация YOLO), который позволил определить первичные и вторичные кратеры. Оказалось, что несколько кратеров, расположенных в вулканической провинции Тарсис, являются наиболее вероятным источником нескольких найденных на Земле марсианских метеоритов выброшенных 1.1 млн лет назад.

Получается, что, пользуясь похожими методами, можно установить геологические свойства другой планеты и без дорогостоящих и долгосрочных миссий по возврату образцов с Марса (а ещё лучше не без, а вместе).

☄️ Статья

#ScientificML #earthscience

Machine Learning for Clouds and Climate

Алгоритмы машинного обучения являются мощными инструментами для построения моделей облаков и климата. Часто, это модели более точно соответствуют быстро увеличивающимся объемам данных о Земли, чем обычно используемые полуэмпирические модели.

В статье рассматриваются инструменты ML, включая интерпретируемые и физически управляемые ML, и объясняется, как они могут быть применены к облачным процессам в климатической системе, включая радиацию, микрофизику, конвекцию, а также обнаружение, классификацию, эмуляцию и количественную оценку неопределенности облаков.

📎 Статья

#ScientificML #earthscience #meteo

Подборка каналов для любителей науки, AI/ML и цифровых технологий — для тех, кто хочет держать руку на пульсе инноваций и делать будущее сегодня. Enjoy!

@sberloga — сообщество энтузиастов дата сайнс, биоинформатики, родившееся в Сбере, но открытое для всех

@biology_logic — качественные научно-популярные статьи о самом интересном в биологии

@pcr_news — информационный портал о молекулярной диагностике и смежных областях науки и медицины

@start_ds — канал с материалами для подготовки к собеседованиям в области Data Science и не только

@AI_meetups — митапы и прочие важные ивенты про AI, ML, DS, etc

@botka_chronics — интересная математика в машинном обучении и обработке изображений

@smart_lab_news — новости нанобиотеха: различные научные события, конкурсы, конференции и др.

@chemical_medicine — независимый канал о медицине, химии, фармакологии и мировом рынке биотехнологий от специалистов по медицинской химии.

@neuronovosti — новости нейронаук и нейротехнологий. Самые свежие новости нейротематики в вашем телефоне

@medicalksu — канал о цифровом здравоохранении и инновациях в медицине. Новости и ссылки на статьи о телемедицине, технологиях AI/ML, девайсах для врачей и пациентов и digital-проектах фармы.

#этополюбви

XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale

XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.

По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).

XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.

📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо

#SSL #sound #audio #speech

🧬 OpenFold: Точное воспроизведение AlphaFold 2 от DeepMind на PyTorch

Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.

Сегодня стала доступна PyTorch имплементация OpenFold.

OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.

OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.

🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.

Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.

💻 git 🔮colab

Bits and Bytes (Facebook AI)

Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.

Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы

Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.

🖥 Код
📎 Статья
📼 Видео

#training #optimizers

Хироаки Китано — глава лаборатории Sony по computer science — заявил о намерениях создать ИИ, который сможет получить Нобелевскую премию. Звучит неплохо, да?
#ai_inside

Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.

Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.

Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.

На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.

Как считаете, получится у кого-то выиграть конкурс к 2050 году?)

​Кармак и Ромеро опять играют в Doom — так зовут крыс, которых чувак обучил играть в шутер и отстреливать нечисть.

В общем, нейроинженер создал VR-установку с нуля, и обучил крыс проходить длинный коридор, созданный на движке Doom, где были монстры, которые не стреляли в ответ, а просто грозили пушками. В основе установки полистироловый шар, отслеживающий движения: крыса как бы ходит по нему, подвешенная на ремнях, и смотри на экран с игрой, который стоит перед её мордой. Если грызун делает «правильные» вещи (бегает и стреляет), то получает трубочку со сладкой водой, которую очень любит (тоже хочу такую систему к ПК).

Процедура обучения была такой: крыса идёт на монстра → ПО определяет, что игрок находится в непосредственной близости от монстра → крыса не знает что делать в этой ситуации, потому ПО активирует толкающий соленоид, который поднимает грызуна немного вверх → следующее его движение на шаре активирует выстрел → монстр умирает, животное немного опускается вниз и бежит дальше → пьёт сладкую водичку.

Сложно сказать, действительно ли крысы прямо играют в Doom или просто выпрашивают лакомство и бегают по шару, с другой стороны не каждый день увидишь как крыса убивает импа из дробовика. Разработчик, правда, не совсем доволен механикой стрельбы и считает, что ему надо было выбрать систему тыканья носом.

Короче, скоро ждём межвидовой deathmatch на Твиче между крысами и котами в метавселенной «Дикий мир» 🌚

Neural Fields in Visual Computing and Beyond

Последние достижения в области машинного обучения вызвали растущий интерес к решению проблем визуальных вычислений с помощью нейросетей, которые параметризуют физические свойства сцен или объектов в пространстве и времени. Эти методы, которые называют нейронными полями, нашли успешное применение в синтезе 3D-форм и изображений, анимации человеческих тел, 3D-реконструкции и оценке позы.

В докладе, авторы предоставляют контекст, математическое обоснование и обширный обзор литературы по нейронным полям. В первой части доклада авторы разбирают методы нейронных полей, включая различные представления, архитектуры, прямое отображение и методы обобщения. Во второй части, они разбирают приложения нейронных полей к различным проблемам в визуальных вычислениях и не только (например, робототехника, аудио). Помимо этого, авторы выпустили сопутствующий веб-сайт, который представляет собой живую версию обзора, постоянно обновляемую сообществом.

📎 Статья
🌎 Сайт

#neurofields

YOLaT: image recognition для векторных картинок (by Microsoft)

Похоже, это первая нейронка, которая может классифицировать и детектировать объекты в векторной графике без растеризации.

В отличие от пиксельных картинок, векторные состоят из аналитически выраженных геометрических фигур и, поэтому, их эквивалентное разрешение может быть бесконечным. Это делает невозможным использование стандартных методов image recognition.

Что предлагают авторы:
1. Преобразовать векторный файл в набор кривых Безье.
2. Кривые Безье превратить в ненаправленный мультиграф.
3. Запихнуть этот граф в графовую нейросеть.

Их метод демонстрирует state-of-the-art результат, работает в 100 раз быстрее, чем растеризация+CNN и требует в 25 раз меньше параметров.

Статья

Наконец-то нашел тулзу, которая может взять данные моих перемещений за много лет из GDPR-бекапа Google Maps и построить из них хитмап улиц. Теперь я знаю, что действительно ходил хотя бы раз уже почти по каждой улице внутри Берлина, но еще не по всем!

Давно хотел такой сервис, который бы автоматически рисовал такое, но они все жрут батарейку и не умеют в исторические данные. Один только Google шпионит за мной качественно.

Теперь-то мои сраные вечерние прогулки для сраного ментального здоровья станут целенаправленными! Ну и пригодится для следующего тревел-бложека.

P.S.: Тулза называется Location History Visualiser и работает без бекенда, а данные можно забрать в Google Takeout

DABS - The Domain Agnostic Benchmark for Self-Supervised Learning.

Можно ли использовать self-supervised обучение (SSL) с любыми данными? DABS - это бенчмарк методов SSL в семи различных областях, включая рентгеновские снимки грудной клетки, носимые датчики и мультиязычный текст.

Модели обучаются на не размеченном наборе данных в каждой области, а затем оценивают на последующих задачах в той же области.

Методы SSL, которые хорошо работают на DABS, могут быть особенно полезны для научных, медицинских, мультимодальных и других реальных задач, где не хватает меток или их дорого собирать.

📎 Статья
🖥 Код
📈 Бенчмарк
🌎 Красивый сайт

#SSL #ScientificML

Эффективное обучение визуальных трансформеров на небольших наборах данных

Визуальные трансформеры (ViT) уже почти сравнялись по популярности со сверточными сетями (CNN). Однако, ViT требуется намного больше данных, чем CNN.

В статье анализируются различные ViT, сравнивается их устойчивость в режиме малого набора данных для обучения, и демонстрируется, что, несмотря на сопоставимую точность при обучении на ImageNet, их производительность на меньших наборах данных может значительно отличаться.

Авторы предлагают self-supervised задачу, которая может извлекать дополнительную информацию из изображений с незначительными вычислительными затратами. Эта задача побуждает ViT изучать пространственные отношения внутри изображения и делает обучение ViT гораздо более надежным в условиях нехватки обучающих данных. Задача используется совместно с supervised обучением и не зависит от конкретных архитектурных решений. Этот метод помогает улучшить конечную точность ViT.

📎 Статья
🖥 Код

#transformer #SSL #images

An Image Patch is a Wave: Phase-Aware Vision MLP

В отличие от сверточных нейросетей (CNN) и визуальных трансформеров (ViT), многослойные перцептрон (MLP) - это вид моделей с чрезвычайно простой архитектурой, которая складывается только из линейных слоев. Входное изображение для зрительной MLP обычно разбивается на несколько патчей.

В статье предлагается представить каждый патч в виде волновой функции с двумя частями - амплитудой и фазой. Амплитуда - это исходная характеристика, а фаза - комплексное значение, изменяющееся в зависимости от семантического содержания входных изображений.

Основываясь на волновом представлении патчей, авторы создали новую архитектуру Wave-MLP для задач зрения.

Wave-MLP превосходит современные архитектуры MLP в различных задачах зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация.

📎 Статья

#MLP #images

Укатил на выходные в Амстердам, пока меня нет, почитайте про то, как Яндекс пилит свои беспилотники или про то, как Andrej Karpathy (Tesla AI) восхищается Copilot

Illustrated BERT

Пока я все ещё в дороге, почитайте этот прекрасный иллюстрированный обзор на BERT и ELMo. Это ваш шанс наконец-то разобраться о чем речь and why should you care.

GradInit: перебор гиперпараметров оптимизатора и warmup больше не нужны (by Google)

В гугл предложили супер крутой универсальный architecture-agnostic метод инициализации весов моделей.

Идея очень простая: добавить множители перед каждым блоком параметров и запустить по ним несколько итераций оптимизации лосса. Дальше эти множители фиксируем и учим модель как обычно. Такая инициализация не зависит от глубины и типа архитектуры (работает и на резнетах и на трансформерах) и почти полностью решает проблему взрывающихся\затухающих градиентов.

В итоге отпадает необходимость в переборе гиперпараметров оптимизатора, а трансформер вообще получилось обучить без warmup’a, что считалось практически невозможным. Как бонус, такая инициализация даёт небольшой буст на многих бенчмарках (и картиночных и текстовых).

Статья, GitHub