SEDENOSS: SEparating and DENOising Seismic Signals With Dual-Path Recurrent Neural Network Architecture

У меня опубликовали статью! Вот о чем она:

Ученым, изучающим землетрясения, приходится иметь дело с перекрывающимися и шумными сигналами, например, когда происходит землетрясение, оно часто вызывает последовательность афтершоков. Сигналы, записанные от этих афтершоков, могут значительно перекрываться. В нашей новой работе мы использовали методы обработки сигналов для решения этой проблемы. Используя машинное обучение, мы продемонстрировали возможность разделения источников для одностанционных, однокомпонентных сейсмических записей. Техника, которую мы используем для разделения сейсмических сигналов, основана на bi-directional рекуррентной нейронной сети, которая применяется непосредственно к временным рядам (а не к спектрограммам). Подробнее см. в нашей новой статье.

📋Статья

#ScientificML #Earth #Seismology #RNN

​Крутой новый алгоритм от DeepMind в сотрудничестве с Венецианским университетом, который восстанавливает, размечает и даже помогает найти дату создания древне-греческих текстов, используя ИИ и умы историков.

Нейронку назвали Ithaca, и в Nature можно подробно прочитать ее презентацию. Так вот, по оценкам Ithaca достигает 62% точности при восстановлении поврежденных текстов, 71% точности при определении их первоначального местоположения и датирует их с точностью +/- 30 лет от их истинных дат написания.

Алгоритм обучали на большом наборе данных греческих надписей, а именно на порядке появления слов в предложениях и связях между ними, это формирует контекст и смысл. Для примера фраза «Когда-то давным давно» имеет больше смысла, чем отдельные слова в ней. Части фраз, конечно, утеряна безвозвратно, поэтому и отдельные символы тоже подверглись анализу.

Сам алгоритм не выдает конечный результат, мол вот тебе текст, а по факту предлагает несколько гипотез и прогнозов, дабы уже историки подключали свой опыт и формулировали конечный результат – очень крутой пример AI как инструмента в узкой теме. Теперь интересные факты о «man vs machine» — эксперты достигли 25%-точности при самостоятельной работе по восстановлению текста, когда как Ithaca достиг 72%, а это очень крутой результат и потенциал совместного сотрудничества.

Новые данные уже работаю и уже показали результаты: ряд афинских указов, которые раньше датировали 446/445 годами до н. э. теперь относят к 420-м годам до н. э., вроде не значительно, но значение имеет фундаментальное.

Вот тут выложили исходный код, а тут интерактивную версию Ithaca, и это отличный повод проверить вырезанные на склепе греческие буквы из моего недавнего поста (в этом канале руны есть, древние греческие символы есть, кажется я Лара Крофт почти).

Я немного офигел, потому что нейронка максимально точно показала месторасположение надписей где я их сканировал (внизу скриншот), и дату их написания определила — 260-270 гг. н. э., ваще.

А еще, кому интересно, вот тут нашел много греческих текстов, с которыми можно поиграться алгоритмом.

Мы выложили вторую лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции обсудили: как учат машины, что такое нейрон, как вообще нейросети работают и конечно же примеры из разных областей науки 🧬

🎥 Лекция 1. Новая суперспособность науки
🎥 Лекция 2. Как учить машины

> Россия почти как :vim:
> Тоже приходится гуглить, как выйти.

Открываем жанр History porn.

Андрей Карпати из Tesla решил повторить ту самую сетку Яна ЛеКа(у)на из 1989 года и написал об этом пост (🔥), который читается как смесь исторического детектива и стендап для гиков одновременно.

Короткие выводы основанные на путешествии во времени на 33 года назад: Что бы подумал путешественник во времени из 2055 года о производительности современных сетей?

Нейронные сети 2055 года на макроуровне практически не отличаются от нейронных сетей 2022 года, разве что они больше.

Наши сегодняшние наборы данных и модели выглядят как шутка. И то, и другое где-то в 10 000 000 000 раз больше.

Современные модели 2022 года можно обучить за ~1 минуту, обучаясь на своем персональном вычислительном устройстве в качестве развлекательного проекта на выходных.

Наши наборы данных слишком малы, и скромный выигрыш можно получить только за счет расширения набора данных.

🔥Пост

ChemicalX - это библиотека на основе PyTorch и TorchDrug для оценки пар лекарств, которая предсказывает лекарственные взаимодействия, побочные эффекты полифармацевтики и возможные синергические эффекты, как в биологическом, так и в химическом контексте.

🖥 Код

#ScientificML, #chemistry, #bio

Мы выложили 3 лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции обсудили: линейные слои, эмбеддинги, word2vec и применения таких сетей в литературных и исторических задачах.

🎥 Лекция 1. Новая суперспособность науки
🎥 Лекция 2. Как учить машины
🎥 Лекция 3. Линейные модели

Интересное интервью про то, как вернуть биологию в нейронные сети: https://youtu.be/smxwT82o40Y

3 вещи которые нужно знать про Visual Transformers:

1. Residual слои ViT можно эффективно распараллелить, на точности это практически не скажется

2. Для адаптации ViT к более высокому разрешению и к другим задачам классификации достаточно файнтюнинга слоев внимания.

3. Добавление слоев предварительной обработки патчей на основе MLP улучшает self-supervised обучение по типу BERT (на основе маскировки патчей)

📝 Статья

#transformer #vit

Многие студенты (и не только) совершенно не умеют презентовать графики. Отличный тред с объяснением как надо: https://twitter.com/jbhuang0604/status/1506101759911116809?s=21

Автоматическое обобщение в Google Docs.

Признаться честно, я и не заметил, но оказывается GDocs теперь умеют генерировать summary по всему документу. Напишите в комментах как будете пользоваться этой темой (я пока затрудняюсь придумать полезное применение, но круто же).

А тут подробнее

#news

Мы выложили 4 лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции поговорили про то как работают сверточные сети (CNN), почему их круто применять для изображений, как с их помощью можно производить детекцию и сегментацию объектов и даже разобрались, как такие сети помогли определить возраст поверхности Марса!

🎥 Лекция 1. Новая суперспособность науки
🎥 Лекция 2. Как учить машины
🎥 Лекция 3. Линейные модели
🎥 Лекция 4. Сверточные сети

Привет всем моим друзьям, которые добавились 💙

Не знаю какую чёрную магию они туда прикрутили, но их генеративная модель (да, это нарисовала нейросеть) выглядит на порядок стильнее, чем все, что мы видели до этого! И вроде как пускают тестить бету

#text2image

Roadmap for Information Retrieval

Поиск информации (IR), задача поиска и доступа к соответствующим знаниям, вероятно, является одной из наиболее определяющих проблем информационного века. Люди используют IR каждый день, чтобы найти книги в электронной библиотеке, обувь в интернет-магазине, песни в стриминговом музыкальном сервисе и многое другое.

Нейронные модели - отличный метод для решения этой задачи, благодаря их способности глубоко понимать язык. Подобно тому, как людям, занятым на наукоемких работах, обычно приходится обращаться к знаниям в Интернете, нейронные сети должны эффективно искать более масштабные источники знаний. В последнее время исследователи добились больших успехов в повышении точности и эффективности предварительно обученных языковых моделей.

Почитать о том, что они придумали можно в блоге одной «экстремистской организации» 🤦‍♂️.

#information #text

Я понимаю, что мы тут всякими продвинутыми штуками занимаемся. Но… вы во сколько лет узнали? (Я в сейчас лет)

Tim Urban: Научите меня чему-то интересному используя один комментарий
Buddha and Dog: Компьютеры используют бинарный код, и эта картинка содержит в себе и 0, и 1 (бинарные числа). Вкл и Выкл. 1 и 0.

Источник

Пока я пишу статьи и делаю свой курс, кто-то (я первый раз про этих чуваков слышу) уже успел написать целую книжку про машинное обучение в изучении других планет!

📖 Книжка

#ScientificMl