Давайте я буду честным. Пока я не хочу и не буду писать контент про машинное обучение. Производители GPU ещё не вводили санкции, но не думаю, что это маловероятное событие.

Не молчите и помните, что любовь сильнее страха 💚

В свете новых блокировок (ночью у части пользователей перестал работать FB, Twitter, Медуза и (!) AppStore/GooglePlay (!), спешу вам напомнить про VPN. Могу порекомендовать Psiphon и NewNode VPN

А вот и первые санкции от сектора так или иначе связанного с Машинным Обучением

Intel и AMD приостанавливают поставки своей продукции в Россию и Белоруссию.

Крупнейший производитель видеокарт Nvidia приостанавливает продажу своей продукции в России.

SEDENOSS: SEparating and DENOising Seismic Signals With Dual-Path Recurrent Neural Network Architecture

У меня опубликовали статью! Вот о чем она:

Ученым, изучающим землетрясения, приходится иметь дело с перекрывающимися и шумными сигналами, например, когда происходит землетрясение, оно часто вызывает последовательность афтершоков. Сигналы, записанные от этих афтершоков, могут значительно перекрываться. В нашей новой работе мы использовали методы обработки сигналов для решения этой проблемы. Используя машинное обучение, мы продемонстрировали возможность разделения источников для одностанционных, однокомпонентных сейсмических записей. Техника, которую мы используем для разделения сейсмических сигналов, основана на bi-directional рекуррентной нейронной сети, которая применяется непосредственно к временным рядам (а не к спектрограммам). Подробнее см. в нашей новой статье.

📋Статья

#ScientificML #Earth #Seismology #RNN

​Крутой новый алгоритм от DeepMind в сотрудничестве с Венецианским университетом, который восстанавливает, размечает и даже помогает найти дату создания древне-греческих текстов, используя ИИ и умы историков.

Нейронку назвали Ithaca, и в Nature можно подробно прочитать ее презентацию. Так вот, по оценкам Ithaca достигает 62% точности при восстановлении поврежденных текстов, 71% точности при определении их первоначального местоположения и датирует их с точностью +/- 30 лет от их истинных дат написания.

Алгоритм обучали на большом наборе данных греческих надписей, а именно на порядке появления слов в предложениях и связях между ними, это формирует контекст и смысл. Для примера фраза «Когда-то давным давно» имеет больше смысла, чем отдельные слова в ней. Части фраз, конечно, утеряна безвозвратно, поэтому и отдельные символы тоже подверглись анализу.

Сам алгоритм не выдает конечный результат, мол вот тебе текст, а по факту предлагает несколько гипотез и прогнозов, дабы уже историки подключали свой опыт и формулировали конечный результат – очень крутой пример AI как инструмента в узкой теме. Теперь интересные факты о «man vs machine» — эксперты достигли 25%-точности при самостоятельной работе по восстановлению текста, когда как Ithaca достиг 72%, а это очень крутой результат и потенциал совместного сотрудничества.

Новые данные уже работаю и уже показали результаты: ряд афинских указов, которые раньше датировали 446/445 годами до н. э. теперь относят к 420-м годам до н. э., вроде не значительно, но значение имеет фундаментальное.

Вот тут выложили исходный код, а тут интерактивную версию Ithaca, и это отличный повод проверить вырезанные на склепе греческие буквы из моего недавнего поста (в этом канале руны есть, древние греческие символы есть, кажется я Лара Крофт почти).

Я немного офигел, потому что нейронка максимально точно показала месторасположение надписей где я их сканировал (внизу скриншот), и дату их написания определила — 260-270 гг. н. э., ваще.

А еще, кому интересно, вот тут нашел много греческих текстов, с которыми можно поиграться алгоритмом.

Мы выложили вторую лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции обсудили: как учат машины, что такое нейрон, как вообще нейросети работают и конечно же примеры из разных областей науки 🧬

🎥 Лекция 1. Новая суперспособность науки
🎥 Лекция 2. Как учить машины

> Россия почти как :vim:
> Тоже приходится гуглить, как выйти.

Открываем жанр History porn.

Андрей Карпати из Tesla решил повторить ту самую сетку Яна ЛеКа(у)на из 1989 года и написал об этом пост (🔥), который читается как смесь исторического детектива и стендап для гиков одновременно.

Короткие выводы основанные на путешествии во времени на 33 года назад: Что бы подумал путешественник во времени из 2055 года о производительности современных сетей?

Нейронные сети 2055 года на макроуровне практически не отличаются от нейронных сетей 2022 года, разве что они больше.

Наши сегодняшние наборы данных и модели выглядят как шутка. И то, и другое где-то в 10 000 000 000 раз больше.

Современные модели 2022 года можно обучить за ~1 минуту, обучаясь на своем персональном вычислительном устройстве в качестве развлекательного проекта на выходных.

Наши наборы данных слишком малы, и скромный выигрыш можно получить только за счет расширения набора данных.

🔥Пост

ChemicalX - это библиотека на основе PyTorch и TorchDrug для оценки пар лекарств, которая предсказывает лекарственные взаимодействия, побочные эффекты полифармацевтики и возможные синергические эффекты, как в биологическом, так и в химическом контексте.

🖥 Код

#ScientificML, #chemistry, #bio

Мы выложили 3 лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции обсудили: линейные слои, эмбеддинги, word2vec и применения таких сетей в литературных и исторических задачах.

🎥 Лекция 1. Новая суперспособность науки
🎥 Лекция 2. Как учить машины
🎥 Лекция 3. Линейные модели

Интересное интервью про то, как вернуть биологию в нейронные сети: https://youtu.be/smxwT82o40Y

3 вещи которые нужно знать про Visual Transformers:

1. Residual слои ViT можно эффективно распараллелить, на точности это практически не скажется

2. Для адаптации ViT к более высокому разрешению и к другим задачам классификации достаточно файнтюнинга слоев внимания.

3. Добавление слоев предварительной обработки патчей на основе MLP улучшает self-supervised обучение по типу BERT (на основе маскировки патчей)

📝 Статья

#transformer #vit

Многие студенты (и не только) совершенно не умеют презентовать графики. Отличный тред с объяснением как надо: https://twitter.com/jbhuang0604/status/1506101759911116809?s=21