Causal ImageNet: How to discover spurious features in Deep Learning?

Часто, нейросети обученные на казалось бы больших датасетах типа ImageNet, плохо работают в реальном мире. Авторы исследования, считают что проблема может крыться в том, что сети уделяют слишком много внимания входным признакам, которые причинно не связаны с истинной меткой класса (например хотим предсказать кошку, а сеть зачем то ещё и фон учитывает).

Фокусируясь на классификации изображений, авторы определяют набор причинных визуальных признаков (всегда являются частью объекта) и набор ложных признаков (те, которые, так или иначе связаны с объектом, но не являются его частью. Например, признак «пальцы'' для класса «повязка'').

Авторы представляют набор данных Causal Imagenet, содержащий маски причинных и ложных признаков для большого набора сэмплов из Imagenet.

Данные пока не выложили, обновлю пост когда появятся.

📎Статья

#causality #datasets #images

NeRF 2021

Если вы интересуетесь компьютерной графикой и рендеренгом и ещё не слышали про Neuro Radiance Fields - то самое время с ними познакомиться.

NeRF был представлен в (недавней, но уже ставшей основополагающей) статье Neural Radiance Fields на ECCV 2020.

NeRF хранит объемное представление сцены в виде весов MLP (nn.Linear), обученного на множестве изображений с известной пространственной координатой (откуда снимали и куда повёрнута камера).

В блог-посте собраны обновления для NeRF выпущеные в этом году, самое то, to bring you up to speed.

#3d #nerf

97% accuracy on MNIST with a single decision tree (+ t-SNE)

Я довольно много пишу про сложные модели их интересные применения (это 662 пост в канале). Но в этот раз, давайте поговорим про простые модели. Вообще-то, добиться хорошей точности классификации можно и путем уменьшения размерности.

Берём Truncated Singular Value Decomposition (TSVD), «сжимаем» наш датасет (в этом случае MNIST - рукописные цифры) и преобразовываем данные в 2х мерное пространство с помощью T-SNE. Получаем 97% точности.

Полностью (супер подробно) метод разобран в этом блокноте.

#basics #reduction

Вот вам музыкальные котики от SG3 (самое прикольное, что работает в режиме реального времени – 25 кадров у секунду)

Автор

Вертикальный вывод в Colab

Colab продолжает по тихому вводить новые крутые штуки. Сегодня узнал, что вывод можно делать не после ячейки, а параллельно ей. Очень удобно.

Что бы так сделать, надо в начало ячейки вставить:

#@title Название {vertical-output: true}

#Colab #tricks

StyleGAN3 Music Video

Вдохновившись танцующими котиками, сделал демку для генерации музыкальных видео. Можно использовать со всеми доступнами моделями StyleGAN и с любыми музыкальными трэками (привзяно к частотам)

💻Играть в моем колабе

#GAN #demo #audio

Machine Learning Application for the Event Horizon Telescope 🔭

Продолжается серия увлекательных докладов Physics meets ML.
Доклад (20ого октября) можно послушать тут.

#ScientificML #meetings

Машинное обучение для гамма-излучения в центре галактики 🌌

Природа гамма-излучения Ферми в галактическом центре (GCE) до сих пор остается загадкой. Хотя избыток в целом совместим с излучением, ожидаемым из-за аннигиляции темной материи, объяснение в терминах, например, миллисекундных пульсаров, остается жизнеспособным.

Авторы используют методы оценки плотности с использованием нормализующих потоков, чтобы охарактеризовать вклад моделируемых компонентов (что именно выдаёт излишки гамма-излучения).

По сравнению с традиционными методами, основанными на статистическом распределении числа фотонов, их метод, основанный на машинном обучении, способен использовать больше информации, содержащейся в модели излучения Галактического центра, и, в частности, может выполнять апостериорную оценку параметров с учетом пространственных корреляций между пикселями на карте гамма-излучения. Это делает метод заметно более устойчивым к некоторым формам неправильной спецификации модели.

Статья
Код

#ScientificML #physics #flows

Естественно РНФовские сммщики не умеют ставить прямые ссылки, но тем не менее, рад для разнообразия написать и про российских ученых (я имею ввиду тех, которые работают в России).

Искусственный интеллект уже способен решать абсолютно разные задачи: от написания новостей до управления автомобилем. Что же нас ждет в будущем? Исследователи не останавливаются на достигнутом и используют искусственный интеллект в экспериментах на Большом адронном коллайдере для поиска физических законов, не входящих в Стандартную модель физики частиц.

О технологиях искусственного интеллекта, которые позволяют обрабатывать физические данные, симулировать события и происходящее на микроуровне, и даже планировать будущие эксперименты, расскажет Денис Деркач, PhD, доцент, старший научный сотрудник Лаборатории методов анализа больших данных Высшая школа экономики, победитель Президентской программы Российского научного фонда.

Какая досада, что уже прошло и я даже не глянул.

How Underspecification Presents Challenges for Machine Learning

Модели машинного обучения (ML), при использовании в реальных областях, часто демонстрируют неожиданное поведение. Например, модели компьютерного зрения могут проявлять удивительную чувствительность к нерелевантным характеристикам, а модели обработки естественного языка могут непредсказуемо зависеть от демографических корреляций, не указанных непосредственно в тексте. Некоторые причины этих неудач хорошо известны: например, обучение ML-моделей на плохо обработанных данных. Некоторые - только изучаются.

В статье, авторы из Google, показывают, что предсказание на реальных данных проваливается из-за недоопределения. Идея недоопределения заключается в том, что хотя модели ML тестируются на проверенных данных, этой проверки часто недостаточно, чтобы гарантировать, что модели будут иметь четко определенное поведение, когда они используются в новых условиях.

Блог-пост

#training #inference

SSAST: Self-Supervised Audio Spectrogram Transformer

Вообще стараюсь не писать про статьи без кода, но тут прям круг замкнулся. Следите за руками. Сначала придумали DL для картинок, потом попробовали применять этот картиночный DL к сигналам, поняли что что-то не так. Придумали использовать его на спектрограммах (2х мерное представление звука) - заработало. Потом придумали трансформеры, что бы работать непосредственно с time-series. Класс, все работает. Но! Потом придумали трансформеры для картинок (Visual Transformers - ViT), а теперь их же используют для спектрограмм. У меня все.

📎Статья

#transformer #signal #sound #SSL

WeightWatcher (WW) - это диагностический инструмент с открытым исходным кодом для анализа глубоких нейронных сетей (DNN), не требующий доступа к обучающим или даже тестовым данным. Он может быть использован для:

* анализа предобученых сетей
* контроля за переобучением или перепараметризацией
* прогноза точности тестов для различных моделей, с обучающими данными или без них
* выявления потенциальных проблем при сжатии или точной настройке предварительно обученных моделей

И ещё много чего. Библиотека основана на серьезных исследованиях лаборатории в Беркли. Собираюсь дать этой штуке шанс и посмотреть насколько это все полезно в реальных задачах.

🖥 Код

#training #inference #theory

Предсказание формулы в Google Sheets

Сотни миллионов людей пользуются электронными таблицами, и формулы в этих таблицах позволяют пользователям выполнять сложный анализ и преобразования данных. Хотя языки формул проще, чем языки программирования, написание этих формул все равно может быть утомительным и чреватым ошибками, особенно для не очень опытных пользователей.

В статье, Google описывает новую модель, которая учится автоматически генерировать формулы на основе богатого контекста вокруг целевой ячейки. Когда пользователь начинает писать формулу со знаком "=" система генерирует возможные релевантные формулы для этой ячейки, изучая шаблоны формул в исторических электронных таблицах. Модель использует данные, присутствующие в соседних строках и столбцах целевой ячейки, а также строку заголовка в качестве контекста.

Функция, основанная на этой модели, теперь общедоступна для пользователей Google Sheets.

🔭Блог-пост

The Cocktail Fork Problem:‌‌‌‌
Three-Stem Audio Separation for Real-World Soundtracks

Проблема коктейльной вечеринки (как разделить речь нескольких, говорящих одновременно, людей на разные дорожки) уже давно вдохновляет исследования по разделению источников звука (source separation). Недавние усилия в основном были направлены на отделение речи от шума, речи от речи, музыкальных инструментов друг от друга или звуковых событий друг от друга.

Однако разделение аудио смеси (например, звуковой дорожки фильма) на три широкие категории: речь, музыка и звуковые эффекты (под которыми здесь понимается шум окружающей среды и естественные звуковые события) осталось практически неисследованным, несмотря на широкий спектр потенциальных применений.

И конечно же, именно такую сеть сделали и описали в статье. Пиратский дубляж ликует!

📎 Статья
📽 Проект

#sound #audio #signals

О вулканах и людях

Меня сегодня упомянули в подкасте @ofvolcanoesandmen (классная отсылка на исландский фильм Of Horses and Men).

Мой добрый товарищ Кирилл говорил о геологии, геохимии, о том как и зачем искать метеориты, и нужно ли учить исследователей методам машинного обучения.

🍏 Apple Podcast
🤖 Google Podcast

#этополюбви

Multi-label Classification with Partial Annotations using Class-aware Selective Loss

Большие датасеты для классификации с несколькими метками (multi-label classification) аннотированы лишь частично. То есть, для каждой выборки аннотируется только небольшое подмножество меток, и это плохо.

Что можно сделать? Неаннотированные метки можно обрабатывать выборочно в соответствии с распределением классов в датасете в целом и вероятностью конкретной метки для текущего батча.

📎 Статья
🖥 Код

#training #classification

This is Halloween 🎃

В Colabе появился специальный праздничный режим. Доступно из панели Инструменты -> настройка -> Другое

НейроМЕРЧ 🎨

Я, совместно с брендом украшений MONOLAMA, выпустил коллекцию брошек сгенерированных нейросетью VQGAN+CLIP.

Подробнее о проекте почитать можно тут, а заказать себе брошку тут.

#этополюбви

CLOOB: Modern Hopfield Networks with InfoLOOB Outperform CLIP

За 2021 год, мы увидели множество прорывов в области self-supervised learning (это когда человек вообще не размечал данные). Одним из таких прорывов был CLIP, который умеет соотносить между собой текст и картинки (предвестник безумного ML-арта).

У CLIP есть проблема - иногда он «срезает» углы и предсказывает что-то, на основании ложных признаков (как в истории про умную лошадь по имени Ганс, которая «умела» в математику). Эту проблему можно решить с помощью сетей Хопфилда, которые служат в качестве ассоциативной системы памяти.

Что подводит нас собственно к CLOOB (Contrastive Leave One Out Boost)- новому методу self-supervised обучения, в котором сети Хопфилда повышают эффективность обучения. CLOOB преодолевает проблему срезания «углов», характерную для CLIP с помощью замены признаков входной картинки/текста на признаки, которые извлекаются из сети Хопфилда.

🔭 Блог-пост
📎 Статья
🖥 Код

#multimodal #text #image #hopfield #SSL