Посмотрел очень по диагонали, но выглядит довольно релевантно (на концептуальном уровне как минимум):

YouTube

#ScientificML #Julia

Как получить гарантии генерализации машинного обучения? В статье моих любимейших ACME Labs предлагается использовать смесь размеченных данных и данных размеченных случайным образом.

Если модель выдает маленькую ошибку на чистых данных и большую ошибку на случайной разметке - мы можем надеятся на хорошую генерализацию.

В статье есть формальные доказательства и ещё много всего интересного

ArXiv

#training #classification

Крутой пример применения #GAN для восстановления лиц на фотографиях:

ArXiv

Я вообще не представляю как это кому-то может понадобиться, но посмотрите как мило!

Twitter пост

P.s.: обратите внимание на сайт. Papers with #datasets - отличный ресурс для поиска датасетов

Если у кого-то есть аспиранты гуманитарии или интересующиеся, нашёл семинар BERT для гумунитариаев: https://melaniewalsh.github.io/BERT-for-Humanists/workshop/

#ScientificML #гумунитарии #social

Сгенерил мем-ролик (сегментация при помощи DINO), что показать студент на лекции по сегментации

Завтра (19ого мая) будет интересный доклад по зуму: http://www.physicsmeetsml.org/posts/sem_2021_05_20/

#news

Просто шикарный психодел. Чувак написал песню используя названия классов из ImageNet и сгенерировал к ней видиоклип используя CLIP и BigGan:

YouTube

#GAN #joke #text2image #CLIP

Оказывается любой GAN уже умеет отделять изображения от фона:

Project

#GAN #Separation

​​Итак, господа. Новый прорыв в self-supervised learning. Идея, как всегда, простая как апельсин.

До этого момента (почти) все тренили свои self-supervised модели на ImageNet и тестили там же. Фишка в том, что ImageNet — чистый датасет со сбалансированными классами и отцентрированными объектами. А если тренироваться на больших некурируемых датасетах как JFT-300M с 300-миллионами изображений (это внутряковый датасет Гугла) либо на YFCC100M с 95-миллионами, где распределение размера классов имеет тяжелый хвост, то точность SOTA моделей при тесте ImageNet существенно падает (с 74.3% до 65.3%). Все дело в том, что в таких больших датасетах очень много разных объектов, а иногда несколько на одной картинке, поэтому вероятность случайно выбрать сложные негативные примеры значительно ниже. То есть в среднем две случайные картинки слишком сильно отличаются => мало информации для обучения.

Авторы предлагают простой трюк. Разбиваем большой датасет на 5-10 кластеров и обучаем отдельные модели на каждом кластере, таким образом обучение отдельных моделей (экспертов) будет происходить на более близких картинках => негативные пары будут сложнее и более информативные. Далее фиксируем модели-эксперты и дистиллируем их в одну. Новая модель учится предсказывать фичи каждого эксперта с помощью L2 лосса. В итоге, офигенная точность на ImageNet при обучении без лейблов на JFT-300M: 77.3% Top1.

Подробнее в статье от DeepMind.

Можно поспорить насколько это наука, но определенно применение нейронных сетей *в* науке.

Twitter

#ScientificML #biology

Хороший репозиторий с проверенными моделями и весами для картинок

GitHub

#images