AI Для Всех
12.8K subscribers
1.17K photos
152 videos
10 files
1.37K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning

Метод, основанный на глубоком метрическом обучении, для выполнения байесовской оптимизации над высокоразмерными структурированными входными пространствами с использованием вариационных автоэнкодеров (VAE). Авторы решают давнюю проблему в байесовской оптимизации для высокоразмерных VAE, а именно, как обеспечить дискриминативное латентное пространство в качестве индуктивного баеса.

Статья

#theory #training #baes #autoencoders #ScientificML
Masked Autoencoders Are Scalable Vision Learners

Ещё одна идея, которая казалось бы была на поверхности, and yet… Берём картиночный автоэнкодер, делим картинку на патчи, прячем их в случайном порядке, и просим декодер восстановить изображение (в режиме self-supervised).

Авторы (Facebook/Meta AI), обнаружили, что скрытие большой части входного изображения, например, 75%, дает нетривиальную и осмысленную задачу для self-supervised обучения. Оказалось, что в такой формулировке, автоэнкодер обучается в ~3 раза быстрее (чем если бы мы учили на изображениях без масок).

Более того, оказалось, что если к такому обученному автоэнкодеру прикрутить голову на классификацию (например), то она будет показывать SOTA результаты. Так же, авторы показывают, что при масштабировании датасета, результаты только улучшаются.

📎 Статья
🖥 Код (не официальный)

#SSL #autoencoders #images