Diffusability of Autoencoders

Латентная диффузия (LDM) - доминирующая парадигма генерации картинок и видео. Фреймворк LDM состоит из автоэнкодера (AE), кодирующего картинки или видео в латенты и диффузионного денойзера, который учат эти латенты расшумлять, а после - генерировать.

Большинство работ в контексте LDM посвящены диффузии, однако АЕ - не менее важный компонент системы. Энкодер АЕ задаёт распределение, которое выучит диффузия, а декодер определяет верхний предел качества реконструкции.

В этом посте речь пройдет про распределение латентов: как сделать его таким, чтобы максимизировать качество обученной на нем диффузии? Ниже представлены две одновременно вышедшие работы. Они решают проблему похожим образом, но исходят из разных предпосылок.

Improving the Diffusability of Autoencoders

Интуиция
Авторы используют интуицию о том что диффузия - это спектральная авторегрессия: на ранних шагах генерации модель предсказывает низкие частоты, после чего, обуславливаясь на них, генерирует всё более высокие. При этом, если АЕ продуцирует латенты со слишком большим количеством высоких частот, то это мешает ходу авторегрессии и, как следствие, генерации.

Инструменты анализа
Для оценки количества высоких частот авторы используют discrete cosine transform (DCT). Этот метод позволяет закодировать информацию последовательностью, каждый элемент которой хранит информацию о том сколько блоков картинки (или латента) содержат ту или иную частоту. Результат очень напоминает кодирующую матрицу JPEG, а её линеаризованный вариант - основа для большинства графиков в статье.

Анализ
Используя DCT, авторы показывают что:
🔜Современные картиночные (FluxAE, CMS-AE) и видео (CogVideoX-AE, LTX-
AE) АЕ делают латенты более высокочастотными чем исходные картинки
🔜Использование KL этому никак не препятствует
🔜Увеличение числа каналов в латентах делает проблему более выраженной

Метод
Авторы считают, что моделям АЕ выгодно амплифицировать высокие частоты в латентах потому что качество их декодирования - ключевой критерий успеха обучения моделей. Для борьбы с этим предлагается простая регуляризация: давайте одновременно с подсчетом L1 и KL делать даунсемплинг (интерполяцию вниз) картинки и добавлять L1 для её реконструкции слагаемым в лосс. Таким образом зафорсится Scale Equivariance, которая будет мешать амплификации высоких частот

Эксперименты
Обучая разноразмерные DiT’ы поверх нескольких АЕ потюненных с регуляризацией, существенно снижаются FID/FDD и выравниваются DCT спектры. Сам тюн занимает всего 10к итераций с bs=32, что реально быстро и не дорого.

EQ-VAE: Equivariance Regularized Latent Space for Improved Generative Image Modeling

Интуиция
Авторы также замечают, что у современных АЕ отсутствует scale и rotation equivariance, однако их интуиция о том почему это плохо заключается в том что семантически близкие картинки не переводятся в семантически близкие латенты, что усложняет структуру латентного пространства, на которой учится диффузия

Метод
Вместо добавления регуляризационного слагаемого, авторы предлагают всегда учить модель на распределении картинок разного разрешения. Вариативность разрешений также достигается даунсемплиногом исходных картинок с переменным скейлинг фактором. Поскольку в изначальной постановке авторы используют смесь L1 и адверсариального лосса, то заскеленные картинки подаются в оба слагаемых

Эксперименты
Сетап и результаты похожи на описанные в предыдущей статье, хотя значения прироста FID чуть менее громкие. В сапмате интересные визуализации того как после файнтюна латенты становятся более гладкими

▶️ Discuss?
Всегда интересно, когда одновременно выходит несколько работ про примерно одно и то же. Это сильно повышает вероятность того, что в сказанном что-то есть

Забираем правила vibe coding

Пока что мои лучшие промпт на 50% состоят из мата 😢

Такими темпами и экран не нужен будет скоро

Давно не было длинных постов, в этом будет обзор мини ресерча по теме TDA(топологический анализ данных) в time series forecasting, а именно TDA временных рядов с помощью облаков точек.

Естественно, временные ряды сразу не могут быть представлены как облака точек. Перед тем как приступить к TDA, они должны быть преобразованы с помощью теоремы Такенса о встраивании (Takens et al.,1981).
Этот подход широко использовался в научной литературе для различных целей:
🔵количественной оценки периодичности временных рядов (Perea and Harer, 2015);
🔵кластеризации временных рядов (Seversky et al., 2016);
🔵классификации временных рядов (Umeda, 2017);
🔵обнаружения ранних сигналов о критических изменениях (Gidea, 2017; Гидея и Кац, 2018).
Встраивание Такенса позволяет сохранить топологические свойства временного ряда, но не его геометрические характеристики.


Встраивание Такенса для временных рядов:
Пусть

{xt,t = 1,2,...,T}

обозначает наблюдаемый временной ряд. Я использую встраивание Такенса для преобразования
временного ряда в облако точек с точками

vi = (xi,xi+τ,...,xi+(d−1)τ)

, где d указываетразмер точек, а τ обозначает параметр задержки. Например, если

, то 
vi = (xi,xi+1), тогда как если d= 15 и τ = 2, то vi = (xi,...,xi+28). 

Как d, так и τ неизвестны
и должны быть определены на практике.

Выбор параметра τ. Исследователи использовали различные подходы к выбору параметра задержки τ. Он
может быть выбран как наименьшая временная задержка h, при которой автокорреляционная функция выборки (ACF) ˆ ph
становится незначимой, т.е. меньше по абсолютной величине, чем критическая граница 2
√T (Хасауне и Мунк, 2016). Труонг (Truong, 2017) также использовал ACF, но несколько иным способом. Он выбрал τ в качественаименьшего запаздывания, для которого

 (ˆ ρτ− ˆρτ−1)/ˆρτ >1/e и ˆ ρτ < 2 √Т

Перейра и де Меллу (2015) определили τ, используя первый минимум автоматической взаимной информации (взаимная информация между сигналом и его версией с задержкой во времени

Выбор d.
Труонг (2017), Хасауне и Мунк (2016) использовали метод ложного ближайшего соседа
(Кеннел и др., 1992) для определения размера вложения в виде целого числа таким образом, что
ближайшие соседи каждой точки в измерении d остаются ближайшими соседями в измерении
d+ 1, и расстояния между ними также остаются неизменными. примерно то же самое. В качестве альтернативы может быть использована функция R false.nearest
в пакете tseriesChaos, которая реализует подход, предложенный Хеггером и др. (1999). Некоторые авторы (Перейра и де Мелло, 2015; Северский и др., 2016) просто предполагают, что значение d равно 2 или 3, в то время как Перея предложил использовать значение d= 15 для временных рядов после кубической сплайновой интерполяции.

Чистые сигналы преобразуются в диаграммы постоянства.
Я генерирую облака точек из трех периодических косинусоидальных сигналов длиной T = 480 с периодами 12, 48 и 96 соответственно, а затем строим их диаграммы постоянства. Я устанавливаю d= 2 и используя метод ACF, описанный выше, для выбора τ. Это код R для временного
ряда tsf1

per1=12; ts1 = cos(1:T*2*pi/per1); d=2;
tau <- which(abs(acf(ts.ex, plot = F)$acf) < 2/sqrt(T))[1]-1
PC=t(purrr::map_dfc(1:(T-(d-1)*tau+1),~ts.ex[seq(from=.x, by=tau, length.out=d)]))
diag=ripsDiag(PC, maxdimension=1, maxscale=max(dist(PC)))
ts.plot(ts.ex);plot(PC,xlab ="x1",ylab="x2",main="PC");plot(diag$diagram)