https://arxiv.org/abs/2008.02401

#cv #gan

https://barak.net.technion.ac.il/files/2012/11/sussillo_barak-neco.pdf

#rnn #differentialequations

https://arxiv.org/abs/2402.09353
#llm #finetuning #lora

https://openreview.net/pdf?id=1SJZVCahQW

#rl #supervisedlearning

ANIMATEDIFF: ANIMATE YOUR PERSONALIZED
TEXT-TO-IMAGE DIFFUSION MODELS WITHOUT
SPECIFIC TUNING

Abstract
Целью данного исследования является создание архитектуры генерации видео поддерживающей подмену фундаментальной модели генерации изображений на дообученные с использованием LoRA или DreamBooth версиями. Таком образом задачей становится разработка plug and play модуля моделирования временной оси.

ссылка

#Diffusion #Video #LoRA

Neural Network Diffusion

Тренят латентную диффузию для генерации весов модели. Интересно, что для этого достаточно стандартного сетапа, а полученные генерации on-par по сравнению с SGD тренировкой. Имхо, есть интересный потенциал

P.S. но их там что-то реджектнули на iclr ((

Link

#Diffusion

https://openreview.net/forum?id=C61sk5LsK6


Простой метод прунинга данных с сохранением несмещенности градиента относительно исходного датасета

Вроде их приняли но я не уверен


#optimization

https://openreview.net/pdf?id=nfIAEJFiBZ


добавляют контролируемый шум в градиент апдейт для повышения эксплоративности моделей рл
потенциально можно вставить в любую задачу и посмотреть что выдает (например, вставляем шум в в обновление градиента - узнаем о характере loss surface или превентим/ускоряем оверфит)

#rl #exploration #optimization

https://openreview.net/pdf?id=Zbt9z0a95l

хороший фреймворк по тому как делать кусочно-линейные интерпретируемые аппроксиматоры. разделяем выходное пространство на куски, фиттим сетку определять, к какому куску выходного пространства определить аутпут + ею же фиттим коэффициенты для линейного преобразования

#rl #interpretability