уважающий себя итшник:

Если б программисты строили бы дом

Когда взял энкодер с dim 2048, а unet с dim 768

Когда не синканул контракты ml с бэкэндом

LoRA: Low-Rank Adaptation of Large Language Models или как ее сунуть то

есть такая эвристика - оптимайзер модели без хаков занимает в 4 раза больше памяти чем сама модель. Тут открывается простор для оптимизаций: перенос оптимайзера на cpu, заморозка модели fp16 и fp8 и все это требует некоторой интелектуальной нагрузки чтобы аккуратно все обучилось и взорвалось.

Но есть путь проще - адаптеры, идея такая: давайте в attention разложи Wqkv на Wk и Wv что дает выигрышь в 4 раза

github
paper

Не так давно тоже самое сделали для SD, тюн/dreamboth влезает в 12гб карты с adamw 32bit
github

Шел третий год с выхода JAX 1.0, авторы наконец выложили лекцию на youtube

не пишите код вала без батчинга пацаны, вам гпу минуты еще нужны...

В руки попала топавая шадовая книжка по алгосам, го ботат

Обновил anime diffusion, чекпоинт 65/290, выкинул обоссаный стебль и взял божественный vintedois-diffusion , cкоро выложу обнову VAE

шакалы пришли и поели качество, хм
huggingface

зато текст с первого раза понимает, это вам на претрейне не тупо clip.hidden_states[-1] совать!!

huggingface

Админ канала принес очередной бесполезный тюн диффузии: подписчики на понимающие зачем...