Forwarded from Tensor Banana
Запускаем SD 3.5 Large fp8 в comfyUI
Модель в формате fp8 должна влезть в 8GB VRAM. Если у вас меньше - попробуйте варианты в формате gguf, они есть и на 4 гига, но качество будет хуже.
1. Качаем свежий comfyUI https://github.com/comfyanonymous/ComfyUI или обновляем ваш старый (update_comfyui_stable.bat)
2. Качаем 3 клипа (все кроме t5xxl_fp16.safetensors) и кладем в папку /models/clip/: https://huggingface.co/lodestones/stable-diffusion-3-medium/tree/main/text_encoders
3. Скачать саму sd3 в fp8 или gguf формате, пишут, что скорость почти одинаковая. Дефолтная модель в fp16 весит слишком много (16 GB), поэтому я использовал fp8, положил в папку /models/checkpoints/. Гуфы надо класть в папку /models/unet/
fp8 (8GB) https://huggingface.co/matt3ounstable/stable-diffusion-3.5-large-fp8/tree/main
или gguf (4-8 GB) https://huggingface.co/city96/stable-diffusion-3.5-large-gguf/tree/main
(для гуфов нужно установить ноды: "ComfyUI-GGUF", они есть в ComfyUI-Manager. Далее для загрузки модели ипользовать ноду "Unet loader (GGUF)")
4. Качаем vae и кладем в /models/vae/ https://huggingface.co/stabilityai/stable-diffusion-3.5-large/blob/main/vae/diffusion_pytorch_model.safetensors
5. Качаем workflow (картинку) для fp8 и перетаскиваем в браузер в ComfyUI https://github.com/Mozer/comfy_stuff/blob/main/workflows/sd35_large_fp8.png
для гуфов workflow сами измените ноду LoadCheckpoint на Unet loader (GGUF).
6. Проверяем, что нужные модельки выставлены в TripleCLIPLoader, LoadCheckpoint и LoadVAE. Готово.
## Скорость
SD3.5 large FP8:
На 2080Ti-22GB (pcie 3.0 4x, power-limit 80%)
Холодный старт - 75s
1024x1024 20 steps - 42s, 1.61s/it
жрет vram - 21 GB
На 3060-12GB (pcie 3.0 4x, power-limit 80%)
Холодный старт - 91s
1024x1024 20 steps - 75s, 3.20s/it
жрет vram - 11 GB
Скорость Flux-dev-fp8 у меня чуть-чуть медленнее (2080ti, 1024x1024 20 steps - 45s, 1.94s/it)
Если в SD3.5 не менять промпт, и vae вынести на вторую видюху, то полное время на генерацию будет 35s.
SD-3.5-Large-8b тренилась на разрешении до 1 мегапикселя, так что ставить разрешение больше чем 1024х1024 не стоит - будет ухудшение качества. (Flux работает до 2-х мегапикселей). Модель поменьше, SD-3.5-Medium-2.5B, обещают выпустить уже 29 декабря, и в ней обещают разрешение до 2 mpx. Еще есть Large-Turbo модель, генерирует всего за 4 шага, но качество будет хуже, ее не тестил.
Общее впечатление: flux лучше. Он реалистичнее, анатомия лучше, разрешение больше, следование промпту лучше. А тут результат напоминает SDXL. Но, наверняка, для SD3 будут свои файнтюны и лоры, которые улучшат ситуацию и добавят что-то новое, например flux очень дорого файнтюнить (lora - дешево). Текст пишет, но в мелком тексте будут неточности. Пишут, что sd3 лучше чем flux следует заданному художественному стилю. Сам не тестил.
Nsfw - умеет, верх - норм (лучше чем у флакса из коробки), низ - без деталей (+- как у флакса из коробки). Для реализма нужно снизить cfg например до 3.0.
Затестить онлайн https://huggingface.co/spaces/stabilityai/stable-diffusion-3.5-large
Модель в формате fp8 должна влезть в 8GB VRAM. Если у вас меньше - попробуйте варианты в формате gguf, они есть и на 4 гига, но качество будет хуже.
1. Качаем свежий comfyUI https://github.com/comfyanonymous/ComfyUI или обновляем ваш старый (update_comfyui_stable.bat)
2. Качаем 3 клипа (все кроме t5xxl_fp16.safetensors) и кладем в папку /models/clip/: https://huggingface.co/lodestones/stable-diffusion-3-medium/tree/main/text_encoders
3. Скачать саму sd3 в fp8 или gguf формате, пишут, что скорость почти одинаковая. Дефолтная модель в fp16 весит слишком много (16 GB), поэтому я использовал fp8, положил в папку /models/checkpoints/. Гуфы надо класть в папку /models/unet/
fp8 (8GB) https://huggingface.co/matt3ounstable/stable-diffusion-3.5-large-fp8/tree/main
или gguf (4-8 GB) https://huggingface.co/city96/stable-diffusion-3.5-large-gguf/tree/main
(для гуфов нужно установить ноды: "ComfyUI-GGUF", они есть в ComfyUI-Manager. Далее для загрузки модели ипользовать ноду "Unet loader (GGUF)")
4. Качаем vae и кладем в /models/vae/ https://huggingface.co/stabilityai/stable-diffusion-3.5-large/blob/main/vae/diffusion_pytorch_model.safetensors
5. Качаем workflow (картинку) для fp8 и перетаскиваем в браузер в ComfyUI https://github.com/Mozer/comfy_stuff/blob/main/workflows/sd35_large_fp8.png
для гуфов workflow сами измените ноду LoadCheckpoint на Unet loader (GGUF).
6. Проверяем, что нужные модельки выставлены в TripleCLIPLoader, LoadCheckpoint и LoadVAE. Готово.
## Скорость
SD3.5 large FP8:
На 2080Ti-22GB (pcie 3.0 4x, power-limit 80%)
Холодный старт - 75s
1024x1024 20 steps - 42s, 1.61s/it
жрет vram - 21 GB
На 3060-12GB (pcie 3.0 4x, power-limit 80%)
Холодный старт - 91s
1024x1024 20 steps - 75s, 3.20s/it
жрет vram - 11 GB
Скорость Flux-dev-fp8 у меня чуть-чуть медленнее (2080ti, 1024x1024 20 steps - 45s, 1.94s/it)
Если в SD3.5 не менять промпт, и vae вынести на вторую видюху, то полное время на генерацию будет 35s.
SD-3.5-Large-8b тренилась на разрешении до 1 мегапикселя, так что ставить разрешение больше чем 1024х1024 не стоит - будет ухудшение качества. (Flux работает до 2-х мегапикселей). Модель поменьше, SD-3.5-Medium-2.5B, обещают выпустить уже 29 декабря, и в ней обещают разрешение до 2 mpx. Еще есть Large-Turbo модель, генерирует всего за 4 шага, но качество будет хуже, ее не тестил.
Общее впечатление: flux лучше. Он реалистичнее, анатомия лучше, разрешение больше, следование промпту лучше. А тут результат напоминает SDXL. Но, наверняка, для SD3 будут свои файнтюны и лоры, которые улучшат ситуацию и добавят что-то новое, например flux очень дорого файнтюнить (lora - дешево). Текст пишет, но в мелком тексте будут неточности. Пишут, что sd3 лучше чем flux следует заданному художественному стилю. Сам не тестил.
Nsfw - умеет, верх - норм (лучше чем у флакса из коробки), низ - без деталей (+- как у флакса из коробки). Для реализма нужно снизить cfg например до 3.0.
Затестить онлайн https://huggingface.co/spaces/stabilityai/stable-diffusion-3.5-large
Forwarded from Gour
На civitai выложили смешанную модель (Large + Large Turbo) на 8 шагов
https://civitai.com/models/880208/sd-35-fusion-8-steps-merge-full-model-and-lora-version
Как со встроенными энкодерами (полноценный чекпоинт), так и без них (unet), fp8 и fp16
Есть и обычная fp8 сразу с энкодерами https://civitai.com/models/882666?modelVersionId=988061
Ну и там же кванты есть всякие разные https://civitai.com/models/886778?modelVersionId=992647
С civitai, скорость скачивания, возможно, быстрее будет
https://civitai.com/models/880208/sd-35-fusion-8-steps-merge-full-model-and-lora-version
Как со встроенными энкодерами (полноценный чекпоинт), так и без них (unet), fp8 и fp16
Есть и обычная fp8 сразу с энкодерами https://civitai.com/models/882666?modelVersionId=988061
Ну и там же кванты есть всякие разные https://civitai.com/models/886778?modelVersionId=992647
С civitai, скорость скачивания, возможно, быстрее будет
Forwarded from gonzo-обзоры ML статей
Тут что-то про долгосрочную память завезли. Снова огромная статья, которую разбирать полноценно некогда, только автоматом. Подкаст и ссылка на ютуб видео там же в канале.
Telegram
gonzo_ML_podcasts
Youtube: https://www.youtube.com/watch?v=vQ5o4XdrLVw
Forwarded from Galqiwi's boredom
Наконец-то закончил работу над большим пет-проектом.
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
YouTube
AQLM.rs demo
You can try this demo at https://galqiwi.github.io/aqlm-rs/about.html
00:00 Loading
04:40 Actual demo
This was run on Macbook Pro M1. Any other laptop or phone with sufficient RAM should work too.
00:00 Loading
04:40 Actual demo
This was run on Macbook Pro M1. Any other laptop or phone with sufficient RAM should work too.
Forwarded from Quant Researcher
📚3 книги, которые должен освоить каждый квант
Недавно на quant.courses зашел разговор о ключевых книгах, разобравшись в которых можно создать прочную базу для успешного прохождения любого собеседования.
Важно именно разобраться в концептах из книг, а не просто прочитать. Разобраться — это значит прорешать все задачи в конце глав и понять каждую формулу. Благо, сейчас есть ChatGPT; еще 5 лет назад нам приходилось искать другие источники, чтобы разобраться в непонятных моментах из этих книг.
1. Options, Futures, and Other Derivatives, Джон Халл. Библия деривативов. Объемная книга с академической базой, необходимой для работы с производными финансовыми инструментами. Ее плюс в том, что она охватывает и базовые инструменты: акции, облигации и т.д.
2. Trades, Quotes and Prices: Financial Markets Under the Microscope, Жан-Филипп Бушо. Лучшая книга по микроструктуре рынка. Внимание: может вызвать много вопросов по матанализу!
3. Advances in Financial Machine Learning Маркос Лопес де Прадо. Книга о применении машинного обучения в финансах. Примечателен и ее автор, Маркос Лопес де Прадо, редкий случай академика, успешно работающего в хедж-фонде.
Вдумчивый читатель заметит, что в списке нет книг Кирилла Ильинского. Администрация канала считает, что еще никто в мире не смог разобраться в них до конца. Это настоящая библия кванта, которую нужно перечитывать многократно, каждый раз открывая для себя новые уровни смыслов.
Quant Researcher
Недавно на quant.courses зашел разговор о ключевых книгах, разобравшись в которых можно создать прочную базу для успешного прохождения любого собеседования.
Важно именно разобраться в концептах из книг, а не просто прочитать. Разобраться — это значит прорешать все задачи в конце глав и понять каждую формулу. Благо, сейчас есть ChatGPT; еще 5 лет назад нам приходилось искать другие источники, чтобы разобраться в непонятных моментах из этих книг.
1. Options, Futures, and Other Derivatives, Джон Халл. Библия деривативов. Объемная книга с академической базой, необходимой для работы с производными финансовыми инструментами. Ее плюс в том, что она охватывает и базовые инструменты: акции, облигации и т.д.
2. Trades, Quotes and Prices: Financial Markets Under the Microscope, Жан-Филипп Бушо. Лучшая книга по микроструктуре рынка. Внимание: может вызвать много вопросов по матанализу!
3. Advances in Financial Machine Learning Маркос Лопес де Прадо. Книга о применении машинного обучения в финансах. Примечателен и ее автор, Маркос Лопес де Прадо, редкий случай академика, успешно работающего в хедж-фонде.
Вдумчивый читатель заметит, что в списке нет книг Кирилла Ильинского. Администрация канала считает, что еще никто в мире не смог разобраться в них до конца. Это настоящая библия кванта, которую нужно перечитывать многократно, каждый раз открывая для себя новые уровни смыслов.
Quant Researcher
Forwarded from Варим МЛ
Продолжаем тему LLM - набросал список вопросов и ответов, которые позволят быстро (но не очень глубоко) погрузиться в самые разные темы, связанные с их использованием.
На всякий случай - меня пока сложно назвать опытным ллмщиком, но я создавал этот док как раз в процессе изучения и работы над первыми проектами, так что, может быть, кому и пригодится.
Отдельное спасибо моему коллеге Жене Гутину за ревью.
#Жека #machinelearning #llm
На всякий случай - меня пока сложно назвать опытным ллмщиком, но я создавал этот док как раз в процессе изучения и работы над первыми проектами, так что, может быть, кому и пригодится.
Отдельное спасибо моему коллеге Жене Гутину за ревью.
#Жека #machinelearning #llm
Forwarded from Тимлид Очевидность | Евгений Антонов
Я принес. Воркшоп по самопрезентации на собеседовании
Сегодня я принес вам видео с одной из первых тимлидкрюшных подлодок https://www.youtube.com/watch?v=wLE40CAVFxM
Там рассказывается, как подготовить о себе складную самопрезентацию для собеседования.
Некоторые относятся к этому несколько снобистски – «вот у меня резюме, там всё написано, читать что ли не умеешь?». Но лично мне кажется, ценность в том, чтобы максимально емко и быстро успеть на собесе обговорить опыт кандидата.
Я собеседования и проходил, и проводил. На мой взгляд, такая домашняя заготовка помогает действительно раскрыть суть того, что вам рассказать хочется, чтобы потом после собеса не возникали мысли «блин, а еще вот это и вон то забыл рассказать».
А с точки зрения собеседующего, поговорить же нужно не только об опыте кандидата, но опыт – самое первое для обсуждения. И получается, что, если этот разговор никак не готовился, то на такую часть банально уходит больше времени, а на другие остается меньше.
Отдельно стоит сказать, что часто на менеджерские/тимлидские вакансии некоторые собеседующие обращают внимание с точки зрения того, как складно, понятно и логично человек формулирует свои мысли. Поэтому домашние заготовочки создают приятное впечатление, а полная неподготовленность – шероховатые.
В общем, я призываю видео посмотреть и полчаса-час потратить на формулировку самопрезентации, если вас ждут собеседования. А потом с этой заготовкой прогастролируете по волнам собесов и оставите приятные впечатления от себя.
Сегодня я принес вам видео с одной из первых тимлидкрюшных подлодок https://www.youtube.com/watch?v=wLE40CAVFxM
Там рассказывается, как подготовить о себе складную самопрезентацию для собеседования.
Некоторые относятся к этому несколько снобистски – «вот у меня резюме, там всё написано, читать что ли не умеешь?». Но лично мне кажется, ценность в том, чтобы максимально емко и быстро успеть на собесе обговорить опыт кандидата.
Я собеседования и проходил, и проводил. На мой взгляд, такая домашняя заготовка помогает действительно раскрыть суть того, что вам рассказать хочется, чтобы потом после собеса не возникали мысли «блин, а еще вот это и вон то забыл рассказать».
А с точки зрения собеседующего, поговорить же нужно не только об опыте кандидата, но опыт – самое первое для обсуждения. И получается, что, если этот разговор никак не готовился, то на такую часть банально уходит больше времени, а на другие остается меньше.
Отдельно стоит сказать, что часто на менеджерские/тимлидские вакансии некоторые собеседующие обращают внимание с точки зрения того, как складно, понятно и логично человек формулирует свои мысли. Поэтому домашние заготовочки создают приятное впечатление, а полная неподготовленность – шероховатые.
В общем, я призываю видео посмотреть и полчаса-час потратить на формулировку самопрезентации, если вас ждут собеседования. А потом с этой заготовкой прогастролируете по волнам собесов и оставите приятные впечатления от себя.
YouTube
Воркшоп по самопрезентации на собеседовании / Артем Гусев
Понравилось видео и хочешь узнать что-то еще про тимлидство? Забирай весь плейлист на https://is.gd/kChYnl или купи билет на следующий сезон конференции https://is.gd/auKynm
Подпишись на канал – каждую неделю мы выкладываем новые видео про то, как устроена…
Подпишись на канал – каждую неделю мы выкладываем новые видео про то, как устроена…