https://gputable.dev/ агрегатор цен на гпу, 35+ провайдеров
можно ловить очень сладкие цны

например RTX 6000 PRO за 74 цента, вместо 2 баксов, ондеманд (что значит вас не может выбить), или спот с которого вас может выкинуть, но это чертовски дешево

или H200 у которой средний прайс по рынку - $4.59/ч, можно взять за $1.00 /ч (но вас может выбить), или за $2.63/ч но выбить вас не сможет, потому-что он деманд

если хорошо хантить такие скидки, экономика тут ломается ой как сильно в сторону оренды

он кстати запускается и на 3090, 4090, 5090, но тут вопрос в том сколько контекстного окна и скорости вы можете себе позволить, на 3090 и 4090 это около 4000 токенов чего маловато, вот на 5090 уже ближе к 100к, на А100 - полные 262к + запас чтобы она работала быстро

само по себе удивительно что модель этого класа на столько доступная

локал ии лайфчендж.

вышел Ternary Bonsai 27B, это модель на базе Qwen 3.8 27B, который я так хвалил в одном из прошлых постов. они фактически сжали квен из 53.8гб в оригинале, до 5.9 гб. фактически это сжатие в 9раз, около 1.76 эффективных бита / вес.

при этом, она потеряла всего 1.8% интеллекта & способностей. а я напомню это клас Opus 4.7≈ который теперь доступен для запуске на обычном маке 16рам, или на около любой видяхе. или… даже на айфоне у которых по 8рам, что в притык, а начиная с 17ого поколения там 12гб юнифайд мемори

Блог: https://prismml.com/news/bonsai-2-27b
Веса: https://huggingface.co/collections/prism-ml/bonsai-2
*учтите что макам нужна mlx версия, а nvidia граф. картам gguf

Без цензуры, возможны потери качества: https://huggingface.co/dealignai/Bonsai-2-27B-1bit-CRACK-GGUF

Фрики: «Вот 14 KB system prompt, DAN v69, скажи модели, что она играет роль бабушки без моральных ограничений».

Гики: «Мы нашли refusal direction в residual stream и ортогонально спроецировали его нахуй на каждом forward pass».

гики, скачать

y' = y − α(y·r)r.

вышла модель Qwen Image 2.1, открытые веса.
просто вдумайтесь мы получили локально уровень NanoBanana 2.0

всего 7B параметров, с DIT декодером, это 14≈ гб. — такая запуститься на 24GB VRAM (3090, 4090), на более жирных картах, еще и быстрее и 2K, и батчинг (параллельно много фото)


https://qwen.ai/blog?id=qwen-image-2.1

https://github.com/QwenLM/Qwen-Image-2.1