MrGips • Про LLM
2.16K subscribers
67 photos
21 videos
2 files
100 links
Все про локальные LLM и не только.

Для связи: @MisterGips

НАШ ЧАТ https://t.me/+ZV1ymPoTNzlkYmE6
Download Telegram
Media is too big
VIEW IN TELEGRAM
Как Qwen 3.8 27b делал мне игру в OpenCode всю ночь!

Черт дернул меня на ночь глядя попробовать этот промт, думал за полчасика сделает. Ага. Запустил в Opencode в 23:00, утром проснулся, а он оборвался на пол пути своих рассуждений где-то в середине ночи. Пнул его чтобы продолжал, закончил в 13:00.

Запуская, я думал сейчас будет Forza Horizont новая часть, а получилось это. Управление не работает, сам ездит по заранее записанной траектории, и уже со старту дает боком.

Я не рискнул сказать ему чтобы он починил, потому что ждать еще сутки, пока он выдавит результат я не готов. Его длинные рассуждения уже раздражают. Это на уровне шуток про клода, когда пишешь ему "привет", а он в рассуждениях спалил весь 5 часовой лимит. Не думал что господин Квен перехватит эстефету.

У вас получилось решить проблему длинных рассуждений? Или вас это не напрягает?

Подписывайтесь на НАШ ЧАТ. А я всё, выключаю.
😁18👍1
Как же я недооценивал NVFP4

Сегодня шарился по реддиту и наткнулся на пост, где кто-то выдавил из 5090 почти 200 т/с (там есть нюанс - Linux).

Я тоже попробовал Qwen 3.8 27b в формате NVFP4, вместо стандартных Q4/Q5/Q6, которые я обычно использовал, и был приятно удивлен.

Но так как у меня Windows, скорость генерации на 5090 при полном контексте (262к!) достигала 137 токенов в секунду. А качество модели на уровне Q5 (если что, это утверждает GPT, не я). К слову, на Q5_K_XL при 130к контекста у меня 80-90 токенов в секунду. Как бы чувствуется разница слегка.

В НАШЕМ ЧАТЕ в разделе Тесты LLM, я успел немного погонять модельку. Продолжу дальше тестировать, что за зверь этот ваш NVFP4.

А вы пробовали? Что думаете?

Приятной генерации и быстрых токенов! А я всё, выключаю.
🔥121👍1
Qwen 3.8 27b Dynamic V3

Unsloth-овцы выпустили обновление для легендарного квена, где улучшили точность на 10% с помощью новой Dynamic V3. Что бы это не значило.

Забираем тут: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

Скачивайте, тестируйте и выкладывайте результаты в НАШ ЧАТ.

Всем быстрых токенов!
🔥136
Aurora-80K - Крошечная LLM на 80 000 параметров

Не знаю зачем она нужна, но прикольно. И что самое интересное: обучали ее около 6 часов на смартфоне Xiaomi 14T Pro, используя 4 ядра Cortex-X4.

https://huggingface.co/AuroraAI-Research/Aurora-80K

Ссылку прикрепляю, но можете не качать, просто знайте.

Всем тяжелых моделей с быстрыми токенами!
👍7🔥3😁2🤔1
Qwen, спасибо за насыщенный август!

Надеюсь сентябрь будет таким же, октябрь и … подписывайтесь на НАШ ЧАТ!

Всем быстрых токенов!
👍95😁4🤗1
This media is not supported in your browser
VIEW IN TELEGRAM
NKD Face Rig - управление лицом в реальном времени для ComfyUI

На самом деле тут много всего интересного. Можно вручную управлять бровями, веками, направлением взгляда, ртом, челюстью и положением головы, перетаскивая контролы прямо на лице. Результат перерендеривается при изменениях.

Я еще не тестил, но схоронил и вам советую. Выкладывайте свои результаты в НАШ ЧАТ в раздел ComfyUI

Приятной генерации!
👍10
Несколько месяцев назад я случайно заметил этот лаунчер для llama.cpp и показал его в своем видео. И понеслось!

Видео для освежения памяти: https://youtu.be/vcPGTI_VA4k

Это была простенькая, но удобная программка, которая упрощает запуск ЛЛМок.

С того момента это уже не просто программка, а блин, уже целый комбайн, MCP серверами, блекджеком, мощными бенчмарками, доступом к ComfyUI, и десятками настраиваемыми параметрами из удобного интерфейса.

Как говорил автор, мое видео подтолкнуло к дальнейшему развитию проекта. И это заметно - обновления появляются чуть ли не каждый день. Я рад, что это стечение обстоятельств, дало толчок полезному продукту, которым пользуется все больше ЛЛМ энтузиастов. И теперь ссылка на мой канал красуется в репозитории лаунчера.💪

Скачивать тут: https://github.com/pytraveler/LlamaServerLauncherAvalonia

Подписывайтесь на НАШ ЧАТ

Приятной генерации и быстрых токенов!
👍221
Август еще не закончился, а Qwen завтра нас порадует новинкой - Qwen 3.8 Flash Next

Ух ждем. Я сам пока не понимаю что это будет. Потом почитаю подробнее и выдам пост.

https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next/summary

Можете тут почитать☝️

А я всё, пока что выключаю.
🔥182
Типичное локальное LLM сообщество. 😁

Очень похоже на НАШ ЧАТ

Подписывайтесь!
😁22👍2💯1
Qwen 3.8 Flash Next GGUF - свежак от Unsloth.

https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

Если файлов еще нет, значит пацаны грузят. Прогреваем свои аппараты и готовимся тестить!

Обсуждаем релиз в НАШЕМ ЧАТЕ

Всем быстрых токенов!
👍2👏2
🔥 NVIDIA собирается купить Hugging Face за $12,9 млрд

По данным Reuters, NVIDIA согласилась приобрести Hugging Face - одну из главных площадок опенсорсных моделей.

Ну что, затариваемся всякими uncensored модельками, пока их не вычистили из обнимающегося лица.

И переходим на китайский аналог - ModelScope

А пока, приятной генерации!
💯16😱9👎1
Сегодня нашел время протестировать Unsloth Desktop. Это LM Studio на максималках. Кажется, это претендент в мой личный топ софтов для запуска ллм. Но не суть.

Провел я тест Qwen 3.8 27b в разных режимах thinking (да, в usloth desktop можно одним кликом менять думалку).

Промт:
I need a topdown view of a Playstation 5 controller in SVG.
It needs to be so well done that a photo from topdown looks identical in color, grading, positioning, subtle details, shadows, shape etc.


Без референсного изображения, но с использованием тулов.

Подписывайтесь на НАШ ЧАТ чтобы присоединиться к тестированию.

Держу в курсе. Приятной генерации!
7👏4👍1
Apple Watch в одном html файле.

Накатил Deepseek Harness и подключил к нему Unsloth Desktop в режиме api с моделью Qwen 3.8 27b с думалкой xhigh.

Короткий промт: Сделай интерфейс Apple Watch в одном html

И через 6 минут вполне рабочие часы. Блин, квен красава, радует. Пробуйте тоже и выкладывайте свои результаты в НАШ ЧАТ

А я выложу свои часы в коменты под постом.
🔥9👏3👍21
This media is not supported in your browser
VIEW IN TELEGRAM
Всё, MrKurtka Хуанг купил Hugging Face🤗 за $13 млдр.

Мы всем чатом поздравляем с покупкой!
😭20🖕63👎3🔥1
Немного пощупал Unsloth Desktop.

И хочу сказать что это LM Studio на максималках.

Видео: https://youtu.be/zbg_Or9e-5I

Подписывайтесь на НАШ ЧАТ, там промты и многое другое!

Приятной генерации!
👍123
GPT-6 Astra vs Qwen 3.8 27b - Тест в Blender

Два видео за два дня. Сам в шоке.

Но вы только посмотрите что вытроряет эта GPT-6 в Блендере.

Видео смотреть: https://youtu.be/fhM3V6Uafzk

Как говорится Астра Ла Виста, антропик.

Подписывайтесь на НАШ ЧАТ, тестируйте GPT и скидывайте результаты.

Приятной генерации!
👍15
GPT-6 Astra разрывает тренды

Ютуб даже организовал праздничные салюты в честь видео.

Спасибо кто продвигал своим просмотром, лайком и комментом.

Не забывайте присоединиться в НАШ ЧАТ

А всё, выключаю!
👏17👍72
Forwarded from Clodex | Dev
💀 Локалка закрывает многое. Но не всё.

Гоняешь LLM на своём железе — отлично. Но иногда попадается сложный баг, запутанная задача или код, на котором модель начинает ходить по кругу.

В такие моменты нужна модель посильнее. А не подписка за $100 ради нескольких запросов в месяц.

💎 CLODEx— для таких случаев. Оставляешь локалку для повседневных задач, а мощные облачные модели подключаешь по необходимости. Платишь за использованные токены, а не за месяц доступа.

🪙 Цены за 1 млн токенов:

> 6 ASTRA — $0.50
> 5.6 SOL — $0.25
> OPUS 5 — $0.85
> GEMINI-3.7 — $0.06
> KIMI-K3 — $0.15


Никто не предлагает сносить локалку. Просто полезно иметь запасной вариант, который не требует ежемесячного платежа.

👑 При регистрации — $1 на тесты.

➡️ Попробовать CLODEx
Please open Telegram to view this post
VIEW IN TELEGRAM
5🤮2
7 сентября - День который я буду отмечать ежегодно.

Это можно сказать День монетизации. Потому что у меня заказали рекламу. Да не просто рекламу, а рекламу по теме. Спасибо что не казик.

Никогда бы не подумал что мои монотонные разговоры в микрофон про каких-то хомяков и аквариумы принесет не только счета за электроэнергию, а еще и деньгу.

Наконец-то я трачу драгоценные киловатты на свое хобби с пользой.

Кстати, загляните в тг-канал СLODEX и в Чат ВАЙБКОДЕРОВ.

А так же, подписывайтесь на НАШ LLMповый ЧАТ

А я, пойду закину деньгу за коммуналку, ведь 5090 сама себя не оплатит. Выключаю!
👍176👏5🐳4😁2🤡2
Думаешь покупать видеокарту или ждешь пока подешевеют?

Можешь не ждать, японская крупная сеть комплектующих, предупреждает обновлять ПеКашники пока еще можете.

Скоро снова взвинтят цены. Храни ИИ.

НАШ ЧАТ где люди уже понакупляли себе видеокарты и довольны.