MrGips • Про LLM
2.16K subscribers
67 photos
21 videos
2 files
100 links
Все про локальные LLM и не только.

Для связи: @MisterGips

НАШ ЧАТ https://t.me/+ZV1ymPoTNzlkYmE6
Download Telegram
Ну что, видели уже новую модель для видеогенераций MiniMax H3? Как вам?

Я уже затестил и хочу сказать что это просто пушка. Практически уровень Seedance, только на своем ПК.

Вот несколько результатов.

Если вы тоже протестировали, скидывайте свои результаты в НАШ ЧАТ.

Приятной генерации!
👍16🔥82
This media is not supported in your browser
VIEW IN TELEGRAM
Этот август полон релизов и мне это нравится.

Это я к чему. Только что вышел LTX 2.5:
https://huggingface.co/Lightricks/LTX-2.5

Неделю назад вышел MiniMax H3:
https://huggingface.co/Comfy-Org/MiniMax-H3

Еще обещают дропнуть веса видеогенератора FLUX 3.

И вишенка на торте. Завтра, 12-го августа, долгожданный Qwen 3.8

Ух, жаркий август.

А пока, подписывайтесь на НАШ ЧАТ, чтобы следить за новостями сообщества, а также делитесь результатами LTX 2.5.

Приятной генерации!
🔥20👍72
Наконец-то вышел Qwen 3.8, но 2.4 триллионов параметров.

💪 https://huggingface.co/Qwen/Qwen3.8-2.4T-A95B

Кто миллиардер и имеет свой дата-центр, налетайте тестировать и скидывайте свои результаты в НАШ ЧАТ

А мы, простые ребята с видеокартами RTX 3000/4000/5000, подождем пока выйдет тот самый Qwen 3.8 27b.

И релиз состоится 14 августа, вечерком.

Здесь будем проверять вышла чи не:
https://modelscope.cn/models/Qwen/Qwen3.8-27B/summary

Приятной генерации!
🔥15👍143
🎵 MiniMax релизнули Music 3 - мощную модель для локальной генерации музыки

Вслед за видеогенератором, минимаксовцы дропнули веса для генератора музыки. Этого я точно не ожидал.

Для обычного запуска рекомендуется GPU примерно с 24+ ГБ VRAM. При меньшем объёме памяти предусмотрен CPU offload, а специальный режим позволяет запускать модель даже примерно на 8 ГБ VRAM, хотя скорость в таком случае будет заметно ниже.

Будет ли это достойная конкуренция для Ace Step 1.5?

Проверяйте и кидайте свои результаты в НАШ ЧАТ

Веса HF: https://huggingface.co/Comfy-Org/MiniMax-Music-3

Приятной генерации!
🔥16
Ну что, король в здании - Qwen 3.8 27b

Держите сразу GGUF от Unsloth:
https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

Тестируйте и делитесь результатами в НАШ ЧАТ

Всем быстрых токенов и рабочих результатов!
🔥18👏103
super-mario.html
42.3 KB
А ведь Qwen 3.8 27b хорош, чертяка!

Только посмотрите что он сделал мне за 45 минут в OpenCode, потратив 166 910 токенов, и это Q5_K_XL квант. Достойно.

Промт был такой:
Create a Super Mario clone in JavaScript as a single HTML page. Make the game engaging and the graphics as beautiful as possible.

И всё, я закинул ему задание и пошел смотреть новую серию Укрытия (2023).

Я прилепил html файл, чтобы вы сами попробовали.

Всем быстрых токенов. А я всё, выключаю.
🔥24👍81😁1
Qwen, ты кое-что забыл.

Кто еще ждет 35B? Как думаете, будет?
24👍6😁1
Результат Qwen 3.8 27b в кванте BF16 от участника НАШЕГО ЧАТА. Это прям реально мощь!

Промт здесь.

Результат здесь, можете покрутить на своем ПК.

Присоединяйтесь к тестированию и кидайте свои результаты в раздел Тесты LLM.

Приятной генерации и быстрых токенов!
🔥9👍2
Qwen 3.8 27B - это параноик из мира LLM

Я просматривал reasoning Qwen 3.8 27B и заметил, что она постоянно сомневается в себе.

Она приходит к решению, затем начинает его перепроверять, рассматривает другие варианты, возвращается назад и снова всё проверяет.

Похоже, именно поэтому относительно небольшая 27B-модель способна показывать настолько хорошие результаты.

На xhigh reasoning effort это особенно заметно. Иногда кажется, что модель уже закончила рассуждать и сейчас даст финальный ответ, но затем она снова начинает всё перепроверять.

Это делает её медленнее и заставляет расходовать намного больше thinking-токенов, но для сложных задач такой подход может быть преимуществом.

Взял из реддита, ибо мне зашел такой вариант описания поведения модели 🙂

А вы что думаете?
👍216
Media is too big
VIEW IN TELEGRAM
Как Qwen 3.8 27b делал мне игру в OpenCode всю ночь!

Черт дернул меня на ночь глядя попробовать этот промт, думал за полчасика сделает. Ага. Запустил в Opencode в 23:00, утром проснулся, а он оборвался на пол пути своих рассуждений где-то в середине ночи. Пнул его чтобы продолжал, закончил в 13:00.

Запуская, я думал сейчас будет Forza Horizont новая часть, а получилось это. Управление не работает, сам ездит по заранее записанной траектории, и уже со старту дает боком.

Я не рискнул сказать ему чтобы он починил, потому что ждать еще сутки, пока он выдавит результат я не готов. Его длинные рассуждения уже раздражают. Это на уровне шуток про клода, когда пишешь ему "привет", а он в рассуждениях спалил весь 5 часовой лимит. Не думал что господин Квен перехватит эстефету.

У вас получилось решить проблему длинных рассуждений? Или вас это не напрягает?

Подписывайтесь на НАШ ЧАТ. А я всё, выключаю.
😁18👍1
Как же я недооценивал NVFP4

Сегодня шарился по реддиту и наткнулся на пост, где кто-то выдавил из 5090 почти 200 т/с (там есть нюанс - Linux).

Я тоже попробовал Qwen 3.8 27b в формате NVFP4, вместо стандартных Q4/Q5/Q6, которые я обычно использовал, и был приятно удивлен.

Но так как у меня Windows, скорость генерации на 5090 при полном контексте (262к!) достигала 137 токенов в секунду. А качество модели на уровне Q5 (если что, это утверждает GPT, не я). К слову, на Q5_K_XL при 130к контекста у меня 80-90 токенов в секунду. Как бы чувствуется разница слегка.

В НАШЕМ ЧАТЕ в разделе Тесты LLM, я успел немного погонять модельку. Продолжу дальше тестировать, что за зверь этот ваш NVFP4.

А вы пробовали? Что думаете?

Приятной генерации и быстрых токенов! А я всё, выключаю.
🔥121👍1
Qwen 3.8 27b Dynamic V3

Unsloth-овцы выпустили обновление для легендарного квена, где улучшили точность на 10% с помощью новой Dynamic V3. Что бы это не значило.

Забираем тут: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

Скачивайте, тестируйте и выкладывайте результаты в НАШ ЧАТ.

Всем быстрых токенов!
🔥136
Aurora-80K - Крошечная LLM на 80 000 параметров

Не знаю зачем она нужна, но прикольно. И что самое интересное: обучали ее около 6 часов на смартфоне Xiaomi 14T Pro, используя 4 ядра Cortex-X4.

https://huggingface.co/AuroraAI-Research/Aurora-80K

Ссылку прикрепляю, но можете не качать, просто знайте.

Всем тяжелых моделей с быстрыми токенами!
👍7🔥3😁2🤔1
Qwen, спасибо за насыщенный август!

Надеюсь сентябрь будет таким же, октябрь и … подписывайтесь на НАШ ЧАТ!

Всем быстрых токенов!
👍95😁4🤗1
This media is not supported in your browser
VIEW IN TELEGRAM
NKD Face Rig - управление лицом в реальном времени для ComfyUI

На самом деле тут много всего интересного. Можно вручную управлять бровями, веками, направлением взгляда, ртом, челюстью и положением головы, перетаскивая контролы прямо на лице. Результат перерендеривается при изменениях.

Я еще не тестил, но схоронил и вам советую. Выкладывайте свои результаты в НАШ ЧАТ в раздел ComfyUI

Приятной генерации!
👍10
Несколько месяцев назад я случайно заметил этот лаунчер для llama.cpp и показал его в своем видео. И понеслось!

Видео для освежения памяти: https://youtu.be/vcPGTI_VA4k

Это была простенькая, но удобная программка, которая упрощает запуск ЛЛМок.

С того момента это уже не просто программка, а блин, уже целый комбайн, MCP серверами, блекджеком, мощными бенчмарками, доступом к ComfyUI, и десятками настраиваемыми параметрами из удобного интерфейса.

Как говорил автор, мое видео подтолкнуло к дальнейшему развитию проекта. И это заметно - обновления появляются чуть ли не каждый день. Я рад, что это стечение обстоятельств, дало толчок полезному продукту, которым пользуется все больше ЛЛМ энтузиастов. И теперь ссылка на мой канал красуется в репозитории лаунчера.💪

Скачивать тут: https://github.com/pytraveler/LlamaServerLauncherAvalonia

Подписывайтесь на НАШ ЧАТ

Приятной генерации и быстрых токенов!
👍221
Август еще не закончился, а Qwen завтра нас порадует новинкой - Qwen 3.8 Flash Next

Ух ждем. Я сам пока не понимаю что это будет. Потом почитаю подробнее и выдам пост.

https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next/summary

Можете тут почитать☝️

А я всё, пока что выключаю.
🔥182
Типичное локальное LLM сообщество. 😁

Очень похоже на НАШ ЧАТ

Подписывайтесь!
😁22👍2💯1
Qwen 3.8 Flash Next GGUF - свежак от Unsloth.

https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

Если файлов еще нет, значит пацаны грузят. Прогреваем свои аппараты и готовимся тестить!

Обсуждаем релиз в НАШЕМ ЧАТЕ

Всем быстрых токенов!
👍2👏2