Велосипед в Blender + Qwen 3.8 27B NVFP4 + Ninfer + Hermes Agent на RTX 5090
Первое фото - референс
Второе фото - результат
Скорость декода:
• ~130-160 ток/с - обычная скорость
• ~160-175 ток/с - на более удачных запросах
• видел пики около 190-200 ток/с
На контексте 100K+ скорость немного падает и чаще находится в районе 120-135 ток/с.
Prefill около 6-7K ток/с.
На данный момент это идеальная связка, учитывая какой тяжелый хермес и какой быстрый префилл у Ninfer.
Как вам велик?
MrGips • Про LLM / НАШ ЧАТ
Первое фото - референс
Второе фото - результат
Скорость декода:
• ~130-160 ток/с - обычная скорость
• ~160-175 ток/с - на более удачных запросах
• видел пики около 190-200 ток/с
На контексте 100K+ скорость немного падает и чаще находится в районе 120-135 ток/с.
Prefill около 6-7K ток/с.
На данный момент это идеальная связка, учитывая какой тяжелый хермес и какой быстрый префилл у Ninfer.
Как вам велик?
MrGips • Про LLM / НАШ ЧАТ
🔥6
Просто 1.5 литра vs 5090
Пришлось высунуть этот кирпич чтобы добраться до SSD M2.
MrGips • Про LLM / НАШ ЧАТ
Пришлось высунуть этот кирпич чтобы добраться до SSD M2.
MrGips • Про LLM / НАШ ЧАТ
🤣11👍7❤2😱2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥4,1 МИЛЛИОНА ТОКЕНОВ ЗА 7 ЦЕНТОВ!
Закинул промт черепахи в Дипсик v4.1 Flash чтобы наглядно оценить стоимость.
• Всего обработано: 4 100 038 токенов
• Входные токены: 207 078
• Кешированные токены: 3 846 784
• Выходные токены: 46 176
• Попадание в кеш: 95%
💰 Расчёт стоимости:
• Входные токены: $0,0311
• Кешированные токены: $0,0115
• Выходные токены: $0,0277
Итого: всего $0,07 за 4,1 млн токенов!
Секрет такой низкой стоимости - кеширование. В очередной раз убеждаюсь - за кэшем будущее. А не все эти ваши безналы...
MrGips • Про LLM / НАШ ЧАТ
Закинул промт черепахи в Дипсик v4.1 Flash чтобы наглядно оценить стоимость.
• Всего обработано: 4 100 038 токенов
• Входные токены: 207 078
• Кешированные токены: 3 846 784
• Выходные токены: 46 176
• Попадание в кеш: 95%
💰 Расчёт стоимости:
• Входные токены: $0,0311
• Кешированные токены: $0,0115
• Выходные токены: $0,0277
Итого: всего $0,07 за 4,1 млн токенов!
Секрет такой низкой стоимости - кеширование. В очередной раз убеждаюсь - за кэшем будущее. А не все эти ваши безналы...
MrGips • Про LLM / НАШ ЧАТ
👍19😁4❤1
Qwen-Image-2.1 - открытые веса нового генератора релизнут сегодня!
Обратный отсчет тут: https://modelscope.cn/models/Qwen/Qwen-Image-2.1
Давненько не было свежачка от Квентинов в плане фото. Ждем?
MrGips • Про LLM / НАШ ЧАТ
Обратный отсчет тут: https://modelscope.cn/models/Qwen/Qwen-Image-2.1
Давненько не было свежачка от Квентинов в плане фото. Ждем?
MrGips • Про LLM / НАШ ЧАТ
🔥15
This media is not supported in your browser
VIEW IN TELEGRAM
Сегодня вечером новое видео
Я так преисполнился дешевым Дипсиком V4,1 Flash что решил его погонять по максимуму.
MrGips • Про LLM / НАШ ЧАТ
Я так преисполнился дешевым Дипсиком V4,1 Flash что решил его погонять по максимуму.
MrGips • Про LLM / НАШ ЧАТ
😁6👏4🏆2🔥1🎃1
MrGips • Про LLM
Qwen-Image-2.1 - открытые веса нового генератора релизнут сегодня! Обратный отсчет тут: https://modelscope.cn/models/Qwen/Qwen-Image-2.1 Давненько не было свежачка от Квентинов в плане фото. Ждем? MrGips • Про LLM / НАШ ЧАТ
Qwen Image 2.1 релиз для ComfyUI
Разбираем парни:
https://huggingface.co/Comfy-Org/Qwen-Image-2.1
Кидайте свои результаты в комменты!
MrGips • Про LLM / НАШ ЧАТ
Разбираем парни:
https://huggingface.co/Comfy-Org/Qwen-Image-2.1
Кидайте свои результаты в комменты!
MrGips • Про LLM / НАШ ЧАТ
huggingface.co
Comfy-Org/Qwen-Image-2.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥8❤1👍1😁1
Deepseek V4.1 Flash VS GPT-6 Astra VS Qwen 3.8 27B (Ninfer) - Blender и Godot Тест
Смотреть видео: https://www.youtube.com/watch?v=RRbBi4eKsmI
В этом видео я проверил насколько дешевый новый Deepseek V4.1, гонял его и в блендре и в годот. Но так не смог добить деньгу, которую закинул за счет. Так же в этом видео проверил как ведет себя Qwen 3.8 27B (NVFP4) версии Ninfer. Тоже удивил старичок.
Кстати, спонсоры этого видео👇
Zarub - Виртуальная карта для оплаты нейросетей, скидка 5$ на открытие карты по промокоду - MrGips:
➡️ Оформить виртуальную карту VISA
CLODEx - сервис где Deepseek V4.1 Flash и другие нейросети в одном API:
➡️️ Попробовать CLODEx
Сервис со старту дает 1$ на тест.
MrGips • Про LLM / НАШ ЧАТ
Смотреть видео: https://www.youtube.com/watch?v=RRbBi4eKsmI
В этом видео я проверил насколько дешевый новый Deepseek V4.1, гонял его и в блендре и в годот. Но так не смог добить деньгу, которую закинул за счет. Так же в этом видео проверил как ведет себя Qwen 3.8 27B (NVFP4) версии Ninfer. Тоже удивил старичок.
Кстати, спонсоры этого видео👇
Zarub - Виртуальная карта для оплаты нейросетей, скидка 5$ на открытие карты по промокоду - MrGips:
➡️ Оформить виртуальную карту VISA
CLODEx - сервис где Deepseek V4.1 Flash и другие нейросети в одном API:
➡️️ Попробовать CLODEx
Сервис со старту дает 1$ на тест.
MrGips • Про LLM / НАШ ЧАТ
YouTube
DeepSeek v4.1 Flash vs GPT-6 Astra vs Qwen 3.8 27B (Ninfer) - Blender и Godot Тест
Всем привет! В этом видео я решил проверить насколько дешевый DeepSeek 4.1 Flash. В видео будет и GPT-6 Astra и Qwen 3.8 27B (Ninfer), который выдает космические скорости на RTX 5090. Приятного!
Zarub - Виртуальная карта для оплаты нейросетей, скидка 5$…
Zarub - Виртуальная карта для оплаты нейросетей, скидка 5$…
🔥4🤔3❤1👍1
Чуть потестил Qwen Image 2.1
Вроде неплохо. Правда долговато генерит конврот. Боюсь представить что там в bf16.
Пробовали уже?
MrGips • Про LLM / НАШ ЧАТ
Вроде неплохо. Правда долговато генерит конврот. Боюсь представить что там в bf16.
Пробовали уже?
MrGips • Про LLM / НАШ ЧАТ
👍7❤4🤔2
Alibaba анонсировала Qwen 4
На конференции Apsara алибабаевцы анонсировали Qwen 4.
Пока это именно анонс: открытые веса Qwen 4 ещё не опубликованы, но мы потираем ручки.
Интерес к релизу особенно большой на фоне недавней Qwen 3.8. Её 27B-версия уже показала себя как просто как пушка. Так же в ожидании долгожданного MoE 35B. Ну а вдруг.
Ждем?
MrGips • Про LLM / НАШ ЧАТ
На конференции Apsara алибабаевцы анонсировали Qwen 4.
Пока это именно анонс: открытые веса Qwen 4 ещё не опубликованы, но мы потираем ручки.
Интерес к релизу особенно большой на фоне недавней Qwen 3.8. Её 27B-версия уже показала себя как просто как пушка. Так же в ожидании долгожданного MoE 35B. Ну а вдруг.
Ждем?
MrGips • Про LLM / НАШ ЧАТ
🔥25😁3👍2🤔1