MrGips • Про LLM
2.15K subscribers
67 photos
21 videos
2 files
100 links
Все про локальные LLM и не только.

Для связи: @MisterGips

НАШ ЧАТ https://t.me/+ZV1ymPoTNzlkYmE6
Download Telegram
НОВОЕ ВИДЕО! GPT-6 Astra vs Qwen 3.8 27B - Тест в GODOT

Мне немного надоел Blender, и я решил попробовать поиграть в игростроение. Это не сравнение - это просто тест возможностей. Кстати в видео еще и 3.8 Flash Next, но не совсем. Так же фигурирует vLLM немного. История занимательная, которуя пошла не по плану.

Смотреть видео:
https://www.youtube.com/watch?v=4EbVdMnIb3Q

В комментариях будут файлы из видео.

Еще одно, спонсор этого видео CLODEx - сервис с популярными нейронками в одном API:
➡️ Попробовать CLODEx
Сервис со старту дает 1$ на тест.

Приятного просмотра!

MrGips • Про LLM / НАШ ЧАТ
🔥10😁1
MrGips • Про LLM
🔥 NVIDIA RTX PRO 5500 Blackwell с 84 ГБ видеопамяти Вы вообще видели какую пушечку скоро выпустит NVIDIA? На сайте NVIDIA появилась новая профессиональная видеокарта RTX PRO 5500 Blackwell Workstation Edition, для локального AI она выглядит особенно интересно.…
В США барыги ломят цены на RTX 5090 по $9500

Зашел на реддит посмотреть что интересного, и увидел такой пост.

Пишут что начали массово исчезать 5090 из крупных торговых площадок. А у барыг сторонних продавцов цена достигает $6000-9500.

Почему? Причины всё те же - резкий рост спроса. В комментах еще обсудили разные теории, в которых замешан Китай, который скупает все остатки для своих перепаек на 96 gb VRAM. Но то лишь теории.

Если в игровом мире 5090 считается боссом видеокарт, то в AI-сфере уже как дешёвая основа AI-сервера. Вам не показалось. ДЕШЕВАЯ.

Пользователи сообщают примерно о 140–170 токенах/с на Qwen 3.8 27B, а в отдельных конфигурациях с NVFP4 + MTP встречаются результаты около 200 токенов/с. Знаю я таких пользователей, в НАШЕМ ЧАТЕ и не такие скоростя бывали. У меня всё.

MrGips • Про LLM / НАШ ЧАТ
😱102🤔1
Впервые на моем канале видео перевалило за 100 тыс просмотров.

Как-то даже неверится. Спасибо что смотрите, а так же отдельная благодарность Qwen’тину и Астре за это!

MrGips • Про LLM / НАШ ЧАТ
👍27🎉4
Media is too big
VIEW IN TELEGRAM
Ностальгия в глаз попала - Quake 3 в гараже

Сегодня на реддите заметил интересный пост, где парень поместил физику и оружие из игры Quake 3 в Gaussian Splat-сцену.

Он собрал демо на PlayCanvas с WebGPU. Сам уровень - это не обычная 3D-модель, а Gaussian Splat, подготовленный через SuperSplat.

Для физики он сделал отдельную voxel collision map, потому что сами сплаты не подходят для нормальных столкновений игрока со стенами и объектами.

Механику движения и оружия автор переносил с оглядкой на исходники ioquake3, а оригинальные файлы Quake 3 использовал для моделей и конфигов оружия.

В итоге стек примерно такой:

PlayCanvas + WebGPU
SuperSplat / Gaussian Splat
Voxel collision

ioquake3 как основа для movement и weapons

На RTX 4090 всё работает быстро, а на MacBook Pro M3 автор пишет о примерно 40–60 FPS.

Где он это вайбкодил, я не нашел.

Ждем теперь Мозг мухи внутри клетки с хомяками с механикой движения из Half-Life.

MrGips • Про LLM / НАШ ЧАТ
🔥7😁42
Media is too big
VIEW IN TELEGRAM
🪰 Мозг мухи научили водить авто

Снова на реддите увидел необычный кейс с использованием нейронных связей мозга дрозрофилы, где автор подключил её к виртуальной машинке в Three.js.

Датчики машины подают сигналы на сенсорные нейроны, движение работает как награда, а столкновения - как «боль». Также используются дофаминовые механизмы обучения.

То есть эксперимент проверяет, сможет ли структура настоящего мозга мухи научиться управлять совершенно чужим для неё «телом».

2026-й год не перестает удивлять.

MrGips • Про LLM / НАШ ЧАТ
👍10😁6🔥3🥴21🤔1
MrGips • Про LLM
Протестировал DeepSeek V4.1 Flash на аквариуме Пока готовил новое видео, решил закинуть промт аквариума в DeepSeek, который в Opencode. Кстати промт находится в НАШЕМ ЧАТЕ в разделе Промты. И что мы имеем: Потрачено 220к токенов. Списало 1.21$. Дорого чи…
DeepSeek V4.1 Flash через OpenRouter оказался реально дешёвым 💸

Если помните, я недавно выкладывал пост с тестом дипсика на аквариуме. И вот я тогда сказал что потрачено 220к токенов (по подсчетом OpenCode), а списало 1,21$ в OpenRouter.

Но сегодня в OpenRouter я увидел статистику потраченых токенов, и просто прозрел.

Этот аквариум потратил:
• 11,8 млн токенов
• 71 запрос
• cache hit - 70,4%


То есть в среднем вышло около $0,10 за 1 млн обработанных токенов. ВОУ ВОУ.

Почему так дёшево? OpenCode постоянно отправляет модели большой контекст заново, поэтому счётчик токенов растёт очень быстро. Но у меня около 70% этого контекста попадает в кэш и оплачивается значительно дешевле.

Все таки дешевость дипсика оказалось правдой. Опенкод ввел меня в заблуждение. В агентном режиме это просто сказка.

MrGips • Про LLM / НАШ ЧАТ
🔥6🤯4
Велосипед в Blender + Qwen 3.8 27B NVFP4 + Ninfer + Hermes Agent на RTX 5090

Первое фото - референс
Второе фото - результат

Скорость декода:
• ~130-160 ток/с - обычная скорость
• ~160-175 ток/с - на более удачных запросах
• видел пики около 190-200 ток/с

На контексте 100K+ скорость немного падает и чаще находится в районе 120-135 ток/с.

Prefill около 6-7K ток/с.

На данный момент это идеальная связка, учитывая какой тяжелый хермес и какой быстрый префилл у Ninfer.

Как вам велик?

MrGips • Про LLM / НАШ ЧАТ
🔥6
Просто 1.5 литра vs 5090

Пришлось высунуть этот кирпич чтобы добраться до SSD M2.

MrGips • Про LLM / НАШ ЧАТ
🤣11👍72😱2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥4,1 МИЛЛИОНА ТОКЕНОВ ЗА 7 ЦЕНТОВ!

Закинул промт черепахи в Дипсик v4.1 Flash чтобы наглядно оценить стоимость.

• Всего обработано: 4 100 038 токенов
• Входные токены: 207 078
• Кешированные токены: 3 846 784
• Выходные токены: 46 176
• Попадание в кеш: 95%

💰 Расчёт стоимости:
• Входные токены: $0,0311
• Кешированные токены: $0,0115
• Выходные токены: $0,0277
Итого: всего $0,07 за 4,1 млн токенов!

Секрет такой низкой стоимости - кеширование. В очередной раз убеждаюсь - за кэшем будущее. А не все эти ваши безналы...

MrGips • Про LLM / НАШ ЧАТ
👍19😁41
Qwen-Image-2.1 - открытые веса нового генератора релизнут сегодня!

Обратный отсчет тут: https://modelscope.cn/models/Qwen/Qwen-Image-2.1

Давненько не было свежачка от Квентинов в плане фото. Ждем?

MrGips • Про LLM / НАШ ЧАТ
🔥15
This media is not supported in your browser
VIEW IN TELEGRAM
Сегодня вечером новое видео

Я так преисполнился дешевым Дипсиком V4,1 Flash что решил его погонять по максимуму.

MrGips • Про LLM / НАШ ЧАТ
😁6👏4🏆2🔥1🎃1
Deepseek V4.1 Flash VS GPT-6 Astra VS Qwen 3.8 27B (Ninfer) - Blender и Godot Тест

Смотреть видео: https://www.youtube.com/watch?v=RRbBi4eKsmI

В этом видео я проверил насколько дешевый новый Deepseek V4.1, гонял его и в блендре и в годот. Но так не смог добить деньгу, которую закинул за счет. Так же в этом видео проверил как ведет себя Qwen 3.8 27B (NVFP4) версии Ninfer. Тоже удивил старичок.

Кстати, спонсоры этого видео👇

Zarub - Виртуальная карта для оплаты нейросетей, скидка 5$ на открытие карты по промокоду - MrGips:
➡️ Оформить виртуальную карту VISA

CLODEx - сервис где Deepseek V4.1 Flash и другие нейросети в одном API:
➡️️ Попробовать CLODEx
Сервис со старту дает 1$ на тест.

MrGips • Про LLM / НАШ ЧАТ
🔥4🤔31👍1
Чуть потестил Qwen Image 2.1

Вроде неплохо. Правда долговато генерит конврот. Боюсь представить что там в bf16.

Пробовали уже?

MrGips • Про LLM / НАШ ЧАТ
👍74🤔2
Alibaba анонсировала Qwen 4

На конференции Apsara алибабаевцы анонсировали Qwen 4.

Пока это именно анонс: открытые веса Qwen 4 ещё не опубликованы, но мы потираем ручки.

Интерес к релизу особенно большой на фоне недавней Qwen 3.8. Её 27B-версия уже показала себя как просто как пушка. Так же в ожидании долгожданного MoE 35B. Ну а вдруг.

Ждем?

MrGips • Про LLM / НАШ ЧАТ
🔥23😁3👍2🤔1