Gaperton's Tech Corner
373 subscribers
654 photos
47 videos
1 file
447 links
Технология, жизнь, и немного классической философии

https://gaperton.substack.com
Download Telegram
Европа наносит ответный удар. Они выпустили новую модель.

Порванная на британский (или французский?) флаг жопа, для того чтобы сравняться с GPT-6 Luna и немного отстать от DeepSeek c бесплатным Qwen3.8-Flash-Next.

Я думаю, в конце этого месяца мы все с удовольствием посмотрим, как китайская Qwen4 на 27B параметров порвёт модель с 1T.
😁4
Forwarded from Андрей Зорин
https://codeberg.org/StillDeadcode/radiance - а вот на Radiance чистом, не vllm форке, Qwen3.8-flash-next завелся и полетел 140+ токенов в секунду декод, 6,5-7к префилл. На 2-х Radeon R9700
Gaperton's Tech Corner
https://codeberg.org/StillDeadcode/radiance - а вот на Radiance чистом, не vllm форке, Qwen3.8-flash-next завелся и полетел 140+ токенов в секунду декод, 6,5-7к префилл. На 2-х Radeon R9700
Теперь тестируем движок Radiance, который является отдельным движком для моделей Qwen. Это не vllm fork. Почти никто за пределами собственного трекера задач не писал о нем. Движок стал доступен публике около 12 дней назад, и я не нашел независимых обзоров, блог постов или обсуждений на Reddit.

Qwen3.8-Flash-Next: 4-bit experts, int8 trunk, MTP, vision.

Контекст: 200K токенов на запрос из пула около 1,0M токенов, примерно 5 полных сеансов, с 8 последовательностями одновременно.

Holy fuck, господа присяжные заседатели. Надо проверить, нет ли в этом подвоха, потому что если его нет, то мы это оставляем.
🔥5
Gaperton's Tech Corner
Все, будущее наступило. Пробуем. У меня Qwen3.8-Flash-Next в проде. Качество, конечно, пока с 27B FP8 не сравнивал.
🔥 Предварительные результаты испытаний Qwen3.8-Flash (Radiance) — НАПАЛМ.

Модель уровня DeepSeek V4.1 Flash, работает бесплатно и заметно быстрее большинства моделей на OpenCode Go. Качество квантизации при этом очень высокое — лучше чем Q4_K_XL от unsloth.

Оборудование, напоминаю: 128 ГБ DDR4 и 2xR9700 32 Гб. Мать Asus x570-f. Это оборудование предыдущего поколения. Не считая GPU.

Все, короче, ничего не трогаем. И переносим все остальные модели на второй компьютер, для которого я купил 3090. Это у нас модели синтеза речи, распознавание речи, реранкер. Ну ещё хуйню навесим, типа вижен-модели.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Минутка work in progress

Короткий спойлер того, что будет в ближайшей статье.

Исследование производительности Radeon AI PRO R9700 вылилось в сравнение кучи рантаймов, половины линейки RTX PRO и попытки все это визуализировать.

Пока статья дописывается, краткое превью в виде диаграммы по мотивам постов в ТГ канале. 70-75 токенов в секунду в 27B модели в FP8 это очень интересный результат.

Полная статья будет на Sponsr. Подписывайтесь
🙏1
https://x.com/kunchenguid/status/2108030810691629403?s=20

🤷‍♀️ Я, в общем, не удивлён.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1
А локальный Qwen3.8-Flash-Next не стоит вообще ничего. Но Амадею, конечно, горячий привет. Не забудьте выжечь его подписку до лимита, если она у вас есть.
😁10🔥1
Если вы интересуетесь, почему Европа не может произвести ничего, кроме регуляций на крышки для пластиковых бутылок. Проблемы там глубоко, и они скорее из области клинической психиатрии.

"given the large share of nuclear power in France’s energy mix and questions whether it guarantees European independence"

https://x.com/POLITICOEurope/status/2108099375750656485?s=20

Всего лишь спустя несколько дней после выхода Large 4 от Mistral, немецкая поисковая система Ecosia решила разорвать с ней отношения.

Почему?

Они сомневаются во французских дата-центрах, работающих на атомной энергии.

А чем они их заменяют?

Открытыми моделями из Китая... чья энергосеть работает преимущественно на угле.
😁5🤯2🔥1
Тем временем OpenAI очень смешно обосрался. Они опубликовали что-то вроде семиста доказательств новых математических теорем, сделанных их языковыми моделями.

Но вы, наверное, догадываетесь, что оказалось внутри, когда математики заглянули внимательно.

Я, конечно, всё понимаю, что теперь любой долбоёб с языковой моделью в руках считает себя специалистом в любой области. Но бля.
😁8
Есть идеи настолько плохие, что для создания правдоподобных, но ошибочных аргументов в их защиту требуются по-настоящему умные люди.

Скотт Александр в своём ответе Стивену Пинкеру продемонстрировал, что чем умнее человек, тем эффективнее он может использовать нечёткие формулировки и логические ошибки при защите неверных идей. Есть идеи настолько плохие, что для создания правдоподобных, но ошибочных аргументов в их защиту требуются по-настоящему умные люди. И, к сожалению, именно этот тип применения интеллекта теперь практикуют те, кто называет себя «рационалистами».

Когда группа скатывается в племенное мышление или культ, главной задачей становится защита ключевых убеждений сообщества, а неприятные истины, противоречащие этим убеждениям, должны подавляться всеми доступными средствами.

https://x.com/perrymetzger/status/2107860087393972376?s=20
❤4
Harnesses are useless.
🤔5