Глава Qualcomm Криштиану Амон заявил, что ИИ-компании уже разрабатывают смартфоны, способные запускать локальные языковые модели на 100 млрд параметров. Однако у этой идеи есть два серьезных препятствия: объем оперативной памяти и ее стоимость в нынешних реалиях.

Даже при 4-битном квантовании модели такого размера потребуется около 50 ГБ памяти — и это без учета ОС, приложений и контекстного окна. При 2-битном квантовании требования снизятся примерно до 25 ГБ, но качество ответов будет оставлять желать лучшего. Дополнительная проблема — нагрев: продолжительная работа крупной модели способна вызвать троттлинг и снизить производительность.

Один из вариантов — использование MoE-моделей, где активные эксперты используют оперативную память, а остальные веса загружаются во флеш-память. Это позволяет сократить требования к DRAM, но увеличивает задержки, поскольку накопители заметно медленнее оперативной памяти. Другой путь — агрессивное квантование или компактные дистиллированные модели на 20-30 млрд параметров, которые могут приблизиться к более крупным системам по качеству в отдельных задачах.

😅 Канал Serverflow в MAX: Подписаться

Следующее поколение видеокарт AMD Radeon на архитектуре RDNA 5 может задержаться дольше, чем ожидалось. По словам инсайдера Kepler_L2, рассчитывать на анонс в начале 2027 года, включая конференции CES и Computex, не стоит. Ранее тот же инсайдер предполагал, что RDNA 5 появится примерно в середине 2027 года. Теперь сроки выглядят менее определёнными, хотя неизвестно, действительно ли AMD изменила планы или инсайдер уточнил прежний прогноз. По предварительным данным, в 2027 году AMD может выпустить только один GPU нового поколения — AT2, а другие чипы, включая предполагаемые AT0, AT3 и AT4, отложить до 2028 года. Это пока неподтвержденная информация.

😅 Канал Serverflow в MAX: Подписаться

Друзья, уже завтра в 18:30 МСК выходит наше новое большое видео! ⚡️

На прошлой неделе мы анонсировали обзор ASUS RS501A-E12-RS12U, а теперь практически готовы показать результаты нашей работы!

В этот раз мы постарались выжать максимум из одноюнитового сервера с 96-ядерным AMD EPYC 9684X - 400w TDP и 1152 MB L3 КЭША!

Что сделали в ролике:

⚙️ Подробно разобрали платформу ASUS и проверили, как она справляется с охлаждением 400-ваттного процессора.

📊 Провели множество тестов производительности, включая научные расчёты в GROMACS, LAMMPS и NAMD.

🧠 Запустили нейросети прямо на процессоре, поэкспериментировали с гигантским L3-кешем и добрались до DeepSeek на 748 миллиардов параметров!

И самое интересное - DeepSeek V4 Flash на 748b оказалась быстрее Qwen3.8 27b, а попытка ускорить её видеокартой дала обратный эффект.

Почему так получилось? Расскажем в видео!

Как всегда вложили в выпуск большое количество времени и сил, поэтому будем рады вашей поддержке!

🔔 Завтра, 13 октября, в 18:30 МСК на ServerFlow. Не пропустите!

Раз уж видео посвящено инференсу нейронки на AMD EPYC 9684X, мы решили рассказать, как вообще появился CPU-инференс и как развивалась эта передовая технология.

🤩 В марте 2023 года появился llama.cpp — передовой движок, который впервые дал юзерам возможность инференсить нейронки на центральных процессорах. Это стало возможным благодаря специальному формату весов GGUF, который сжимает веса нейросети с 16-битных (FP16) или 32-битных чисел до 4 бит. SIMD-инструкции CPU без проблем справляются с инференсом такой квантизацией, но по-началу скорости никого не впечатляли. Ситуация изменилась, когда в llama.cpp появились K-кванты, которые позволили сжимать веса нейонок от 2 до 6 бит со смешанной точностью. Благодаря этому большие модели помещались в обычную оперативку почти без потери качества.

🤩 В июле 2024 года инженеры Arm добавили оптимизированные вычислительные ядра под типы данных INT4 и INT8, и на процессорах AWS Graviton3 обработка промпта ускорилась в 2,5 раза, а генерация вдвое. В ноябре движок научился перестраивать расположение весов прямо при загрузке модели, и на том же Graviton3 это дало еще 2,9-кратное ускорение промпта и 2,3-кратное ускорение генерации. Процессор и память остались прежними, просто софт стал гораздо эффективнее их использовать.

🤩 В марте 2025 года пришла очередь x86. Разработчики переупорядочили блоки популярного формата Q4_K так, чтобы инструкции AVX2 обрабатывали их эффективнее. На Ryzen 5 7600X с моделью LLaMA 2 7B обработка промпта в формате Q4_K_M выросла с 45,8 до 70,6 токена в секунду, а в Q4_K_S с 46,6 до 77,25. Это прирост на 54-66%. А вот генерация при этом не только не ускорилась, но даже немного просела: с 14,09 до 13,85 токена в секунду в Q4_K_M и с 14,91 до 14,62 в Q4_K_S. Вычисления стали быстрее, но генерация уперлась в память, и дальше одними оптимизациями матриц ее уже не разогнать.

🤩 Казалось бы, за три года все уже оптимизировали. Но в июле 2026 года разработчик предложил новое вычислительное ядро для 2-битного формата Q2_0 с инструкциями AVX-VNNI и AVX-512 VNNI. На восьми ядрах AMD EPYC 9645 модель Bonsai 8B ускорилась с 2,82 до 10,26 токена в секунду на промпте и с 2,39 до 8,2 токена на генерации. Это ускорение в 3,4–3,6 раза, причем на моделях от 1,7 до 27 млрд параметров результаты были похожими. Правда, причина такого скачка в том, что старый код для Q2_0 был откровенно неэффективным, и новое ядро просто устранило этот недостаток.

То есть, несмотря на низкую скорость генерации токенов в сравнении с GPU, и несмотря на бушующий на рынке кризис память, CPU-инференс продолжает мало-помалу развиваться. AMX, VNNI и новые вычислительные ядра дают много новых возможностей для локального ИИ-инференса, но только в фазе обработки промптов.

Но общая скорость инференса все равно в основном зависит от пропускной способности памяти. Конечно, софтверные методы ускорения ИИ, вроде спекулятивного декодирования, пакетной обработки запросов и оптимизации KV-кэша могут слегка исправить ситуацию, но CPU-инференс всегда будет проигрывать GPU-инференсу.

😅 Канал Serverflow в MAX: Подписаться

Z.ai представила GLM-Legal — специализированную ИИ-модель для юридической работы, ориентированную на выполнение задач от анализа документов до подготовки готовых юридических материалов. Она построена на базе GLM-5.3-Flash и дообучена на десятках тысяч юридических практик с использованием обучения с подкреплением.

Модель умеет находить противоречия, связывать факты с правовыми нормами, обосновывать выводы и соблюдать требования к документу. На Harvey LAB, оценивающем выполнение реальных задач юридических фирм в 24 областях права, модель показала 19,2% успешных прохождений по критерию All-Pass. Это на 12,5 процентного пункта выше результата базовой GLM-5.3-Flash. По заявлениям Z.ai, на LegalBench модель сопоставима с ведущими закрытыми системами в юридических рассуждениях.

В ближайшее время Z.ai планирует интегрировать GLM-Legal в AutoClaw. Среди заявленных возможностей — внесение изменений в договоры в формате Word с отслеживанием правок и комментариями. А пока GLM-Legal доступна в API в качестве бета-теста для заинтересованных юридических фирм.

😅 Канал Serverflow в MAX: Подписаться

HPE в презентации новых серверов ProLiant DL585a Gen13 случайно раскрыла готовящиеся ИИ-ускорители NVIDIA Rubin с интерфейсом PCIe.

Нынешние ИИ-ускорители Rubin используют форм-фактор SMX и потребляют до 2300 Вт. Такой форм-фактор рассчитан на проприетарные серверные системы, поэтому перенести Rubin в стандартную PCIe-карту без существенных изменений было бы сложно, поэтому новая версия, если она вообще появится, получит другой дизайн с уменьшенным энергопотреблением и иными рабочими частотами.

По предварительным данным, ускоритель может использовать графический процессор GR202, который также связывают со следующим поколением игровых видеокарт GeForce. Не исключено, что речь идет о профессиональной карте семейства RTX Pro, но пока это лишь предположение.

Сам HPE ProLiant DL585a Gen13 представляет собой сервер высотой 10U на двух процессорах AMD EPYC 9006 с поддержкой до 8 двухслотовых или 16 однослотовых PCIe-карт, а для хранения данных предусмотрено 16 отсеков под накопители EDSFF E3.S.

NVIDIA пока не раскрыла характеристики и не подтвердила существование PCIe-ускорителей нового поколения.

😅 Канал Serverflow в MAX: Подписаться