Компания Xsight Labs представила DPU E1L — линейка энергоэффективных DPU-ускорителей на базе программируемых SoC. В линейку вошли 3 модели DPU: E1L-8, E1L-16 и E1L-22 с 8, 16 и 22 ядрами Arm Neoverse N2.

В зависимости от конфигурации чипы поддерживают 1 или 2 канала памяти DDR5-5200, а кэш варьируется от 8 до 12 МБ кэша SLC. Для периферии на плате есть 16 программируемых линий PCIe 5.0 + 4 линии PCIe 5.0. Также есть сетевые есть сетевой порт 200GbE, который можно разделить на 4 порта со скоростью 10, 25, 50 или 100 Гбит/с каждый. Также поддерживаются I2C/I3C/SMBus, SPI/QSPI, UART, GPIO, JTAG и другие интерфейсы. Заявленный TDP составляет 25–40 Вт, тогда как типичное энергопотребление находится в диапазоне 15-25 Вт.

DPU E1L ориентированы на встраиваемые системы, периферийные устройства и компактное оборудование, где стандартные DPU с высоким TDP не подходят из-за сложностей с охлаждением.

😅 Канал Serverflow в MAX: Подписаться

AMD снова повысила цены на память GDDR6 для производителей видеокарт с 1 октября. Об этом сообщают отраслевые источники Board Channels и Bench Life. Увеличение стоимости могут отразиться на розничной стоимости видеокарт Radeon, причем сильнее всего, вероятно, пострадает актуальная линейка Radeon RX 9000 на архитектуре RDNA 4.

GDDR6 используется в нескольких поколениях Radeon, от RX 5000 до RX 9000. Однако старые серии постепенно снимают с производства или выпускают меньшими объемами VRAM, поэтому увеличение цен затронет более свежие модели. Память при этом не единственная причина удорожания: источники также указывают на рост цен на печатные платы и SMD-компоненты.

NVIDIA пока не уведомляла партнеров о новом повышении цен на память. В видеокартах GeForce RTX 50 используется GDDR7, которая изначально дороже GDDR6 и уже увеличивает себестоимость продукции.

😅 Канал Serverflow в MAX: Подписаться

Энтузиаст NullMoth выпустил драйвер для macOS 15 Sequoia, совместимый с видеокартами GeForce RTX 20-й серии и новее. В основе решения лежат открытые модули ядра NVIDIA, Vulkan-драйвер NVK из проекта Mesa и преобразователь шейдеров. Драйвер транслирует команды Metal в Vulkan, а шейдеры Apple AIR преобразует в промежуточный формат SPIR-V. Благодаря этому становятся доступны меш-шейдеры, MetalFX, GPU-вычисления и даже трассировка лучей. Последняя реализована через CUDA, а не специализированные RT-ядра видеокарт. Однако для работы софта обязательно нужен CPU Intel, а также необходимо отключить System Integrity Protection, Secure Boot и проверку подписи кода AMFI.

😅 Канал Serverflow в MAX: Подписаться

Вчера легендарным видеокартам GeForce 8800 GTX исполнилось 20 лет — это были первые GPU Nvidia с поддержкой ПО-стэка CUDA 🎉

😅 Канал Serverflow в MAX: Подписаться

По данным СМИ, Nvidia ведет переговоры о приобретении ИИ-стартапа Reflection AI, основанного бывшими сотрудниками Google DeepMind и известного своими открытыми ИИ-моделями Beam. Сумма сделки пока неизвестна, да и не факт, что это нечто больше, чем слух.

😅 Канал Serverflow в MAX: Подписаться

CXMT собирается до конца 2026 года выпустить серверную память DDR5 RDIMM с архитектурой ячеек 4F², опередив график Samsung примерно на два года. Об этом заявил президент компании Цао Канью на конференции Integrated Chip and Chiplet Conference в Шанхае.

Архитектура 4F² позволяет размещать транзистор и конденсатор ячейки памяти вертикально, сокращая занимаемую ими площадь. Переход с традиционной структуры 6F² на 4F² способен повысить плотность размещения ячеек на 30-50%. Это открывает путь к увеличению емкости чипов без пропорционального роста их размеров .

CXMT изучает эту технологию как минимум с 2021 года. Предполагается, что первая реализация будет связана с техпроцессом G5 DRAM, который компания описывает как 15-нм класс. Для дальнейшего уменьшения транзисторов CXMT также применяет технологию High-k Metal Gate (HKMG) с материалами вроде оксида гафния, позволяющую снижать утечки тока.

В то же время, Samsung планирует внедрить архитектуру 4F² в DRAM только в 2028 году.

😅 Канал Serverflow в MAX: Подписаться

Известный оверклокер Винс Люсидо обвинил NVIDIA в проблемах с запуском видеокарт модели EVGA GeForce RTX 3090 Ti KINGPIN, вышедших в 2022 году. По его словам, разногласия по поводу питания видеокарты сорвали производственные сроки и могли стать причиной небольшого тиража. Люсидо рассказал, что хотел оснастить видеокарту двумя разъемами питания 12VHPWR, но NVIDIA настаивала на использовании только одного. В итоге модель все же получила два 16-контактных разъема, однако, спор повлиял на сроки производства. Почему NVIDIA выступала против такой конфигурации, не уточняется.

RTX 3090 Ti KINGPIN была ориентирована на этузиастов и вышла примерно через три месяца после стандартной RTX 3090 Ti. Видеокарту продавали за $2500 в комплекте с блоком питания на 1600 Вт. При этом Люсидо подчёркивает, что именно конфликт вокруг питания мог ограничить количество выпущенных экземпляров. В сентябре 2022 года EVGA объявила о прекращении сотрудничества с NVIDIA и отказалась от выпуска следующих поколений GeForce. Все находившиеся в разработке видеокарты, включая новые модели KINGPIN, были отменены. Позже Люсидо планировал работать с PNY, но проект не состоялся, а поколение RTX 50 он пропустил.

😅 Канал Serverflow в MAX: Подписаться

AMD анонсировала выступление Лизы Су на завтрашнем саммите OCP Global 2026 👀

😅 Канал Serverflow в MAX: Подписаться

🗓 Коротко о главных новостях за эту неделю

❗️Сбер выпустил Kandinsky 6.0 Video

❗️Anthropic представила Claude Haiku 5.5

❗️Kioxia представила SSD LD4

❗️Alibaba представила Qwen-Image-2.1 Turbo

😅 Канал Serverflow в MAX: Подписаться

Тибо из OpenAI объявил об увеличении контекстного окна Codex и GPT-6.1 Sol со 272 тыс. токенов до 500 тыс. токенов.

😅 Канал Serverflow в MAX: Подписаться

Друзья, как вы все, возможно, знаете, AMD за последние годы провела огромную экспансию в индустрии серверных CPU, захватит 46% доли этого рынка. Тем не менее, Intel не опускает руки и продолжает выпускать новые поколения процессоров, например, передовые решения Intel Xeon 6.

Так вот, нам стало интересно, как вы вообще относитесь к этой линейке CPU, владеет ли кто-то из вас чипами Xeon 6 и считаете ли вы эти процессоры достойным ответом на решения AMD? Само собой, речь идет о высокопроизводительных версиях Xeon 6 на P-ядрах Redwood Cove (Sierra Forest и Clearwater Forest в счет не берем). Делитесь своим мнением в комментариях!

😅 Канал Serverflow в MAX: Подписаться

Глава Qualcomm Криштиану Амон заявил, что ИИ-компании уже разрабатывают смартфоны, способные запускать локальные языковые модели на 100 млрд параметров. Однако у этой идеи есть два серьезных препятствия: объем оперативной памяти и ее стоимость в нынешних реалиях.

Даже при 4-битном квантовании модели такого размера потребуется около 50 ГБ памяти — и это без учета ОС, приложений и контекстного окна. При 2-битном квантовании требования снизятся примерно до 25 ГБ, но качество ответов будет оставлять желать лучшего. Дополнительная проблема — нагрев: продолжительная работа крупной модели способна вызвать троттлинг и снизить производительность.

Один из вариантов — использование MoE-моделей, где активные эксперты используют оперативную память, а остальные веса загружаются во флеш-память. Это позволяет сократить требования к DRAM, но увеличивает задержки, поскольку накопители заметно медленнее оперативной памяти. Другой путь — агрессивное квантование или компактные дистиллированные модели на 20-30 млрд параметров, которые могут приблизиться к более крупным системам по качеству в отдельных задачах.

😅 Канал Serverflow в MAX: Подписаться

Следующее поколение видеокарт AMD Radeon на архитектуре RDNA 5 может задержаться дольше, чем ожидалось. По словам инсайдера Kepler_L2, рассчитывать на анонс в начале 2027 года, включая конференции CES и Computex, не стоит. Ранее тот же инсайдер предполагал, что RDNA 5 появится примерно в середине 2027 года. Теперь сроки выглядят менее определёнными, хотя неизвестно, действительно ли AMD изменила планы или инсайдер уточнил прежний прогноз. По предварительным данным, в 2027 году AMD может выпустить только один GPU нового поколения — AT2, а другие чипы, включая предполагаемые AT0, AT3 и AT4, отложить до 2028 года. Это пока неподтвержденная информация.

😅 Канал Serverflow в MAX: Подписаться

Друзья, уже завтра в 18:30 МСК выходит наше новое большое видео! ⚡️

На прошлой неделе мы анонсировали обзор ASUS RS501A-E12-RS12U, а теперь практически готовы показать результаты нашей работы!

В этот раз мы постарались выжать максимум из одноюнитового сервера с 96-ядерным AMD EPYC 9684X - 400w TDP и 1152 MB L3 КЭША!

Что сделали в ролике:

⚙️ Подробно разобрали платформу ASUS и проверили, как она справляется с охлаждением 400-ваттного процессора.

📊 Провели множество тестов производительности, включая научные расчёты в GROMACS, LAMMPS и NAMD.

🧠 Запустили нейросети прямо на процессоре, поэкспериментировали с гигантским L3-кешем и добрались до DeepSeek на 748 миллиардов параметров!

И самое интересное - DeepSeek V4 Flash на 748b оказалась быстрее Qwen3.8 27b, а попытка ускорить её видеокартой дала обратный эффект.

Почему так получилось? Расскажем в видео!

Как всегда вложили в выпуск большое количество времени и сил, поэтому будем рады вашей поддержке!

🔔 Завтра, 13 октября, в 18:30 МСК на ServerFlow. Не пропустите!

Раз уж видео посвящено инференсу нейронки на AMD EPYC 9684X, мы решили рассказать, как вообще появился CPU-инференс и как развивалась эта передовая технология.

🤩 В марте 2023 года появился llama.cpp — передовой движок, который впервые дал юзерам возможность инференсить нейронки на центральных процессорах. Это стало возможным благодаря специальному формату весов GGUF, который сжимает веса нейросети с 16-битных (FP16) или 32-битных чисел до 4 бит. SIMD-инструкции CPU без проблем справляются с инференсом такой квантизацией, но по-началу скорости никого не впечатляли. Ситуация изменилась, когда в llama.cpp появились K-кванты, которые позволили сжимать веса нейонок от 2 до 6 бит со смешанной точностью. Благодаря этому большие модели помещались в обычную оперативку почти без потери качества.

🤩 В июле 2024 года инженеры Arm добавили оптимизированные вычислительные ядра под типы данных INT4 и INT8, и на процессорах AWS Graviton3 обработка промпта ускорилась в 2,5 раза, а генерация вдвое. В ноябре движок научился перестраивать расположение весов прямо при загрузке модели, и на том же Graviton3 это дало еще 2,9-кратное ускорение промпта и 2,3-кратное ускорение генерации. Процессор и память остались прежними, просто софт стал гораздо эффективнее их использовать.

🤩 В марте 2025 года пришла очередь x86. Разработчики переупорядочили блоки популярного формата Q4_K так, чтобы инструкции AVX2 обрабатывали их эффективнее. На Ryzen 5 7600X с моделью LLaMA 2 7B обработка промпта в формате Q4_K_M выросла с 45,8 до 70,6 токена в секунду, а в Q4_K_S с 46,6 до 77,25. Это прирост на 54-66%. А вот генерация при этом не только не ускорилась, но даже немного просела: с 14,09 до 13,85 токена в секунду в Q4_K_M и с 14,91 до 14,62 в Q4_K_S. Вычисления стали быстрее, но генерация уперлась в память, и дальше одними оптимизациями матриц ее уже не разогнать.

🤩 Казалось бы, за три года все уже оптимизировали. Но в июле 2026 года разработчик предложил новое вычислительное ядро для 2-битного формата Q2_0 с инструкциями AVX-VNNI и AVX-512 VNNI. На восьми ядрах AMD EPYC 9645 модель Bonsai 8B ускорилась с 2,82 до 10,26 токена в секунду на промпте и с 2,39 до 8,2 токена на генерации. Это ускорение в 3,4–3,6 раза, причем на моделях от 1,7 до 27 млрд параметров результаты были похожими. Правда, причина такого скачка в том, что старый код для Q2_0 был откровенно неэффективным, и новое ядро просто устранило этот недостаток.

То есть, несмотря на низкую скорость генерации токенов в сравнении с GPU, и несмотря на бушующий на рынке кризис память, CPU-инференс продолжает мало-помалу развиваться. AMX, VNNI и новые вычислительные ядра дают много новых возможностей для локального ИИ-инференса, но только в фазе обработки промптов.

Но общая скорость инференса все равно в основном зависит от пропускной способности памяти. Конечно, софтверные методы ускорения ИИ, вроде спекулятивного декодирования, пакетной обработки запросов и оптимизации KV-кэша могут слегка исправить ситуацию, но CPU-инференс всегда будет проигрывать GPU-инференсу.

😅 Канал Serverflow в MAX: Подписаться