Модульные ИИ-кластеры Nvidia DSX также переходят на поколение Vera Rubin.
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🤯2💩2
ServerFlow | Новости и Железо 💾
Боль каждого вайб-кодера.. 😅 Канал Serverflow в MAX: Подписаться
Чтобы нейронка больше не могла позариться на удаление вашей кодовой базы, или не пыталась сбежать из песочницы, Nvidia разработала технологию OpenShell — среду выполнения с открытым исходным кодом для безопасного запуска автономных ИИ-агентов.
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23
Подъехали первые аппаратные анонсы...Хоть и от Nvidia там только ИИ.
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
💅6👍3
Nvidia уже третью конференцию GTC подряд анонсирует роботакси на базе AGX Thor Drive. Когда же их запустят?
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
По данным отраслевых СМИ, компания Groq, ныне являющаяся частью Nvidia, планирует перейти на 3D-упаковку DRAM в своих ускорителях LPU следующего поколения, вместо использования скоростной памяти SRAM, чтобы увеличить емкость памяти для инференса ИИ-моделей.
Текущие Groq LPU используют 500 МБ SRAM с пропускной способностью до 150 ТБ/с на чип. В стойке LPX размещаются 256 ускорителей — суммарно это 128 ГБ SRAM и заявленная совокупная пропускная способность 640 ТБ/с. Вычислительная производительность одного LPU достигает 1,20 петафлопс в формате FP8.
SRAM обеспечивает очень высокую скорость доступа, но ее емкость ограничена, а увеличение объема обходится дорого по площади кристалла. DRAM позволяет разместить значительно больше данных, но уступает SRAM по скорости доступа. Поэтому переход на новую технологию может помочь Groq обрабатывать более крупные модели и увеличивать объем данных, доступных ускорителю непосредственно во время генерации, но потеряв преимущество в скорости
Предполагается, что Groq применит 3D Stacked DRAM — вертикальное размещение нескольких слоев памяти с использованием сквозных кремниевых переходов (TSV). Похожий принцип используется в памяти HBM: многослойная компоновка позволяет увеличить плотность хранения и сократить занимаемую площадь по сравнению с традиционным размещением микросхем.
При этом пока неизвестно, полностью ли Groq откажется от SRAM или будет сочетать ее с DRAM.
😅 Канал Serverflow в MAX: Подписаться
Текущие Groq LPU используют 500 МБ SRAM с пропускной способностью до 150 ТБ/с на чип. В стойке LPX размещаются 256 ускорителей — суммарно это 128 ГБ SRAM и заявленная совокупная пропускная способность 640 ТБ/с. Вычислительная производительность одного LPU достигает 1,20 петафлопс в формате FP8.
SRAM обеспечивает очень высокую скорость доступа, но ее емкость ограничена, а увеличение объема обходится дорого по площади кристалла. DRAM позволяет разместить значительно больше данных, но уступает SRAM по скорости доступа. Поэтому переход на новую технологию может помочь Groq обрабатывать более крупные модели и увеличивать объем данных, доступных ускорителю непосредственно во время генерации, но потеряв преимущество в скорости
Предполагается, что Groq применит 3D Stacked DRAM — вертикальное размещение нескольких слоев памяти с использованием сквозных кремниевых переходов (TSV). Похожий принцип используется в памяти HBM: многослойная компоновка позволяет увеличить плотность хранения и сократить занимаемую площадь по сравнению с традиционным размещением микросхем.
При этом пока неизвестно, полностью ли Groq откажется от SRAM или будет сочетать ее с DRAM.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6💅2
Посетили десятую конференцию TechDay от Selectel 8 октября. Делимся с вами фотоотчетом со стендов и выступления 👀
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🤯2
Synaptics представила Astra SR200 — семейство микроконтроллеров с ИИ-ускорителем Google Coral NPU, предназначенные для периферийного ИИ. Их можно использовать в умных камерах, носимой электронике, голосовых помощниках и промышленных системах машинного зрения.
В линейку вошли три модели: SR210 на 200 GOPS, SR230 на 300 GOPS и SR250 на 400 GOPS. Чем выше производительность, тем более сложные задачи обработки изображения, звука и других данных может выполнять устройство. Все три модели используют одну аппаратную платформу и общий комплект инструментов разработки.
В каждом процессоре объединены два ядра Arm — Cortex-M85 с частотой до 800 МГц и Cortex-M52 на 200 МГц, ИИ-ускоритель Google Coral NPU и аудиопроцессор Cadence Tensilica HiFi 5. Первый Arm обслуживает сложные вычисления, второй отвечает за менее требовательные задачи с низким энергопотреблением. Coral NPU ускоряет запуск нейросетей, включая трансформеры, а отдельный аудиоблок обрабатывает звук и распознаёт голосовую активность. Процессор ТАКЖЕ имеет до 8 МБ встроенной SRAM и дополнительной DRAM.
SR200 также оснащены интерфейсами для подключения камер, дисплеев, микрофонов и периферии. Есть два интерфейса MIPI CSI-2 для камер, два MIPI-DSI для дисплеев, аппаратное кодирование H.264 и JPEG, USB 2.0 и более 140 GPIO. Промышленные варианты поддерживают Gigabit Ethernet с TSN и два интерфейса CAN-FD — для оборудования, робототехники и систем реального времени.
😅 Канал Serverflow в MAX: Подписаться
В линейку вошли три модели: SR210 на 200 GOPS, SR230 на 300 GOPS и SR250 на 400 GOPS. Чем выше производительность, тем более сложные задачи обработки изображения, звука и других данных может выполнять устройство. Все три модели используют одну аппаратную платформу и общий комплект инструментов разработки.
В каждом процессоре объединены два ядра Arm — Cortex-M85 с частотой до 800 МГц и Cortex-M52 на 200 МГц, ИИ-ускоритель Google Coral NPU и аудиопроцессор Cadence Tensilica HiFi 5. Первый Arm обслуживает сложные вычисления, второй отвечает за менее требовательные задачи с низким энергопотреблением. Coral NPU ускоряет запуск нейросетей, включая трансформеры, а отдельный аудиоблок обрабатывает звук и распознаёт голосовую активность. Процессор ТАКЖЕ имеет до 8 МБ встроенной SRAM и дополнительной DRAM.
SR200 также оснащены интерфейсами для подключения камер, дисплеев, микрофонов и периферии. Есть два интерфейса MIPI CSI-2 для камер, два MIPI-DSI для дисплеев, аппаратное кодирование H.264 и JPEG, USB 2.0 и более 140 GPIO. Промышленные варианты поддерживают Gigabit Ethernet с TSN и два интерфейса CAN-FD — для оборудования, робототехники и систем реального времени.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🤯2🍾1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🤯3💅1