Оказывается, что технология 3D-V кэша в чипах AMD Ryzen — это буквально стероиды для RAG-систем, ускоряя векторный поиск (100K запросов) на 88% в сравнении с обычными CPU. Дело в том, что RAG-пайплайны активно нагружают CPU через поиск по графам (например, HNSW), и здесь решает именно объем и латентность кэша. У X3D-чипов L3-кэш сильно увеличен за счет вертикального стека (3D V-Cache), поэтому больше данных остается рядом с ядрами и реже уходит в более медленную RAM. Это напрямую снижает задержки и радикально ускоряет задачи RAG.

😅 Канал Serverflow в MAX: Подписаться

Оказалось, что новые “анти-дефицитные” модули DRAM HUDIMM от Intel, ASRock и Teamgroup режут пропускную способность практически вдвое относительно DDR5 🫠

😅 Канал Serverflow в MAX: Подписаться

Одна из кожанок Хуанга стоит аж 7490 евро — это примерно как 2 RTX 5090 (3800 евро) 👀

😅 Канал Serverflow в MAX: Подписаться