Что изменилось в мире нейросетей за месяц? 👀
Если кратко — инференс становится доступнее, а инфраструктура требует все больше ресурсов.

✏️ OpenAI и Anthropic снижают цены

Компании почти одновременно представили модели дешевле предшественников. Но цена токена уже не дает полной картины затрат.

✏️ Кэширование выходит на первый план

Все большую роль играет повторное использование контекста. Тренд заметен и по DeepSeek, которая снизила стоимость кэшированного входа.

✏️ Обновляется стек для ML

За месяц вышли новые версии PyTorch, vLLM и SGLang. В SGLang улучшили работу с кэшем и время до первого токена.

✏️ NVIDIA выводит Vera Rubin в производство

Компания подтвердила серийное производство нового поколения ускорителей.

О том, что еще происходит в сфере ИИ и что это значит для экономики инференса, читайте в свежем ML-дайджесте Академии Selectel 👉

+3 курса в копилку продуктовых знаний 🧠

Загрузили новые бесплатные курсы по работе с нашими продуктами на Selectel.Стак.
Среди них — материалы по:

🔸 S3,
🔸 облачным базам данных,
🔸 Managed Kubernetes.

Также на платформе открыты курсы по выделенным и облачным серверам. Изучайте новое, проверяйте знания с помощью тестов и получайте сертификаты.

Укрепляйте продуктовые знания бесплатно. Жмите, чтобы освоить работу с сервисами Selectel ➡️

🔒 Можно ли заставить LLM забыть все, чему ее учили?

Вполне! По этому принципу работают джейлбрейки: специально сформулированный запрос может заставить LLM игнорировать правила системы и раскрыть конфиденциальные данные. Особенно это нельзя допускать в системах, где модель работает с внутренними документами или пользовательской информацией.

Блокировать такие попытки обхода помогают гардрейлы. Они проверяют входящие запросы и ответы модели и задают правила ее работы. Такой контур охватывает весь путь запроса — от его получения до проверки готового ответа.

Подробнее об архитектуре гардрейлов, задачах каждого уровня защиты и ограничениях WAF читайте в новой статье Академии Selectel ➡️

Разбираем железные новинки сентября 🔮

Производители ищут замену дорогой памяти, переносят часть ИИ-нагрузки на CPU и выпускают отдельные ускорители под инференс.

Собрали самое интересное из серверного сегмента:

📎 Huawei раскрыла дорожную карту ускорителей Ascend до 2029 года.
📎 Arm показала вычислительную подсистему Neoverse CSS N4 (Ranger) на 8-128 ядер с частотой до 3,8 ГГц и до 128 линий PCIe 7.0.
📎 Fujitsu начинает глобальные продажи процессоров MONAKA на 144 ядра Arm с 2-нм вычислительными кристаллами и памятью DDR5-8800.
📎 HyperAccel представила инференс-ускоритель Bertha 500 со 128 ГБ LPDDR5X вместо HBM и TDP 250 Вт.
📎 Unigen запускает в производство корпоративные SSD Cheetah на PCIe 5.0 емкостью до 122,88 ТБ.

Подробнее о каждом релизе читайте в Академии Selectel ➡️

Делимся свежими материалами из Академии Selectel 🦖

Сохраняйте топ-5 статей про серверное железо — от обзоров китайских GPU до организации кабельной системы в стойке.

🔍 Тестируем ИИ-ускоритель от Alibaba — PPU Zhenwu 810E.
🔍 Обозреваем шестое поколение процессоров AMD EPYC™ 9006 Venice на архитектуре Zen™ 6.
🔍 Разбираемся, что такое IPMI-мониторинг и как его настроить.
🔍 Проверяем возможности мини-ПК Khadas Mind 2 в связке с RTX 5060 Ti.
🔍 Выясняем, почему идеальная укладка кабеля не гарантирует удобство в работе.

❤️ — чтобы разблокировать следующий пост.

🚚 Арендуйте серверное оборудование с доставкой на вашу площадку

Предоставим мощные серверы для запуска проекта on-premise с помесячной оплатой, полным контролем над железом на этапе запуска и возможностью выкупа. Вы точно так же арендуете сервер, но теперь он размещен внутри вашего контура.

Не только доставим, но и👇

🔸 Заберем оборудование без штрафов, если сервер больше не нужен.
🔸 Масштабируем мощности, если пилот взлетел. А еще расскажем, как выкупить оборудование, если сервер нужен на более долгий срок.

Бесплатно подберем конфигурацию перед заказом. Арендуйте серверы с доставкой на вашу площадку в Selectel ✅