Хорошее руководство по общей архитектуре агентов ИИ. Поможет вам первично разобраться в теме.
Есть раздел по безопасности, как и сам гайд не сильно детализированный, но практически ориентированный.

Друзья, опубликовал подробный гайд по архитектуре AI-агентов. В нем собрал:

- из каких компонентов состоит агент и как они друг с другом взаимодействуют
- какие бывают типы оркестрации у агентов
- как правильно собирать контекстное окно
- какие есть угрозы безопасности и как с ними боротся
- и много чего еще другого

Если останутся вопросы, как вам собирать надежных AI-агентов, напишите в комментариях или в личных сообщениях @seva_batareika

Интересный, как и всегда от Дмитрия Евдокимова, вебинар по особенностями защиты ИИ\ML в кубернетес. https://webinar.luntry.ru/webinar
Ключевые моменты вытекают из особенностей Больших данных - высокие требования по объему, скорости, разнообразию.
Дмитрий поделился, что в его практике встречались образа размером до 150 Гб и Воркер ноды по 120 Ядер ЦПУ.
Пара ключевых моментов из вебинара:
1. Текущая версия Кубера 1.35. Релиз 1.36 планируется в апреле.
2. Новые релизы K8s учитывают тренд на ИИ в новых функциях - NDF, CDI, Checkpoint\Restore. Но для этого нужно иметь актуальную версию кубера.
3. Больший акцент на вопросы лимитов и квот. В том числе для своих кастомных ресурсов.
4. Необходимость отдельного контроля какие хранилища подключены к вашему ИИ кластеру - для минимизации риска работы с немаскированными данными.
5.В силу больших образов вам нужно убедиться, что у вашего сканера есть необходимые ресурсы для скана этих больших образов.
6. С версии 1.35 включена по умолчанию функциональность монтировать image как volume для разделения образов для кода и образов для всех данных нужных вашему ML инженеру. Также появилась функция imagevolume feature gate.
7. Скорость и объем данных не позволяют использовать для защиты сетевых решений ничего кроме встроенных сетевых политик или плагинов типа Cilium.
8. Отдельный тренд в ИИ на теневые уязвимости - то, что не считается официальной уязвимостью или в документах ответственность за правильную конфигурацию возлагается на вас.

Чуть больше деталей в скриншотах ниже и по ссылке. Ждем публикации полной версии слайдов.

Список лучших моделей ИИ по безопасности от CISCO.
С одной стороны не описана детально методология бенча, только мапинг на фреймворк CISCO. С другой стороны сейчас это стало неоднозначным действием - методологию скрывают, чтобы модели недообучались на ней.

Ждем развития проекта.

7 из 10 первых мест заняли модели Антропик. При этом 4.5 Opus обогнала по рейтингу 4.6.

Выглядит так, что это результат бомбардировки примерно 3500 промтами без статистической обработки.

LLM Security Rankings - https://leaderboard.aidefense.cisco.com/rankings

Today, Cisco launched the LLM Security Leaderboard, a resource for evaluating model security risk and susceptibility to adversarial attacks. By providing transparent, adversarial evaluation signals, this leaderboard contextualizes model performance metrics against evaluations of how models handle malicious prompts, jailbreak attempts, and other manipulation strategies.

#AISecurity #LLMSecurity #AdversarialAI #Jailbreaks #Cybersecurity