Список лучших моделей ИИ по безопасности от CISCO.
С одной стороны не описана детально методология бенча, только мапинг на фреймворк CISCO. С другой стороны сейчас это стало неоднозначным действием - методологию скрывают, чтобы модели недообучались на ней.

Ждем развития проекта.

7 из 10 первых мест заняли модели Антропик. При этом 4.5 Opus обогнала по рейтингу 4.6.

Выглядит так, что это результат бомбардировки примерно 3500 промтами без статистической обработки.

LLM Security Rankings - https://leaderboard.aidefense.cisco.com/rankings

Today, Cisco launched the LLM Security Leaderboard, a resource for evaluating model security risk and susceptibility to adversarial attacks. By providing transparent, adversarial evaluation signals, this leaderboard contextualizes model performance metrics against evaluations of how models handle malicious prompts, jailbreak attempts, and other manipulation strategies.

#AISecurity #LLMSecurity #AdversarialAI #Jailbreaks #Cybersecurity

https://www.nccoe.nist.gov/projects/secure-software-development-security-and-operations-devsecops-practices#project-promo

Совместный проект по построению DevSecOps от NIST и группы вендоров.
Ценно ещё одной моделью безопасной разработки и примером реализации на базе облака Azure с указанием конкретных инструментов.

Обновилось руководство по безопасной настройке DNS от NIST. Прошлое обновление было в 2013 году.
The guidance offers five "high-level recommendations":
1. employ protective DNS wherever technically feasible to provide additional networkwide security capabilities;

2.encrypt internal and external DNS traffic wherever feasible;

3.deploy DNS Security Extensions (DNSSEC) to protect the integrity of DNS data;
4. deploy dedicated DNS servers to reduce attack surfaces;
5. follow all technical guidance on ensuring that DNS deployments and the DNS protocol are as secure and resilient as possible.