Список лучших моделей ИИ по безопасности от CISCO.
С одной стороны не описана детально методология бенча, только мапинг на фреймворк CISCO. С другой стороны сейчас это стало неоднозначным действием - методологию скрывают, чтобы модели недообучались на ней.

Ждем развития проекта.

7 из 10 первых мест заняли модели Антропик. При этом 4.5 Opus обогнала по рейтингу 4.6.

Выглядит так, что это результат бомбардировки примерно 3500 промтами без статистической обработки.

LLM Security Rankings - https://leaderboard.aidefense.cisco.com/rankings

Today, Cisco launched the LLM Security Leaderboard, a resource for evaluating model security risk and susceptibility to adversarial attacks. By providing transparent, adversarial evaluation signals, this leaderboard contextualizes model performance metrics against evaluations of how models handle malicious prompts, jailbreak attempts, and other manipulation strategies.

#AISecurity #LLMSecurity #AdversarialAI #Jailbreaks #Cybersecurity

https://www.nccoe.nist.gov/projects/secure-software-development-security-and-operations-devsecops-practices#project-promo

Совместный проект по построению DevSecOps от NIST и группы вендоров.
Ценно ещё одной моделью безопасной разработки и примером реализации на базе облака Azure с указанием конкретных инструментов.

Обновилось руководство по безопасной настройке DNS от NIST. Прошлое обновление было в 2013 году.
The guidance offers five "high-level recommendations":
1. employ protective DNS wherever technically feasible to provide additional networkwide security capabilities;

2.encrypt internal and external DNS traffic wherever feasible;

3.deploy DNS Security Extensions (DNSSEC) to protect the integrity of DNS data;
4. deploy dedicated DNS servers to reduce attack surfaces;
5. follow all technical guidance on ensuring that DNS deployments and the DNS protocol are as secure and resilient as possible.

Был скомпрометирован бесплатный сканер уязвимостей от Чекмаркс KICS.
На фоне прошедшей новости про компрометацию Триви очевидно нужно менять подход к использованию инструментов скачанных из гитхаба.
Просто ориентироваться на звёздочки или вкладку security/openssf - недостаточно.
После этих двух случаев, очевидно нужен процесс тестирования и доверенного репозитория, что очень непросто даже для крупных компаний.
А вам лично сказанное с гитхаба для экспериментов нужно стараться запускать в песочнице (докер, виртуалка и т.д.).

https://checkmarx.com/blog/checkmarx-security-update/

Гугл выпустил новый алгоритм квантования (сжатия) моделей без существенного падения качества TurboQuant.
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
Если оценки окажутся корректными, нас ждет очередной скачок качества ИИ моделей. Ряд экспертов сравнивают этот релиз с релизом Deepseek.

Предварительно, Например, если раньше для модели обязательно нужна была видеокарта для работы, теперь можно будет обходится без неё, если раньше нужен был кластер видеокарт - теперь можно обойтись просто видеокартой и т.д.

Если это так, то в ближайшее время нас ждут новые версии квантованных моделей на хаггинфейс.

23-27 апреля ожидается представление работы на ICLR.

Что это значит для ИБ? Площадь атаки за счет использования средств ИИ продолжит резкое увеличение.

Мне кажется, это сильный индикатор, что начал реализовываться сценарий 2 из прогноза ВЭФ. "Эпоха перемещения\увольнения".
Жду от вас помидоров в комментариях =)