Как вкатиться в AI Security?

За последнее время меня несколько разных человек спросили, с чего начать изучение AI Security. Поэтому постарался собрать список материалов — от базовой теории до более глубокого погружения.

▸ Основная теория: LLM и Агенты

• Andrej Karpathy: Deep Dive into LLMs like ChatGPT — хорошее видео для введения

• Anthropic: Building Effective Agents — agents, workflows и tools.

• Model Context Protocol — что такое MCP

• Google Cloud: What is RAG? — как работает RAG

• Agent Skills Overview — устройство agent skills


▸ Погружаемся в AI Security

Теория

• OWASP Top 10 для LLM и Agentic Applications — ежегодный топ уязвимостей для LLM-приложений и AI-агентов от OWASP (версия 2026 года)

• Microsoft AI Red Teaming 101 — курс из 10 видео от Microsoft про AI Red Teaming

• MIT: AI Agent Security — запись лекции из MIT из курса Computer Systems Security, Spring 2026

Практика

• PortSwigger: Web LLM Attacks — лабораторные по уязвимостям LLM приложений от разработчиков Burp Suite

• Agent Breaker — набор заданий от создателей Гендальфа (того самого, у которого нужно было украсть секрет)

Курсы и сертификации

• HTB Academy: AI Red Teamer + HTB COAE — практический курс и сертификация от платформы HackTheBox, разработанный вместе с Google (недорого)

• OffSec AI-300 — курс и экзамен от OffSec (дорого, но известно)

Фреймворки и методологии

• Google SAIF — фреймворк от Google, который связывает компоненты AI-системы с рисками и мерами защиты. Есть отдельный раздел про AI-агентов

• NIST AI RMF — фреймворк NIST для работы с AI-рисками

• MITRE ATLAS — MITRE ATT&CK только для AI

• OWASP AI Testing Guide — гайд по тестированию всей AI-системы: от моделей и данных до приложений и инфраструктуры


▸ Как следить за новостями по AI Security

Telegram

• https://t.me/addlist/7N0onqrNfTBkMGYy — папка с каналами по AI Security (самые интересные новости обычно освещаются в каналах из подборки)

Блоги AI-вендоров

• Anthropic

• OpenAI

• Google Security Blog

• Microsoft AI Red Team

Технические блоги отдельных исследователей и компаний

• Embrace The Red

• Simon Willison

• Invariant Labs

• Trail of Bits

• HiddenLayer Research


Если знаете хороший ресурс, которого здесь не хватает, то смело присылайте в комментарии или личные сообщения.

Также актуальные темы из области AI Security можно будет услышать завтра на OFFZONE на треке AI.ZONE. Приходите — пообщаемся.

Неожиданные гипотезы об источниках вдохновения современных названий?..

Codex Marcianus Ouroboros -
страница из византийской рукописи, в которую включена «Клеопатрова Хрисопея». Это алхимическая запись о «златоделии Клеопатры», восходящая примерно к III–IV вв. н. э., где изображен Уроборос как символ единства и преобразования материи. Внутри змея написана фраза «ἓν τὸ πᾶν» - «hen to pan» - «единое [есть] всё».

В целом, греко-египетская алхимия была тесно связана с герметической традицией. Ее тексты приписывались легендарному мудрецу Гермесу Трисмегисту - образу, возникшему из отождествления греческого Гермеса с египетским Тотом.
А сам греческий бог границ и дорог Гермес изображался с особым жезлом под названием кадуцей/керикион, выглядящим как две змеи, обвившиеся вокруг стержня.

Но цепочка продолжается. В первом трактате Corpus Hermeticum, «Поймандре», Гермесу Трисмегисту является Poimandres, называющий себя Nous (νοῦς) - буквально «Ум», божественный разум. Именно Nous раскрывает Гермесу устройство мира. А затем в этой космогонии Nous, «Отец всего», порождает Anthropos (Ἄνθρωπος) - первичного Человека, созданного по его образу, который затем нисходит в материальный мир.

И также есть такой факт. В римской традиции Гермесу соответствует Меркурий, а в астрологии именно Меркурий считается управителем знака Близнецов. Латинское название Близнецов - Gemini.

В Сингапуре запустили первый сервер, работающий на живых клетках мозга.

Компания Cortical Labs предлагает клиентам биокомпьютеры - где для вычисления используются живые клетки человеческого мозга.

В сравнении с обычными серверами, биологические потребляют в 100 раз меньше энергии.

Red Security о том как использовать ИИ в форензике и анализе вредоносного кода.