Как вкатиться в AI Security?

За последнее время меня несколько разных человек спросили, с чего начать изучение AI Security. Поэтому постарался собрать список материалов — от базовой теории до более глубокого погружения.

▸ Основная теория: LLM и Агенты

• Andrej Karpathy: Deep Dive into LLMs like ChatGPT — хорошее видео для введения

• Anthropic: Building Effective Agents — agents, workflows и tools.

• Model Context Protocol — что такое MCP

• Google Cloud: What is RAG? — как работает RAG

• Agent Skills Overview — устройство agent skills


▸ Погружаемся в AI Security

Теория

• OWASP Top 10 для LLM и Agentic Applications — ежегодный топ уязвимостей для LLM-приложений и AI-агентов от OWASP (версия 2026 года)

• Microsoft AI Red Teaming 101 — курс из 10 видео от Microsoft про AI Red Teaming

• MIT: AI Agent Security — запись лекции из MIT из курса Computer Systems Security, Spring 2026

Практика

• PortSwigger: Web LLM Attacks — лабораторные по уязвимостям LLM приложений от разработчиков Burp Suite

• Agent Breaker — набор заданий от создателей Гендальфа (того самого, у которого нужно было украсть секрет)

Курсы и сертификации

• HTB Academy: AI Red Teamer + HTB COAE — практический курс и сертификация от платформы HackTheBox, разработанный вместе с Google (недорого)

• OffSec AI-300 — курс и экзамен от OffSec (дорого, но известно)

Фреймворки и методологии

• Google SAIF — фреймворк от Google, который связывает компоненты AI-системы с рисками и мерами защиты. Есть отдельный раздел про AI-агентов

• NIST AI RMF — фреймворк NIST для работы с AI-рисками

• MITRE ATLAS — MITRE ATT&CK только для AI

• OWASP AI Testing Guide — гайд по тестированию всей AI-системы: от моделей и данных до приложений и инфраструктуры


▸ Как следить за новостями по AI Security

Telegram

• https://t.me/addlist/7N0onqrNfTBkMGYy — папка с каналами по AI Security (самые интересные новости обычно освещаются в каналах из подборки)

Блоги AI-вендоров

• Anthropic

• OpenAI

• Google Security Blog

• Microsoft AI Red Team

Технические блоги отдельных исследователей и компаний

• Embrace The Red

• Simon Willison

• Invariant Labs

• Trail of Bits

• HiddenLayer Research


Если знаете хороший ресурс, которого здесь не хватает, то смело присылайте в комментарии или личные сообщения.

Также актуальные темы из области AI Security можно будет услышать завтра на OFFZONE на треке AI.ZONE. Приходите — пообщаемся.

Неожиданные гипотезы об источниках вдохновения современных названий?..

Codex Marcianus Ouroboros -
страница из византийской рукописи, в которую включена «Клеопатрова Хрисопея». Это алхимическая запись о «златоделии Клеопатры», восходящая примерно к III–IV вв. н. э., где изображен Уроборос как символ единства и преобразования материи. Внутри змея написана фраза «ἓν τὸ πᾶν» - «hen to pan» - «единое [есть] всё».

В целом, греко-египетская алхимия была тесно связана с герметической традицией. Ее тексты приписывались легендарному мудрецу Гермесу Трисмегисту - образу, возникшему из отождествления греческого Гермеса с египетским Тотом.
А сам греческий бог границ и дорог Гермес изображался с особым жезлом под названием кадуцей/керикион, выглядящим как две змеи, обвившиеся вокруг стержня.

Но цепочка продолжается. В первом трактате Corpus Hermeticum, «Поймандре», Гермесу Трисмегисту является Poimandres, называющий себя Nous (νοῦς) - буквально «Ум», божественный разум. Именно Nous раскрывает Гермесу устройство мира. А затем в этой космогонии Nous, «Отец всего», порождает Anthropos (Ἄνθρωπος) - первичного Человека, созданного по его образу, который затем нисходит в материальный мир.

И также есть такой факт. В римской традиции Гермесу соответствует Меркурий, а в астрологии именно Меркурий считается управителем знака Близнецов. Латинское название Близнецов - Gemini.

В Сингапуре запустили первый сервер, работающий на живых клетках мозга.

Компания Cortical Labs предлагает клиентам биокомпьютеры - где для вычисления используются живые клетки человеческого мозга.

В сравнении с обычными серверами, биологические потребляют в 100 раз меньше энергии.

Red Security о том как использовать ИИ в форензике и анализе вредоносного кода.

Cursor и Claude Science в докер-песочнице с графическим интерфейсом.

Написал скилл и пару скриптов чтобы поставить любой десктопный агент в песочницу и прокинуть экран на хост. Скормите их своему агенту и скажите «подними Cursor и пробрось на хост», остальное он сделает сам. OAuth через браузер тоже работает, для агента всё расписано.

Лежит тут: github.com/Andy9542/bring-my-gui. Внутри плагин для Cursor и Claude Code и два скрипта на случай, если агент не нужен.

У меня агент живёт в песочнице без подтверждения команд, в худшем случае он сносит только то, что внутри неё. Но есть Claude Science и другие штуки, которые хочется попробовать. Как десктопные приложения они лучше, а ставить на хост стрёмно, вдруг что снесет.

До сих пор агент из песочницы показывал мне только cli. Теперь показывает и окна: на скрине Cursor из контейнера с Ubuntu, открытый через встроенный маковский VNC. На сам Mac ничего ставить не пришлось.

Если потыкаете и что то отвалится, пишите сразу мне, починю быстро. Ну и лайков на Гитхабе насыпьте, у меня все.

753B на одной видеокарте: разбор FreeToken

Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре RTX PRO 6000 общей стоимостью с подержанную машину. Ты смотришь на свою RTX 4060 в ноутбуке, который покупал «не только для игр», и понимаешь: ну ладно, это не для нас.

Так вот, это как раз для нас. На той самой ноутбучной 4060 с восемью гигабайтами и урезанным вдвое PCIe-линком можно получить 39.3 tok/s на 35-миллиардной модели — быстрее, чем медианная скорость декода Codex в проде. Вопрос был не в железе, а в софте, который это железо обслуживает.

Разбираем FreeToken — движок для локального инференса MoE-моделей от команды, которая до этого сделала vLLM и SGLang. Запустить AGI на слабом железе

#moe #локальные_модели #инференс #llama_cpp #llm #оффлоадинг #агенты #cuda #gpu #freetoken | @habr_ai

Новая атака на Grok что бы собрать пользовательские данные

Исследователи из Adversa AI обнаружили способ незаметно похитить данные пользователя Grok: имя, геолокацию, историю переписки просто попросив ИИ «открыть ссылку».

На вредоносной странице спрятана зашифрованная AES-256 инструкция. Grok сам её расшифровывает через встроенный Python-sandbox, принимает за «доверенный» источник и отправляет личные данные на сервер злоумышленника без каких-либо предупреждений.

О проблеме сообщили xAI ещё 3 июня. Реакции пока ноль.

По состоянию на 19 августа атака всё ещё работает (~40% успеха).

https://gbhackers.com/zero-click-grok-attack-prompt-injection/

Меньше битов ≠ больше защиты

Чтобы запустить ML-модель на микроконтроллере, её часто переводят из FP32 в INT8 или INT4. Модель становится компактнее и быстрее, а иногда ещё и демонстрирует лучшую устойчивость к adversarial-атакам.
Звучит как бесплатная защита. Но есть нюанс.

Авторы исследования David and Goliath⁠ проверили три квантованные TinyML-модели с помощью десяти атак и шести защит. Оказалось, что квантование меняет геометрию модели: градиенты могут исчезать, взрываться или указывать атаке неверное направление.

В результате неудачная атака иногда говорит не о реальной защищённости модели, а лишь о том, что выбранный метод плохо работает с квантованной арифметикой.

Поэтому оценивать нужно именно итоговую INT8/INT4-модель, причём не одной атакой: полезны адаптивные, transfer- и black-box-сценарии, а также проверка на реальном устройстве.

Для меня эта тема не только теоретическая. В нашей с Максимом Князевым статье «Влияние квантования TinyML-моделей на устойчивость аудиосистем персонального интернета вещей»⁠ мы проверяли распознавание голосовых команд под атакой PGD-40. INT8-QAT сохранил 98,8% точности на чистых данных и 92,2% под атакой, а у INT4 показатели снизились до 49,42% и 47,8% соответственно.

Квантование отлично экономит память. Но в безопасности экономия битов ещё не означает экономию рисков.

#AIxSec #TinyML #AdversarialML #MLSecurity #Security #AIxSec_Research