🤖 ИИ уволит аналитиков SOC?

На OFFZONE поговорил с Ильёй Крестиничевым из SOC Яндекса о нейроаналитике и о том, зачем его вообще создавать.

Илья объясняет: цель не в том, чтобы уволить людей и оставить модель. А в том, чтобы освободить время команды для исследовательских и инженерных задач.

Мне близка эта логика:

ИИ + меньше рутины = больше времени на сложные задачи

Но освободить время недостаточно. Важно, на что команда его потратит: глубже исследовать угрозы, улучшить процессы, проверить новые гипотезы.

Поэтому интереснее вопрос не «сколько людей заменит ИИ?», а «что с его помощью смогут сделать люди, до чего раньше не доходили руки?».

А вы бы какую часть своей работы первой отдали нейроаналитику?👇

Нас уже 400 💚

Представляю зал на 400 человек, которым я могу рассказать про AI Security. И немного волнительно становится 🙂

Здесь я делюсь тем, во что сам глубоко погружаюсь: безопасностью ИИ, исследованиями, практикой. Беру интервью, приношу интересное с конференций, пытаюсь понятно объяснять сложные вещи.

И мне очень дорого, что вы находите на это время. Читаете, реагируете, задаёте вопросы. Среди бесконечного потока информации выбираете заглянуть сюда.

Работа над каналом помогает и мне самому: глубже разбираться, точнее формулировать мысли, знакомиться с людьми, к которым давно хотелось подойти. А ваше внимание даёт желание продолжать и пробовать больше.

Спасибо каждому, кто здесь. Тем, кто с первых постов, и тем, кто присоединился сегодня. Тем, кто комментит, и тем, кто читает посты по дороге на работу.

Хочется, чтобы здесь можно было и разобраться в сложной статье, и задать простой вопрос, и поспорить по делу. Буду дальше делать для этого всё, что умею.

Обнимаю 💚

А как вы нашли этот канал? Очень хочу почитать ваши истории в комментариях 👇

🎤 Сегодня выступил на ZeroNights 2026!

Рассказал, как мы в Яндекс 360 проверяем сторонние плагины для Яндекс Трекера и выстраиваем security review внешнего кода.

Плагины дают продукту новые возможности. Вместе с ними появляются и новые вопросы: какой код мы принимаем, что он делает и как изменится с очередным обновлением?

Пока плагинов немного, проверку можно проводить вручную. Когда растёт число плагинов и их версий, нужен процесс, который выдержит этот поток.

На докладе разобрал, как у нас устроена эта работа: где используем AI, что находит автоматика, где она ошибается и какие решения требуют участия человека.

На фото, кстати, ещё одна часть процесса: модерация материалов для каталога. Проверяем и то, что автор присылает вместе с плагином: описания, документы, обложки и картинки.

В канале я часто пишу про безопасность AI. Сегодня на сцене говорил и про другую сторону этой темы: как применять AI в самой безопасности, понимая возможности и ограничения моделей.

Спасибо всем, кто пришёл послушать 💚

Интересно разобрать здесь подробнее, как AI помогает проверять чужой код и на чём спотыкается?

Кто был на докладе, поделитесь, пожалуйста, впечатлением в комментах 👇

🎬 Смонтировал влог с ZeroNights и выложил на свой YouTube-канал

В него вошли и фрагменты моего выступления. Внутри есть и кусочки моего выступления — можно немного подсмотреть, как всё прошло, если не получилось попасть на конференцию.

Если не добрались до ZeroNights или просто хотите посмотреть, как всё прошло, — включайте:

👇
https://youtu.be/EJE1u2ccBME
https://youtu.be/EJE1u2ccBME

Адаптивные атаки на AI-агентов

Часто говорят что-то по типу «наш агент выдержал 100 атак», всегда хочется уточнить: это были сто готовых промптов или попытки подобрать атаку под конкретную систему?

Атакующий может посмотреть на результат, изменить подход и попробовать снова. Причём этот процесс можно автоматизировать.

В препринте Assessing Automated Prompt Injection Attacks in Agentic Environments июня 2026 года авторы исследуют такой подбор атак против агентов.

Сценарий знакомый: агент выполняет задачу пользователя и читает письмо или документ. Внутри находится вредоносная инструкция, которая должна заставить его сделать что-то в интересах атакующего.

Для поиска таких инструкций авторы адаптировали TAP, Tree of Attacks with Pruning, или «дерево атак с отсечением ветвей».

Работает это так:

• Атакующая LLM придумывает несколько вариантов инструкции.
• Их проверяют на целевом агенте.
• Отдельная модель оценивает, насколько попытки приблизились к цели.
• Перспективные варианты дорабатывают, остальные отбрасывают.

Из каждой удачной попытки вырастают новые. Поэтому и дерево.

придумать → проверить → отобрать → доработать ↻

Атакующая модель получает обратную связь, включая ответ агента и вызовы инструментов. Следующие варианты учитывают предыдущие результаты. При этом итоговый успех в исследовании проверяют по действиям агента и состоянию тестовой среды, а не только по мнению модели-оценщика.

Для TAP не нужен доступ к весам целевой модели. Но в постановке авторов атакующий знает устройство агента, шаблоны промптов и доступные инструменты.

Универсальной отмычки не получилось: атаки, оптимизированные на небольших открытых моделях, не перенеслись на GPT-5.

Для своего стенда я бы оставил фиксированный набор атак для регулярных проверок. И отдельно добавил поиск новых вариантов с обратной связью, указав бюджет попыток и доступную атакующему информацию.

#AIxSec #AgentSecurity #PromptInjection #LLMSecurity

Кажется, октябрь будет плотным 😅

Только 30 сентября выступал на ZeroNights, а уже 28 октября буду на SOC Forum. Между рабочими задачами снова готовлю доклад и слайды. Конференционная осень в разгаре)

В этот раз про Kubernetes:
«Два взгляда – один кластер: Kubernetes Security Observability для вендора и заказчика».

Поговорим о наблюдаемости с точки зрения безопасности: что важно видеть в кластере и как на это смотрят вендор и заказчик.

📍 28 октября, 12:15–12:45
Зал «Архангельск», SOC Forum

Если тоже будете, приходите на доклад и знакомиться. Буду рад увидеть людей из канала вживую 🤝

Такие моменты показывают, с какими людьми ты работаешь

Последние дни выдались, мягко говоря, непростыми.

Ещё недавно рассказывал, что после ZeroNights готовлюсь к выступлению на SOC Forum, но планы пришлось поменять. Выступление отменилось, а работы стало столько, что сейчас вообще немного не до конференций.

Все уже видели новости. За несколько дней атакам подверглись три дата-центра Яндекса. Масштаб произошедшего сложно переоценить.

Но знаете, что меня по-настоящему поразило?

Люди

То, насколько быстро все смогли перестроиться. Насколько спокойно и профессионально коллеги берутся за проблемы, которые ещё недавно казались почти невероятными. Как люди из разных команд объединяются, помогают друг другу, работают ночами и не считают, что какая-то проблема их не касается.

Конечно, говорить, что всё прошло без последствий, было бы неправдой. Проблемы есть, восстановление продолжается. Но сам факт, что Яндекс продолжает работать после ударов такого масштаба, для меня уже многое говорит об уровне инженерии и подготовки.

Можно сколько угодно рассказывать на конференциях про отказоустойчивость, безопасность и надёжность инфраструктуры. Но когда всё это проходит проверку реальностью, начинаешь совсем по-другому ценить и технологии, и людей, которые за ними стоят.

Спасибо каждому, кто сейчас помогает восстанавливать сервисы. И спасибо всем за терпение и поддержку ❤️

Яндекс для меня сейчас прежде всего люди. И я рад быть одним из них.

Работаем 💪

🧊 Скоро AI-агенты поселятся в наших холодильниках

12 октября Anthropic опубликовала любопытное исследование о том, как AI-модели потенциально могут самостоятельно распространяться между устройствами без дата-центров.

И речь не про холодильник, который заказывает молоко, а про автономных AI-агентов, способных использовать чужие устройства для собственного запуска и дальнейшего распространения.

🔬 Что получилось у Anthropic?

Исследователи запустили Gemma4-26B-A4B на 15 дешёвых Android TV-приставках стоимостью около $55 каждая.

Модель работала! Правда, со скоростью всего 0,39 токена в секунду.

В отдельном эксперименте GLM-5.2 смогла организовать распространение другой модели на все 8 целевых узлов в 4 из 5 запусков.

Важный нюанс: это были контролируемые эксперименты. Сеть для распространения специально упростили, поэтому полноценного автономного AI-червя на реальных бытовых устройствах пока не продемонстрировали.

🧬 А теперь немного биологии и математики.

Забавно, что пару лет назад я работал стажёром-исследователем в лаборатории геномики. Тогда и подумать не мог, что курс биоинформатики внезапно пригодится мне в AI Security :)

Anthropic рассматривает распространение AI-агентов по аналогии с эпидемиями и использует коэффициент R₀.

Он показывает, сколько новых устройств в среднем заражает одно инфицированное устройство.

В простейшей модели:

Nₖ = N₀ × R₀ᵏ

Где:
• N₀: число заражений в начальном поколении.
• Nₖ: ожидаемое число новых заражений в поколении k.
• R₀: коэффициент воспроизводства.

Если R₀ = 2, получаем:

1 → 2 → 4 → 8 → 16 → 32

Всего за пять поколений от одного устройства можно дойти до 32 новых заражений в пятом поколении.

При R₀ > 1 число заражений потенциально растёт экспоненциально. А если защитными мерами снизить R₀ < 1, цепочка распространения постепенно затухает.

И здесь появляется ещё одна интересная аналогия с биологией.

Исследователи проверили, как агенты передают следующим поколениям заметки о предыдущих попытках. У Qwen3.5-9B успешность настройки инференса выросла с 45% в первом поколении до 61-84% в последующих.

То есть агент не меняет свои веса, но передаёт накопленный опыт потомкам. Anthropic даже проводит аналогию с ламарковской эволюцией.

🔐 А что с AI Security?

Здесь поверхность атаки выходит далеко за пределы привычных guardrails.

Что, если агент сможет не просто вызвать опасный инструмент, а перенести себя на другое устройство и продолжить работу уже там?

Придётся защищать не только модель, но и всю инфраструктуру вокруг неё: прошивки IoT, сетевые взаимодействия, права доступа, runtime и механизмы распространения.

Кстати, здесь вспомнил пост Макса Князева про кофемашину. Макс много занимается IoT и Edge AI, а пересечение этой области с безопасностью AI-агентов становится всё интереснее.

AI Security × IoT Security = новая поверхность атаки.

Сегодня AI-агент в холодильнике звучит как мем. Но, возможно, совсем скоро вопрос будет не в том, способен ли он там работать, а в том, как он туда попал и как его оттуда удалить.

А вы бы доверили своему холодильнику запускать AI-агентов? 👀

📄 Оригинальное исследование Anthropic

Нужно ли учиться на AI Security, если вакансий пока мало?

Недавно ездил в Вышку за студенческим пропуском и по дороге задумался об одной вещи.

В России AI Security пока выглядит довольно узкой специализацией. Если открыть вакансии, то предложений именно по безопасности ИИ не так много, особенно по сравнению с классическими направлениями ИБ.

И возникает вполне логичный вопрос: а зачем тогда уже сейчас готовить специалистов по AI Security?

Мой ответ: однозначно нужно.

Магистратура занимает два года. Человек, который поступает в 2026 году, выйдет на рынок в 2028-м. А теперь вспомните, насколько сильно изменились LLM, AI-агенты и подходы к их защите всего за последние два года.

Есть и исследования, которые подтверждают, что навыки на стыке AI и ИБ становятся всё важнее.

Например, в ISC2 Cybersecurity Workforce Study 2025 41% опрошенных специалистов по кибербезопасности назвали AI одним из наиболее востребованных направлений компетенций.

В России тоже есть интересная динамика. По исследованию Positive Technologies и SuperJob, количество вакансий в сфере ИБ за 2025 год выросло на 26%.

Конечно, это не статистика непосредственно по AI Security. Но мне кажется, что рынок постепенно приходит к необходимости новой экспертизы.

При этом есть ещё один интересный момент: AI for Security ≠ Security for AI.

Кстати, в 2026 году Вышка открыла отдельную магистратуру именно по безопасности систем искусственного интеллекта. По-моему, хороший сигнал.

Но я бы не хотел, чтобы просто добавляли слово AI к существующим образовательным программам.

Нужны реальные практические задачи, работа с современными моделями, исследования атак и защит, понимание ML-инфраструктуры. И обязательно сильная база в классической ИБ.

Потому что за два года могут поменяться модели, фреймворки и инструменты. А фундаментальные знания останутся.

Мне кажется, университеты не должны ждать появления тысяч вакансий, чтобы начать готовить специалистов. Иначе мы всегда будем догонять рынок.

Готовить специалистов нужно не только под сегодняшний спрос, но и под задачи, которые станут массовыми через несколько лет.

Интересно, что думаете вы? Есть смысл уже сейчас создавать отдельные программы по AI Security или пока достаточно развивать это направление внутри классической ИБ?

Нейрослоп, который слишком точно описывает современную разработку 🤖

Последнюю неделю вирусится ролик про LGTM (Looks Good To Me). Это пятиминутный музыкальный клип про разработку в эпоху AI, и он прекрасен.

Нейронка генерирует десятки тысяч строк кода, ревью занимает три секунды, все проверки зелёные, а в команде постепенно не остаётся людей, которые понимают, как вообще работает продукт.

Ирония в том, что сам клип тоже сделан с помощью AI:

🎵 Музыка сгенерирована в Suno
💻 Анимация написана Claude Opus 5.5 на TypeScript
🎬 Режиссура от Degenerative Pixels

Представьте пайплайн:

1. AI-агент пишет код.
2. Другой AI-агент проводит code review.
3. Третий генерирует тесты.
4. CI показывает зелёные галочки.
5. LGTM, отправляем в production.

А кто проверил, что все эти агенты не повторили одну и ту же ошибку?

И дело не только в классических SQLi, SSRF или IDOR. AI-агенты могут пропустить ошибки в бизнес-логике, небезопасно обработать недоверенный контекст или вообще выполнить инструкции из чужого README через prompt injection.

Получается интересный парадокс: мы научились генерировать код быстрее, чем способны независимо проверять его (а вообще-то еще и проверять на безопасность).

Поэтому AI Security и AppSec становятся ещё важнее. Нам нужны не просто очередные AI-ревьюеры, а независимые проверки, security-тесты, контроль действий агентов и понимание того, кто отвечает за результат.

Иначе однажды на вопрос «Кто это одобрил?» ответом будет:

LGTM. Три нейронки поставили approve.

🎬 Смотреть LGTM на YouTube

А вы бы доверили AI-агенту одновременно писать код и проводить его security review?

🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов

Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝

Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.

И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.

Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.

В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟

Но дальше интереснее.

На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.

Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.

Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.

δ = 1 − cos(h, μ_normal)

Если отклонение превышает порог, агент считается подозрительным.

А вот дальше начинается почти экзорцизм.

Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.

И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.

Правда, есть один момент, который меня зацепил сильнее всего.

А что, если атаковать сам прототип нормального поведения?

В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.

Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.

Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.

В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.

А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.

📄 When Agents Go Rogue, ICML 2026

🚗 «А ты можешь завести любую машину?»

На самом деле это вполне интересная задача с точки зрения AI Security. И как раз об этом мы поговорили с Викой Егоровой, техлидом команды безопасности Автономного транспорта Яндекса.

У меня тут вышла небольшая коллаба с YouTube-каналом Yandex for Security. На OFFZONE 2026 я записал пять мини-интервью со своими коллегами из Яндекса. Все они уже опубликованы в Shorts.

Но начну с беспилотников, потому что там действительно есть о чём поговорить.

Представьте: человек идёт по дороге в футболке с изображением знака STOP. Камера автомобиля видит изображение, похожее на дорожный знак. Но должен ли беспилотник воспринимать его как реальный знак?

А теперь обратная ситуация. На дороге ремонт, появился временный знак, которого нет на карте. Его как раз нужно распознать и учесть.

И это ещё без учёта атакующих, которые могут намеренно менять внешний вид объектов, чтобы обмануть модели компьютерного зрения.

Как вообще решают такие задачи?

В современных системах автономного вождения используются разные классы ML-моделей:

🔹 CV (Computer Vision). Детекция, классификация и сегментация объектов. Помогают распознавать знаки, разметку, пешеходов и другие объекты.

🔹 BEV (Bird’s-Eye View) occupancy-модели. Формируют пространственное представление окружающей среды, в том числе используя данные камер, лидаров и других сенсоров.

🔹 Motion Prediction. Прогнозируют возможное движение других участников дорожного движения.

🔹 VLM (Vision-Language Models). Позволяют анализировать визуальную сцену с учётом семантического контекста.

🔹 VLA (Vision-Language-Action). Перспективное направление, где модель связывает визуальное восприятие, рассуждение и генерацию действий или траекторий.

И самое интересное здесь для меня то, что недостаточно просто научить модель хорошо распознавать объекты. Нужно учитывать контекст, проверять устойчивость к необычным ситуациям и не допускать, чтобы ошибка отдельного компонента приводила к опасному манёвру.

В интервью Вика также рассказала, как они проверяют беспилотные автомобили на полигоне и в гараже, используют фаззинг и как AI может помогать исследовать прошивки и искать уязвимости.

🎥 Посмотреть интервью с Викой

А ещё вышли четыре интервью с другими коллегами:

🔸 Андрей Смирнов, руководитель безопасности Поискового портала. Обсудили AI в безопасности Поиска, бенчмарки моделей, guardrails и автоматизацию security review.

🔸 Илья Крестиничев, старший инженер по ИБ в SOC. Поговорили про автоматизацию SOC с помощью LLM, нейроаналитиков и о том, какие решения уже можно доверять AI.

🔸 Кирилл Ваулин, ведущий инженер по ИБ в SOC. Как внедрять LLM в SOC, контролировать качество их работы и почему аналитиков пока рано заменять нейросетями.

🔸 Мария Гиль, рекрутер команды безопасности. Про AI в найме, персональные данные и почему нейросети не заменят человеческое общение с кандидатами.

Получилась целая серия о том, как AI уже применяется в разных направлениях, от беспилотных автомобилей до SOC и рекрутмента.

📺 Все пять интервью доступны в Shorts на Yandex for Security.

Мне такой формат понравился: коротко, без долгих презентаций, зато можно узнать, чем на самом деле занимаются команды безопасности.

А с кем ещё было бы вам интересно посмотреть интервью? 👀