2 года назад для повышения знаний MLE в ИБ, в качестве эксперимента, нас посадили на 3 дня в смену первой линии SOC (Security Operations Center).

Незабываемый опыт и наверно лучший способ понять для кого ты делаешь работу - отложить вайтпейперы и сесть с вместо пользователя ваших продуктов. Было очень тяжело, и нервно, и непонятно, но интересно. Нас учили плавать, бросив в реку *сработок*.

Cейчас меня откинуло на 2 года назад - прошел игру Dwell Time, сделанную коллегой, чтобы каждый мог пережить опыт работы ИБ специалиста SOC без смс и регистрации.

Объяснение базы, имитация рабочего процесса, хинты, сюжетность - идеальная игра для погружения в ИБ с нуля!

Это было потно, но удалось забрать 29/30. Кидайте в комменты как прошла бы ваша смена?


Fun fact: В один из трех дней я проспал будильник и проснулся прям к началу смены, и, открыв ноут сразу следом за глазами, я не смог 11 раз ввести свой пароль. Было забавно увидеть свою учетку в списке инцидентов на брутфорс...

Так, блог-заметки по MOLOT'у подоспели, го читать и лайкать:
- ru
- eng

Сегодня наша команда держала стенд на технохабе Сбера, активность по ML System Design в ИБ дропну тут на память ✍️

Как понять, что конфа годная? У тебя нет билета, но доклады на посмотреть копятся сами собой)

В последнее время фокус цепляют доклады не AI/ML лаб, а доменных спецов, которые начинают копать вокруг AI, поэтому ловите 2 с OFFZONE, которые добавил в закладки:

Кнопка «взломать» не работает

Доклад от пентестера и багхантера про самую горячую тему применения ИИ в кибербезе? Этот парень еще в 2025 показывал, как использовать курсор для написания хактулов, так что маст хэв к посещению


Et tu, OpenCode: как злоумышленники атакуют агентов и выманивают ваши секреты

Коллега, соавтор проекта MOLOT и практикующий TI эксперт в части атак на цепочку поставок, один из немногих овер-хардкорных экспертов, который может еще и понятно разжевать свои результаты в паблик. Прогон доклада не видел, поэтому буду ждать записи к конфы


Какие еще доклады посоветуете положить в заметки?✍️✍️✍️

Смена парадигмы безопасной разработки в эпоху software 3.0

Часть 5 - AppSec 3.0, сингулярность

Disclaimer: всё написанное является субботней фантазией автора

Навигация:
- Часть 1 - AppSec 1.0
- Часть 2 - AppSec 2.0, предпосылки
- Часть 3 - AppSec 2.0, дизрапт рынка
- Часть 4 - AppSec 2.0, дизрапт технологий
- Часть 5 - AppSec 3.0, сингулярность

В прошлой части мы закончили на том, что привычный нам AppSec становится удобным для агентов через харнессы. Кроме того, мы получаем результат лучше в сравнении с среднестатестическим разработчиком, поскольку в обучение LLM уже попало достаточно данных по "теоретическим" концепциям Application Security.

Но если мы посмотрим на эту систему сверху, то увидим следующий пайплайн:

Человек формулирует бизнес потребность -> агент реализует -> харнесс подсвечивает уязвимости -> агент исправляет

Окей, харнесс может быть "разрешающей" политикой, о чем в своем канале классно подметил Вова.

Но харнесс - это просто попытка нивелировать "серые зоны" в претрейне и RL обучении LLM. Примерно об этом и говорит Карпаты:

if you're in the circuits that were part of the RL, you fly. And if you're in the circuits that are out of the data distribution, uh you're going to struggle.

Представьте ситуацию, что вы не разбираетесь в безопасной разработке, без настройки харнессов просите codex/claude разработать приложение, а он помимо дизайна приложения сам оценивает модель угроз, при установке зависимостей использует карантин и модерируемые репозитории, всегда помнит про фильтрацию и санитизацию, а этап тестирования всегда содержит проверки на безопасность не из-за AppSec политик, а просто потому что это здравый подход к тестированию.

AppSec 3.0 - генерируемый код безопасен by design (by train design), тем самым сделав концепцию Shift left Security great again.

Но что у LLM сейчас есть из знаний по разработке?

Тонна кода с github, stack-overflow и прочий crawl, написанный по большей степени людьми без знаний безопасной разработки, а также синтетика на их основе и трейсы агентов, не умеющих в безопасность. Лабы перестают раскрывать информацию о корпусах для обучения, последнее что я смог найти - отчет Qwen3-Coder-Next от 2026-03-03:

- около 600B токенов repo-level code, названных «major portion» mid-training
- траектории от SWE-agent, OpenHands, Claude Code, Qwen Code и других агентов
- Собранные с github 807,693 задач из 52,960 репозиториев на
- Синтетика насчитывает 851 898 задач из 5 019 использованных репозиториев

Что тогда потребуется для достижения сингулярности в безопасной разработке?

Мне видится это, как грамотное замещение человеческого кода на агентский, использующий строго AppSec харнессы, а также RL среды, в которых все задачи разработки по умолчанию имеют штрафы на безопасность. Просто заменять человеческий код на синтетику - недостаточно, важно использование AppSec в фильтрации данных и награждении в RL.

Интересную мысль сказал Джейсан Хуанг в одном из интервью:

Ilya Sutskever said, "We're out of data," or something like that. "Pre-training is over," or something like that. The industry panicked, you know, that this is the end of AI. And of course that's obviously not true. <...> And that part of post-training continues to scale, and so the amount of data that we could use that is human generated will be smaller, and smaller, and smaller.

AppSec не станет исключением. Да, такой фокус на безопасной разработке очень дорогой ввиду разных сценариев безопасности для разных типов ПО, но после этого в безопасной разработке наступит AGI.

И если после всего этого написанный агентами код будет безопасен by design, то в чем будет заключаться AppSec индустрия?

Узнаем ближе к 2030 (или быстрее). Мои размышления на этом всё. Спасибо, что дочитали.

Заметка достаточно настоялась, нашел силы причесать 🫠

Итак, таймлайн:
- AppSec 1.0 - процессы безопасной разработки сложны для разработчиков
- AppSec 2.0 - процессы безопасной разработки просты для агентов
<— мы тут, Q3 2026 —>
- AppSec 3.0 - сингулярность

AppSec 2.0 наступил быстрее, чем я ожидал, ловлю это даже в кодексе, не говоря уже о проектах коллег