Помните кейс LiteLLM?

Мы дропаем OMCBench (Open Malicious-Code Benchmark) - бенчмарк оценки качества по обнаружению вредоносного кода:
- 3 языка: Python, JavaScript, TypeScript
- 400 вредоносных пакетов, 400 чистых из pypi/npm
- пофайловая LLM разметка, о которой говорили на OFFZONE прошлым летом
- Открытая лицензия, BSD-2

Открытые решения на нем набирают не больше 75% F1, выдавая ~50% False Positive результатов...

Те, кто уже нажал звездочку на гитхабе, могли заметить, что в таблице мы также анонсим MOLOT - нашу модель для решения этого класса задач. Ловите блогпост, а на подходе arxiv статья с подробностями про анализ графов вызовов бертами, LLM разметку и выкатку в prod!

Ждите дроп статьи в канале, stay tuned!

Все, кому не отвечал последние недели - надеюсь вы меня простите!

Потому что мы еще не выложили статью на arxiv, я еще немного поигнорю...

В лс получил вопрос по поводу актуальных ML&Security тем для диплома:

Следующий год - ВКР. Сейчас начинаю искать тему для научного трека. <...тут текущие треки, интересные студенту...>

Буду признателен если сориентируете по актуальным темам сейчас в отрасли MLSec.

Предложил следующее (опустим обсуждение тем студента):

Из того, что индустрии нужно "сегодня":
- Всевозможные триаж технологии - триаж инцидентов SOC (сеть, хосты, веб), триаж сработок инструментов AppSec (sast/dast/секреты/комбинация предыдущих)
- Agent оркестраторы/агенты поверх инструментов ИБ (автопентест/автофаззер/авто...), всевозможные тестирования на OSS базах уязвимостей/CTF и bugbounty
- Оптимизация decoder/encoder архитектур под домен ИБ (лучше токенизация, разделение срытого пространства на какой-то задаче, удержание длинного контекста)
- Интерпретируемость моделей и агентов в контексте ИБ (умение комбинировать ML методы типа shap/logprob анализа и ИБ запросов к обоснованию вредоноса/инцидента/атаки/..., может быть смотреть скрытые представления)
- RL среды для генерации ИБ сценариев (gym фреймворки, генерация синтетики там, где не хватает настоящих данных)
- Борьба с deepfake
- Правовые аспекты: соблюдение правовых норм при работе с данными, используемыми для обучения модели, автоматизация требований ГОСТ по безопасной разработки систем с ИИ
- Аппаратная безопасность, Безопасность современных ЦОД (RDMA, Infiniband, GPU)


Из того, что индустрии пригодится "завтра", подо что пока не так много спроса у рынка, но потребности растут как грибы - AISec/MLSec/...:
- анализ скрытых возможностей LLM/агентов - умение выходить из среды текстирования/докера/..., умение скрывать логику размышлений
- llm-firewall как в классификации request/response, так и prompt-injection/sponge-атаки и подобные защищающие агентов механизмы
- элаймент на уровне обнуления/изменения весов модели (не проверять через llmwaf политический контекст, а заблокировать модели возможность говорить об этом)
- Верификация скиллов и MCP
- Защита моделей на конечных устройствах

Что скажете по написанному - нигде не соврал? Может что забыл?

Давайте поможем студентам, накидаем вариантов:)

UPD: пост обновлен, с тематических каналов прилетело много полезного!

Теперь я могу публиковать пейперы! 🎉

Статья по MOLOT’у уже в пути

2 года назад для повышения знаний MLE в ИБ, в качестве эксперимента, нас посадили на 3 дня в смену первой линии SOC (Security Operations Center).

Незабываемый опыт и наверно лучший способ понять для кого ты делаешь работу - отложить вайтпейперы и сесть с вместо пользователя ваших продуктов. Было очень тяжело, и нервно, и непонятно, но интересно. Нас учили плавать, бросив в реку *сработок*.

Cейчас меня откинуло на 2 года назад - прошел игру Dwell Time, сделанную коллегой, чтобы каждый мог пережить опыт работы ИБ специалиста SOC без смс и регистрации.

Объяснение базы, имитация рабочего процесса, хинты, сюжетность - идеальная игра для погружения в ИБ с нуля!

Это было потно, но удалось забрать 29/30. Кидайте в комменты как прошла бы ваша смена?


Fun fact: В один из трех дней я проспал будильник и проснулся прям к началу смены, и, открыв ноут сразу следом за глазами, я не смог 11 раз ввести свой пароль. Было забавно увидеть свою учетку в списке инцидентов на брутфорс...

Так, блог-заметки по MOLOT'у подоспели, го читать и лайкать:
- ru
- eng

Сегодня наша команда держала стенд на технохабе Сбера, активность по ML System Design в ИБ дропну тут на память ✍️