В сети ходит своеобразный bypass LLM-анализа вредоносов. Пишут, LLM парсит такой вредонос, натыкается на упоминание о ядерном оружии, включает цензуру, и дальше скрипт не парсит. Наши эксперименты с нашей локальной LLM из Рекрипториума этого не подтверждают. Вредоносы прекрасно и эффективно обнаруживаются с комментариями, без комментариев, с обфускацией, без обфускации, любого размера.
На самом деле нельзя просто взять LLM из паблика, и поставить в конвейер. Чтобы не было таких эффектов, надо изрядно потрудиться
#ии #рекрипториум
На самом деле нельзя просто взять LLM из паблика, и поставить в конвейер. Чтобы не было таких эффектов, надо изрядно потрудиться
#ии #рекрипториум
👍3
Отличный и регулярно пополняемый архив со статьями по поиску уязвимостей с помощью LLM. Для некоторых статей есть ссылки на исходники. В общем, налетай ;)
#ии #почитать #уязвимости
#ии #почитать #уязвимости
GitHub
GitHub - huhusmang/Awesome-LLMs-for-Vulnerability-Detection: The community's most comprehensive, continuously-updated index of…
The community's most comprehensive, continuously-updated index of research on Large Language Models for software vulnerability detection — papers across function-level, repository-level, ag...
👍3
Работе про Model Collapse уже 2 года, что довольно много по нынешним временам, но тем интереснее её читать и ретроспективно оценивать, насколько точными оказались прогнозы.
Смысл статьи в том, что, когда новые модели обучаются на данных, сгенерированных моделями предыдущих итераций (т.е. синтетики всё больше и больше), качество вывода этих новых моделей падает. Рисунок с функциями плотности распределения вероятности, вырезанный из статьи, это отражает визуально. Мы видим, как в процессе обучения отрезаются "хвосты" с небольшими вероятностями. Это естественный эффект машинного обучения. На следующей итерации отрежутся свои "хвосты" и т.д. В итоге модель разучится генерировать действительно ценные и не банальные ответы. Плюс, синтетика может привнести некоторую долю не совсем достоверной информации из-за галлюцинаций, что также отрицательно скажется на качестве генерации. Некоторые белковые бредогенераторы, подхватив темку в лучших традициях инфоцыганства, начали извергать килотонны текста про статистических попугаев, которых кормят собственным помётом, про переработку пластика обратно в нефть и прочее подобное. В общем, волна хайпа на фоне этой простой и банальной в общем то работы была подхвачена хайпожорами и начала раскручиваться, обрастая словесной эквилибристикой.
Однако коллапса, как мы видим, не случилось. Напротив, за 2 года мы наблюдаем заметное улучшение качества вывода. Это результат комплексного подхода к решению проблемы: качественная разметка, детерминированные алгоритмы для верификации (здесь мы вспоминаем термин "упряжь"), выявление синтетики и сокращение её доли в обучении и т.п. Человек, как показывает практика, вносит свой вклад в сгенерированные данные (программисты это хорошо понимают), а значит, данные не полностью синтетические, а, скорее, гибридные. Т.е. в пределе, да, "коллапс модели" возможен и математически вполне объясним, но только если ничего по этому поводу не делать. А так не бывает никогда. Именно поэтому мы наблюдаем обратный эффект: повышение качества генерации.
Ссылка на ту самую статью: https://arxiv.org/pdf/2305.17493
Ну а инфоцыган и экспертов по всему вы и так все хорошо знаете ;)
#ии
Смысл статьи в том, что, когда новые модели обучаются на данных, сгенерированных моделями предыдущих итераций (т.е. синтетики всё больше и больше), качество вывода этих новых моделей падает. Рисунок с функциями плотности распределения вероятности, вырезанный из статьи, это отражает визуально. Мы видим, как в процессе обучения отрезаются "хвосты" с небольшими вероятностями. Это естественный эффект машинного обучения. На следующей итерации отрежутся свои "хвосты" и т.д. В итоге модель разучится генерировать действительно ценные и не банальные ответы. Плюс, синтетика может привнести некоторую долю не совсем достоверной информации из-за галлюцинаций, что также отрицательно скажется на качестве генерации. Некоторые белковые бредогенераторы, подхватив темку в лучших традициях инфоцыганства, начали извергать килотонны текста про статистических попугаев, которых кормят собственным помётом, про переработку пластика обратно в нефть и прочее подобное. В общем, волна хайпа на фоне этой простой и банальной в общем то работы была подхвачена хайпожорами и начала раскручиваться, обрастая словесной эквилибристикой.
Однако коллапса, как мы видим, не случилось. Напротив, за 2 года мы наблюдаем заметное улучшение качества вывода. Это результат комплексного подхода к решению проблемы: качественная разметка, детерминированные алгоритмы для верификации (здесь мы вспоминаем термин "упряжь"), выявление синтетики и сокращение её доли в обучении и т.п. Человек, как показывает практика, вносит свой вклад в сгенерированные данные (программисты это хорошо понимают), а значит, данные не полностью синтетические, а, скорее, гибридные. Т.е. в пределе, да, "коллапс модели" возможен и математически вполне объясним, но только если ничего по этому поводу не делать. А так не бывает никогда. Именно поэтому мы наблюдаем обратный эффект: повышение качества генерации.
Ссылка на ту самую статью: https://arxiv.org/pdf/2305.17493
Ну а инфоцыган и экспертов по всему вы и так все хорошо знаете ;)
#ии
👍2
Интересная публикация про использование локальной модели для поиска уязвимостей. Вместо скармливания проекта целиком модели даются файлы по-отдельности, плюс, необходимый контекст. Результат получился лучше, чем с проприетарными монстрами. Технически понятно, почему так: необходимый контекст позволяет сконцентрироваться на поиске нужной проблемы, а пофайловая обработка - не рассеивать внимание. При этом число false positives ожидаемо возрастает. Это лечится оркестрацией на более высоком уровне. В общем, ещё одно доказательство, что локальные модели достаточно эффективны. Просто нужно уметь их готовить.
#ии #почитать #уязвимости
#ии #почитать #уязвимости
Research Blog | Project Black
Local AI for Penetration Testing & Research
How competent are local AI models for cyber security bug hunting and research?
👍4
Тестирование моделей ИИ на открытом бенчмарке: результаты «Рекрипториума»
Positive Technologies выпустили открытый бенчмарк OMCBench для проверки моделей ИИ. Бенчмарк содержит 800 пакетов для Python и JS (по 400 вредоносных и чистых пакетов на каждую систему), суммарно больше 25 тысяч файлов.
Мы решили протестировать на нём наши модели «Рекрипториума». Результаты — в карточках. Их также можно сравнить с другими решениями в открытой таблице бенчмарка — по ключевым метрикам наши модели демонстрируют более высокие показатели.
Наши модели ИИ для анализа Python и JS используют трансформеры, обученные нами на наших постоянно пополняемых датасетах, а также другие методы анализа. При этом для анализа не потребовался GPU — всё работает на обычном CPU.
#рекрипториум #ии
Positive Technologies выпустили открытый бенчмарк OMCBench для проверки моделей ИИ. Бенчмарк содержит 800 пакетов для Python и JS (по 400 вредоносных и чистых пакетов на каждую систему), суммарно больше 25 тысяч файлов.
Мы решили протестировать на нём наши модели «Рекрипториума». Результаты — в карточках. Их также можно сравнить с другими решениями в открытой таблице бенчмарка — по ключевым метрикам наши модели демонстрируют более высокие показатели.
Наши модели ИИ для анализа Python и JS используют трансформеры, обученные нами на наших постоянно пополняемых датасетах, а также другие методы анализа. При этом для анализа не потребовался GPU — всё работает на обычном CPU.
#рекрипториум #ии
👍8🔥6🤝2
Дежавю: приложения без верификации Google перестанут запускаться
Google готовит обязательную верификацию личности для разработчиков Android-приложений. Открытое письмо против инициативы уже подписали 70+ организаций, включая F-Droid, EFF, Free Software Foundation и GrapheneOS Foundation.
С 30 сентября 2026 года требование вступает в силу в Бразилии, Индонезии, Сингапуре и Таиланде, а с 2027 года Google планирует распространить его на все Android-устройства в мире. Важный момент: это касается не только новых публикаций приложений. Приложения, разработчик которых не прошёл верификацию, будут заблокированы прямо на устройстве пользователя. Под требование попадают все каналы: Google Play, сторонние и региональные магазины приложений (в том числе российские), прямая установка apk.
В карточках разобрали:
• что именно меняется и когда
• какие требования предъявляются к разработчикам
• как будет работать установка приложений от неверифицированных издателей
• кого изменения затронут в первую очередь
Похожая схема начала применяться довольно давно. В нулевых Microsoft ввела обязательную подпись драйверов для Windows: разработчики проходили верификацию, покупали ключ для подписи и подписывали драйверы ядра. Процедура несколько раз менялась — появились EV-сертификаты, менялся сам процесс подписи. Позже практика распространилась и на обычные приложения: подпись Authenticode формально не обязательна, но рекомендована. Инициатива Microsoft продвигалась как мера повышения безопасности.
На практике количество вредоносного ПО от этого заметно не снизилось. Ключ для подписи злоумышленники могут купить так же, как и легитимный разработчик, а получить доступ к ядру системы можно и через уязвимый подписанный драйвер — например, антивируса. Эффективность такой верификации именно с точки зрения безопасности вызывает вопросы.
В 2022 году российские компании-разработчики лишились возможности подписывать новые версии драйверов ранее приобретёнными EV-сертификатами из-за введённых в одностороннем порядке ограничений со стороны Microsoft. Мы, как и многие другие компании, столкнулись с этой ситуацией напрямую.
Инициатива Google несёт более серьёзные риски: она позволяет блокировать конкретные приложения непосредственно на устройстве пользователя, и в их число потенциально могут попасть приложения российских организаций. При этом на практическую безопасность системы такой механизм влияет незначительно.
Google готовит обязательную верификацию личности для разработчиков Android-приложений. Открытое письмо против инициативы уже подписали 70+ организаций, включая F-Droid, EFF, Free Software Foundation и GrapheneOS Foundation.
С 30 сентября 2026 года требование вступает в силу в Бразилии, Индонезии, Сингапуре и Таиланде, а с 2027 года Google планирует распространить его на все Android-устройства в мире. Важный момент: это касается не только новых публикаций приложений. Приложения, разработчик которых не прошёл верификацию, будут заблокированы прямо на устройстве пользователя. Под требование попадают все каналы: Google Play, сторонние и региональные магазины приложений (в том числе российские), прямая установка apk.
В карточках разобрали:
• что именно меняется и когда
• какие требования предъявляются к разработчикам
• как будет работать установка приложений от неверифицированных издателей
• кого изменения затронут в первую очередь
Похожая схема начала применяться довольно давно. В нулевых Microsoft ввела обязательную подпись драйверов для Windows: разработчики проходили верификацию, покупали ключ для подписи и подписывали драйверы ядра. Процедура несколько раз менялась — появились EV-сертификаты, менялся сам процесс подписи. Позже практика распространилась и на обычные приложения: подпись Authenticode формально не обязательна, но рекомендована. Инициатива Microsoft продвигалась как мера повышения безопасности.
На практике количество вредоносного ПО от этого заметно не снизилось. Ключ для подписи злоумышленники могут купить так же, как и легитимный разработчик, а получить доступ к ядру системы можно и через уязвимый подписанный драйвер — например, антивируса. Эффективность такой верификации именно с точки зрения безопасности вызывает вопросы.
В 2022 году российские компании-разработчики лишились возможности подписывать новые версии драйверов ранее приобретёнными EV-сертификатами из-за введённых в одностороннем порядке ограничений со стороны Microsoft. Мы, как и многие другие компании, столкнулись с этой ситуацией напрямую.
Инициатива Google несёт более серьёзные риски: она позволяет блокировать конкретные приложения непосредственно на устройстве пользователя, и в их число потенциально могут попасть приложения российских организаций. При этом на практическую безопасность системы такой механизм влияет незначительно.
❤3🤔3👍2👌1
ФСТЭК обновила требования к защите персональных данных
ФСТЭК опубликовала итоговый проект приказа, который заменит действующий приказ № 21 от 2013 года. Новый документ вступает в силу с 1 сентября 2026 года — приказ представляет собой полностью переработанный состав мер.
Основные изменения:
1. Гибкий подход вместо жёсткого списка мер
2. Обязательная оценка эффективности
3. Расширенный перечень мер
4. Требования к сертифицированным СЗИ
Ознакомиться с полным текстом приказа можно по ссылке.
ФСТЭК опубликовала итоговый проект приказа, который заменит действующий приказ № 21 от 2013 года. Новый документ вступает в силу с 1 сентября 2026 года — приказ представляет собой полностью переработанный состав мер.
Основные изменения:
1. Гибкий подход вместо жёсткого списка мер
Вместо фиксированного перечня из 15 групп мер — трёхуровневая модель выбора:
1) определение базовых мер по уровню защищённости (1–4)
2) адаптация мер под архитектуру и технологии своей ИС
3) верификация, что адаптированные меры закрывают актуальные угрозы
2. Обязательная оценка эффективности
Вводится количественный показатель — «уровень зрелости» (У_зи). Оценка проводится:
• до начала обработки ПДн
• не реже 1 раза в 3 года
• после любого компьютерного инцидента у оператора
Требование распространяется и на обработчиков, привлечённых оператором.
3. Расширенный перечень мер
В список впервые чётко включены:
• защита при использовании искусственного интеллекта
• защита виртуализации, облаков, контейнеров и оркестрации
• защита технологий интернета вещей (IoT)
• защита программных интерфейсов (API)
• непрерывное взаимодействие с ГосСОПКА (для объектов КИИ)
• мониторинг ИБ и управление уязвимостями
4. Требования к сертифицированным СЗИ
Минимальный класс и уровень доверия СЗИ зависят от уровня защищённости ИСПДн:
• 1-й уровень — класс не ниже 4, уровень доверия не ниже 4
• 2-й уровень — класс не ниже 5, уровень доверия не ниже 5
• 3-й и 4-й уровни — класс 6, уровень доверия 6
Чем выше уровень защищённости, тем дороже и надёжнее должны быть сертифицированные СЗИ.
Ознакомиться с полным текстом приказа можно по ссылке.
👍4👏3🔥2❤1
Рекрипториум добавит поддержку APK-файлов
Наш Рекрипториум постоянно развивается — в ближайшем релизе добавим поддержку APK-файлов.
Высокие показатели на независимых данных достигнуты за счёт того, что модель использует не только стандартные статистические метрики файлов, но и структурные особенности, которые мы научились выявлять с помощью обученного нами трансформера.
Как и во всех наших моделях, скорость обработки позволяет использовать её практически в поточном режиме.
#рекрипториум #ии
Наш Рекрипториум постоянно развивается — в ближайшем релизе добавим поддержку APK-файлов.
Метрики модели на текущий момент: AUC=0.9928, F1=0.956.
Высокие показатели на независимых данных достигнуты за счёт того, что модель использует не только стандартные статистические метрики файлов, но и структурные особенности, которые мы научились выявлять с помощью обученного нами трансформера.
Как и во всех наших моделях, скорость обработки позволяет использовать её практически в поточном режиме.
#рекрипториум #ии
🔥7👍4👏3❤1
Как мы понимаем, что APK безопасен?
Разобрали в карточках, чем наш подход к анализу APK отличается от классических антивирусных решений.
Современные вредоносные APK всё чаще мимикрируют под обычные приложения, и лишь детальный комплексный анализ с помощью ИИ способен выявить вредоносную составляющую, скрытую зачастую с помощью технологий обфускации.
ИИ-классификатор Рекрипториума работает полностью статически — без запуска приложения. Он извлекает код из всех DEX-файлов, строит граф вызовов между методами, анализирует последовательности API-вызовов и ошибки парсинга структуры APK, а также анализирует DEX обученным нами трансформером.
В карточках — подробнее о том, что скрывают упакованные APK, почему традиционные методы классификации плохо работают и за счёт чего наша модель ИИ показывает хорошие результаты.
#рекрипториум #ии
Разобрали в карточках, чем наш подход к анализу APK отличается от классических антивирусных решений.
Современные вредоносные APK всё чаще мимикрируют под обычные приложения, и лишь детальный комплексный анализ с помощью ИИ способен выявить вредоносную составляющую, скрытую зачастую с помощью технологий обфускации.
ИИ-классификатор Рекрипториума работает полностью статически — без запуска приложения. Он извлекает код из всех DEX-файлов, строит граф вызовов между методами, анализирует последовательности API-вызовов и ошибки парсинга структуры APK, а также анализирует DEX обученным нами трансформером.
В карточках — подробнее о том, что скрывают упакованные APK, почему традиционные методы классификации плохо работают и за счёт чего наша модель ИИ показывает хорошие результаты.
#рекрипториум #ии
🔥4❤1👍1
Бесфайловое закрепление в браузерах семейства Chromium: как обнаружить и как не допустить инсталляцию импланта с помощью платформы Рекрипториум
Интересная, технологичная и весьма опасная техника закрепления в системе с использованием расширений Chromium.
Опасность в том, что этот подход к закреплению относится к бесфайловым (fileless persistence), и является достаточно скрытным: после установки вредоносного импланта следов на диске в виде каких-либо отдельных вредоносных файлов не останется. Эксплуатируется механизм кэширования сценариев — по сути, это вариант cache poisoning. Имплант работает в контексте легитимного процесса браузера, что хорошо маскирует сетевую активность, а для установки не требуются права администратора.
Как обнаружить установленный имплант
1. Файл Secure Preferences
Он находится по пути:
Любое изменение этого файла, особенно если оно не связано с установкой или обновлением расширений через официальный магазин, является серьезным сигналом.
2. Анализ реестра Service Worker
База данных Service Worker Registration — это независимый компонент, который хранит информацию о зарегистрированных Service Worker. Необходимо периодически проверять базу Service Worker на предмет регистраций, которые ссылаются на несуществующие или подозрительные расширения.
Для этого можно использовать встроенные средства браузера: набрать в адресной строке
Как удалить
Проще и быстрее всего — сбросить настройки браузера.
Как противодействовать установке вредоносного импланта
Мы пропустили архив репозитория с примером через Рекрипториум. Наши модели ИИ классифицировали его как подозрительный, а пофайловый анализ безошибочно выявил файлы с вредоносной логикой. Рекрипториум обнаруживает угрозу до того, как имплант успевает появиться в кэше браузера.
На скриншотах — в дополнение к результатам Рекрипториума показаны результаты работы VirusTotal.
#offensive #почитать #ии #рекрипториум
Интересная, технологичная и весьма опасная техника закрепления в системе с использованием расширений Chromium.
Опасность в том, что этот подход к закреплению относится к бесфайловым (fileless persistence), и является достаточно скрытным: после установки вредоносного импланта следов на диске в виде каких-либо отдельных вредоносных файлов не останется. Эксплуатируется механизм кэширования сценариев — по сути, это вариант cache poisoning. Имплант работает в контексте легитимного процесса браузера, что хорошо маскирует сетевую активность, а для установки не требуются права администратора.
Как обнаружить установленный имплант
1. Файл Secure Preferences
Он находится по пути:
C:\Users\<Пользователь>\AppData\Local\<Chromium-based browser>\User Data\Default\Secure PreferencesЛюбое изменение этого файла, особенно если оно не связано с установкой или обновлением расширений через официальный магазин, является серьезным сигналом.
2. Анализ реестра Service Worker
База данных Service Worker Registration — это независимый компонент, который хранит информацию о зарегистрированных Service Worker. Необходимо периодически проверять базу Service Worker на предмет регистраций, которые ссылаются на несуществующие или подозрительные расширения.
Для этого можно использовать встроенные средства браузера: набрать в адресной строке
chrome://inspect/#service-workers (или edge://inspect/#service-workers) и проверить список зарегистрированных Service Worker. Любая подозрительная запись в этом списке — повод для углубленного исследования.Как удалить
Проще и быстрее всего — сбросить настройки браузера.
Как противодействовать установке вредоносного импланта
Мы пропустили архив репозитория с примером через Рекрипториум. Наши модели ИИ классифицировали его как подозрительный, а пофайловый анализ безошибочно выявил файлы с вредоносной логикой. Рекрипториум обнаруживает угрозу до того, как имплант успевает появиться в кэше браузера.
На скриншотах — в дополнение к результатам Рекрипториума показаны результаты работы VirusTotal.
#offensive #почитать #ии #рекрипториум
👍3🔥2❤1