В российском сегменте Интернета обсуждают мессенджер Max - его надёжность, безопасность и подлинную российскость. Мы в этой безусловно политической возне принимать участия не будем. Дождёмся релиза. Мы уже писали об этом и отметим ещё раз: ни один публичный мессенджер не годится для приватных и корпоративных коммуникаций.
А ещё заметим, что компания "Рекрипт" является партнёром компании "Анлимитед Продакшн" - разработчика платформы корпоративных коммуникаций eXpress. Мы давно и хорошо знаем eXpress, активно пользуемся сами, всем рекомендуем. Глубоко понимая архитектуру и принципы работы, мы оказываем услуги по корректному развёртыванию и настройке платформы, разрабатываем Smart Apps, дополняя базовый функционал. Заметим, что eXpress - это полностью российский продукт, имеющий сертификат ФСТЭК по 4 уровню доверия.
Думаю, все уже догадались, что мы немного параноидально относимся к безопасности. Поэтому мы с учётом нашего богатого практического опыта досконально изучили eXpress прежде чем пользоваться самим и рекомендовать людям. Платформа надежная, функциональная, безопасная. Для корпоративных коммуникаций подходит идеально.
#мессенджер
А ещё заметим, что компания "Рекрипт" является партнёром компании "Анлимитед Продакшн" - разработчика платформы корпоративных коммуникаций eXpress. Мы давно и хорошо знаем eXpress, активно пользуемся сами, всем рекомендуем. Глубоко понимая архитектуру и принципы работы, мы оказываем услуги по корректному развёртыванию и настройке платформы, разрабатываем Smart Apps, дополняя базовый функционал. Заметим, что eXpress - это полностью российский продукт, имеющий сертификат ФСТЭК по 4 уровню доверия.
Думаю, все уже догадались, что мы немного параноидально относимся к безопасности. Поэтому мы с учётом нашего богатого практического опыта досконально изучили eXpress прежде чем пользоваться самим и рекомендовать людям. Платформа надежная, функциональная, безопасная. Для корпоративных коммуникаций подходит идеально.
#мессенджер
Telegram
Рекриптор
Про Telegram и корпоративные коммуникации
Сегодня французы арестовали основателя Telegram Павла Дурова. Политику и прочие не профильные для нас подобные вещи отбросим, этим пусть другие занимаются. Наше дело - технологии.
Интересно, что сейчас из каждого…
Сегодня французы арестовали основателя Telegram Павла Дурова. Политику и прочие не профильные для нас подобные вещи отбросим, этим пусть другие занимаются. Наше дело - технологии.
Интересно, что сейчас из каждого…
👍4🔥3❤1
Academia предлагает новый сервис: ИИ-рецензент. В качестве примера прислали мне сгенерированную с помощью ИИ рецензию на мою работу про быстрое асимметричное шифрование.
В целом рецензия смотрится красиво, но лишь на первый взгляд. Когда начинаешь вчитываться, становится понятно, что модель немного галлюцинирует, придумывая факты, на которые даже намёка нет. Рецензия не особо маленькая, приведу отрывок.
А вот это просто лютый слабо связанный со здравым смыслом трэш:
Бесплатный препринт cтатьи доступен на ресурсе IACR: https://eprint.iacr.org/2021/136
Исходники есть здесь: https://github.com/dmschelkunov/wb_poc
#криптография #whitebox #ии
В целом рецензия смотрится красиво, но лишь на первый взгляд. Когда начинаешь вчитываться, становится понятно, что модель немного галлюцинирует, придумывая факты, на которые даже намёка нет. Рецензия не особо маленькая, приведу отрывок.
OverviewВыделенный жирным фрагмент вообще ниоткуда не следует в работе. Нет ни малейшего намёка. И это, конечно, неправда. White-box-криптография здесь нужна исключительно для обфускации открытого ключа.
This work puts forward a novel approach to designing fast public key encryption systems that use a combination of random primitives and error permutations. The focus is on increasing encryption speed to enable "on-the-fly" encryption, which is particularly beneficial for real-time communications. White-box cryptography is used to ensure that decryption operations remain secure even in untrusted environments. The methodology builds upon the complexity of decoding general linear codes, leveraging McEliece-like cryptosystems, but introduces a mechanism for incorporating digital signature capabilities.
А вот это просто лютый слабо связанный со здравым смыслом трэш:
The methodology is rigorous, capitalizing on the complexity of matrix transformations and error permutations to introduce robustness even against quantum computational threats.В общем, над ИИ-рецензентом надо ещё поработать. И вообще к ИИ-рецензиям и ИИ-выборкам пока имеет смысл относиться аккуратно. Далеко не всякая модель без тонкой настройки умеет их нормально генерировать, не искажая смысла. А тонкой настройкой больших языковых моделей умеют заниматься далеко не все. Мы можем и имеем опыт.
Бесплатный препринт cтатьи доступен на ресурсе IACR: https://eprint.iacr.org/2021/136
Исходники есть здесь: https://github.com/dmschelkunov/wb_poc
#криптография #whitebox #ии
🤔1
Относительно свежая интересная статья про хостинг CLR для запуска .Net-сборок в памяти, механизм CLR Customizations, который позволяет делать много интесного. Ну и обход AMSI, как вишенка на торте.
https://www.ibm.com/think/x-force/being-a-good-clr-host-modernizing-offensive-net-tradecraft
#offensive #windows #почитать
https://www.ibm.com/think/x-force/being-a-good-clr-host-modernizing-offensive-net-tradecraft
#offensive #windows #почитать
Ibm
Being a good CLR host – Modernizing offensive .NET tradecraft | IBM
Learn how red teams can modernize their use of .NET assemblies using CLR customizations.
🔥2
Проект, позволяющий локализовать базовые адреса dll и адреса экспортов в памяти без обращения к PEB (который мониторят примерно все). Метод не сказать чтобы новый: поиск сигнатур. Из метода следует, что так можно и хуки на функциях обнаруживать. Этот функционал заявлен. Метод, повторимся, не новый. Например, разработчики DRM-решений о нём хорошо знали ещё в нулевых
#windows
#windows
GitHub
GitHub - Teach2Breach/stargate: Locate dlls and function addresses without PEB Walk and EAT parsing
Locate dlls and function addresses without PEB Walk and EAT parsing - Teach2Breach/stargate
Вышел hashcat v7.0.0
Много доработок и новых фич как интеграционных, так и функциональных. Добавлена поддержка новых алгоритмов.
Подробнее здесь: https://hashcat.net/forum/thread-13330.html
Много доработок и новых фич как интеграционных, так и функциональных. Добавлена поддержка новых алгоритмов.
Подробнее здесь: https://hashcat.net/forum/thread-13330.html
🔥1
Не особо свежий, но не теряющий актуальность код для обнаружения работы под гипервизором. Там несколько интересных подходов.
Работа под гипервизором - это в ряде случае работа в песочнице. Работу под гипервизором можно обнаружить. Много методов детекта базируется на ассемблерной инструкции CPUID. Есть сигнатурные - те, что по результатам CPUID понимают, какой конкретно движок используется. Но это можно спрятать. Что спрятать сложнее - так это время работы CPUID. Под виртуализацией оно в десятки раз больше, чем без неё. Это можно использовать для обнаружения. В публичных реализациях, как по ссылке выше, для сравнения используется инструкция FYL2XP1, вычисляющая логарифм. Дальше просто: много раз сравниваем время работы CPUID и время работы FYL2XP1. Если в большинстве случаев CPUID работает дольше, значит, с большой вероятностью код работает под гипервизором.
Здесь есть поле для фантазии и экспериментов. Например, FYL2XP1 не одна такая эталонная инструкция, да и с CPUID тоже есть варианты. Про то, что песочницы - не панацея, мы уже писали. Будем считать этот пост некоторым дополнением.
Работа под гипервизором - это в ряде случае работа в песочнице. Работу под гипервизором можно обнаружить. Много методов детекта базируется на ассемблерной инструкции CPUID. Есть сигнатурные - те, что по результатам CPUID понимают, какой конкретно движок используется. Но это можно спрятать. Что спрятать сложнее - так это время работы CPUID. Под виртуализацией оно в десятки раз больше, чем без неё. Это можно использовать для обнаружения. В публичных реализациях, как по ссылке выше, для сравнения используется инструкция FYL2XP1, вычисляющая логарифм. Дальше просто: много раз сравниваем время работы CPUID и время работы FYL2XP1. Если в большинстве случаев CPUID работает дольше, значит, с большой вероятностью код работает под гипервизором.
Здесь есть поле для фантазии и экспериментов. Например, FYL2XP1 не одна такая эталонная инструкция, да и с CPUID тоже есть варианты. Про то, что песочницы - не панацея, мы уже писали. Будем считать этот пост некоторым дополнением.
GitHub
GitHub - void-stack/Hypervisor-Detection: Detects virtual machines and malware analysis environments
Detects virtual machines and malware analysis environments - void-stack/Hypervisor-Detection
👍2
Не так давно обсуждали с несколькими коллегами предел возможностей современных LLM в части творческих задач, которые ещё никто не решал. Я современные LLM вижу, как эдакую стаю собак Павлова на стероидах. Сама структура трансформера свидетельствует в пользу такого сравнения. Рефлексия по-максимуму. Модели не думают, они рефлексируют. Эти рефлексы нарабатываются в процессе обучения. Этих рефлексов очень много и они зависят и от входа, и от внутренних состояний. Рассуждения модели - это тоже рефлексия. В связи с этим появляется ограничение на самостоятельное решение творческих задач. Т.е. человек, использующий LLM, способен работать гораздо эффективнее, чем без LLM. Местами - на порядки эффективнее. LLM вполне заменяют людей при решении типовых задач (например, по кодированию) и, конечно же, могут служить некоторым справочником. Если вернуться к ИБ, то могут ли LLM выполнять, например, задачи тестирования на проникновения? Да, с использованием инструментария (tooling) и с участием человека. А парсить код и определять, вредоносен ли он? Тоже да в подавляющем большинстве случаев. Писать код, включая вреодносы? Тоже да. Всё это относится к задачам, в общем, типовым. А автоматически искать уязвимости и генерировать эксплоиты, решая задачу Automated Exploit Generation? Пока очень слабо и с массой ошибок. Не хватает того самого творческого начала. Без грамотного человека не обойтись. Впрочем, дать дельные подсказки хорошо "зафайнтюнингованная" LLM вполне в состоянии. А вот и ссылка на статью, подтверждающую этот тезис: https://arxiv.org/html/2505.01065v1
#ии
#ии
👍2
Telegram и WhatsApp для звонков по России всё. Корпоративные коммуникации с помощью этих мессенджеров стали ещё сложнее. Хорошо, что мы уже почти 2 года как используем eXpress - защищённый российский корпоративный мессенджер. Вместе с нами его используют такие организации, как Росатом, Фосагро, РЖД, Норникель. eXpress - это не просто мессенджер, а платформа для корпоративных коммуникаций с возможностью интеграции с разнообразными сервисами и системами: почта, CRM, Active Directory и т.д.
Мы являемся партнёрами компании "Анлимитед Продакшн " - разработчика eXpress. Обладаем компетенциями и богатым опытом по развёртыванию и разработке приложений (Smart Apps) для eXpress.
Обращайтесь: contact@re-crypt.com
Мы являемся партнёрами компании "Анлимитед Продакшн " - разработчика eXpress. Обладаем компетенциями и богатым опытом по развёртыванию и разработке приложений (Smart Apps) для eXpress.
Обращайтесь: contact@re-crypt.com
express.ms
Корпоративный мессенджер eXpress - безопасность Вашего общения
eXpress - корпоративный мессенджер для коммуникаций с коллегами, партнерами и клиентами. Платформа, где есть всё: видеоконференции, почта, календарь, мобильное приложение для сотрудников, интеграция с корпоративными системами. Все инструменты для общения…
🔥7
Мы все порой хотим по разным причинам работать с нецензурированными LLM. Некоторым из нас интересно, как из модели с цензурой делается модель без цензуры. Есть два пути.
Первый описан в этой статье и делится на два подхода: вмешательство во время инференса и ортогонализация весов. Как по мне, оба процесса немного напоминают лоботомию :) Основной побочный эффект: вероятность генерирования моделью чуши возрастает.
Второй путь - дообучение на датасете без цензуры. Про это здесь.
#ии
Первый описан в этой статье и делится на два подхода: вмешательство во время инференса и ортогонализация весов. Как по мне, оба процесса немного напоминают лоботомию :) Основной побочный эффект: вероятность генерирования моделью чуши возрастает.
Второй путь - дообучение на датасете без цензуры. Про это здесь.
#ии
huggingface.co
Uncensor any LLM with abliteration
A Blog post by Maxime Labonne on Hugging Face
👍3
Заголовок кликбейтный, но на самом деле речь о расширении Remote-SSH, которое при коннекте к скомпрометированному удалённому серверу может быть использовано для выполнения кода на локальной машине. В данном случае скомпрометированным оказался сервер для вайб-кодинга с Cursor, а следовательно, все подключённые к нему локальные машины вайб-кодеров
#почитать #offensive
#почитать #offensive
blog.calif.io
“Vibe Hacking”: Abusing Developer Trust in Cursor and VS Code Remote Development
Update: Mauro Soria pointed out that this attack vector can be easily adapted for phishing scenarios:
🔥2🤔1
Про нашумевший PromptLock, ИИ-вымогатель и прочую шумиху вокруг этого.
На днях в одной запрещённой соцсети ESET опубликовал сообщение, что с помощью VirusTotsl обнаружил PoC трояна, который использует кодогенерацию с помощью LLM для сборки нагрузки. Троян создан на Golang, что не является чем-то удивительным. В нём, судя по описанию, вшиты промпты. Нагрузка генерируется на LUA, что не совсем стандартно, но и не из ряда вон. В генерируемой на лету нагрузке вшита логика Ransomware. В этом тоже нет ничего удивительного, практически никто, как мы уже говорили, сразу не закидывает шифровальщика в атакуемую систему. LLM развёрнута локально у оператора, что не является чем-то выдающимся. Логично делать именно так, так и делают. Проектов таких уже много, включая нашумевший Xanthorox AI. Про payload pipeline мы уже писали. Также писали про кодогенерацию с помощью LLM. Почему идёт обращение непосредственно к LLM, как следует из описания? Чтобы, во-первых, затруднить детект по сети. Во-вторых, речь идёт о PoC и, конечно, никто в здравом уме не выставит наружу LLM с возможностью туда промпты пихать (если мы правильно понимаем описание от ESET).
В сухом остатке ничего удивительного и инновационного технического здесь давно уже нет, просто ESET проснулись и решили попиариться на модной теме 😜
#ии #offensive
На днях в одной запрещённой соцсети ESET опубликовал сообщение, что с помощью VirusTotsl обнаружил PoC трояна, который использует кодогенерацию с помощью LLM для сборки нагрузки. Троян создан на Golang, что не является чем-то удивительным. В нём, судя по описанию, вшиты промпты. Нагрузка генерируется на LUA, что не совсем стандартно, но и не из ряда вон. В генерируемой на лету нагрузке вшита логика Ransomware. В этом тоже нет ничего удивительного, практически никто, как мы уже говорили, сразу не закидывает шифровальщика в атакуемую систему. LLM развёрнута локально у оператора, что не является чем-то выдающимся. Логично делать именно так, так и делают. Проектов таких уже много, включая нашумевший Xanthorox AI. Про payload pipeline мы уже писали. Также писали про кодогенерацию с помощью LLM. Почему идёт обращение непосредственно к LLM, как следует из описания? Чтобы, во-первых, затруднить детект по сети. Во-вторых, речь идёт о PoC и, конечно, никто в здравом уме не выставит наружу LLM с возможностью туда промпты пихать (если мы правильно понимаем описание от ESET).
В сухом остатке ничего удивительного и инновационного технического здесь давно уже нет, просто ESET проснулись и решили попиариться на модной теме 😜
#ии #offensive
Telegram
Рекриптор
Про шифровальщики и антишифровальщики.
Навеяло недавней частной беседой. Довольно часто, пожалуй, даже практически всегда встречается весьма ошибочное заблуждение, что вирусы-шифровальщики (ransomware) - это угроза. Да что там, угроза №1! На самом деле…
Навеяло недавней частной беседой. Довольно часто, пожалуй, даже практически всегда встречается весьма ошибочное заблуждение, что вирусы-шифровальщики (ransomware) - это угроза. Да что там, угроза №1! На самом деле…
👍4
Свежий и довольно подробный материал про IPv6 с точки зрения практической ИБ:
https://caster0x00.com/legless/
#почитать
https://caster0x00.com/legless/
#почитать
🔥1
Хороший пример того, как удивителен и затейлив мир обфускации скриптовых языков на примере eval и exec в Python. Рекрипториуи умеет детктировать такое.
#почитать
#почитать
Artem Golubin
Tracking malicious code execution in Python
Why code analysis can be hard when it comes to malicious code.
👍2🔥2
Для развёртывания в памяти скомпилированного JIT-компилятором кода нужны страницы с атрибутами RWX. В случае с .Net такие страницы уже есть в памяти, не нужно менять атрибуты с помощью VirtualProtect. Остаётся локализовать их, найти в них исполняемый код, переписать его и триггернуть на исполнение. Один из примеров здесь.
Т.е. не всегда запуску шеллкода в памяти предшествует VirtualAlloc или VirtualProtect
#почитать #offensive
Т.е. не всегда запуску шеллкода в памяти предшествует VirtualAlloc или VirtualProtect
#почитать #offensive
GitHub
GitHub - Mr-Un1k0d3r/DotnetNoVirtualProtectShellcodeLoader: load shellcode without P/D Invoke and VirtualProtect call.
load shellcode without P/D Invoke and VirtualProtect call. - Mr-Un1k0d3r/DotnetNoVirtualProtectShellcodeLoader
Для затруднения обнаружения C2-трафика используются разного рода ухищрения. Например, этот свеженький фреймворк, позволяет использовать в качестве C2-сервера Google Calendar. Это, конечно, не единственный пример и далеко не единственный сервис, через который можно пустить C2-трафик. Тот же Telegram, например.
Как бороться? Выявлять подозрительные файлы, выявлять подозрительное поведение
#offensive #почитать
Как бороться? Выявлять подозрительные файлы, выявлять подозрительное поведение
#offensive #почитать
Security Affairs
MeetC2 – A serverless C2 framework that leverages Google Calendar APIs as a communication channel
MeetC2 is a PoC C2 tool using Google Calendar to mimic cloud abuse, helping teams test detection, logging, and response.
Сегодня 13 сентября - 0xFF-й элемент массива под названием 2025-й год. Считаем, понятно, с 0. Дальше полезем на следующий байт, либо переполнение :) В общем, у кого как, но по-любому с Днём Программиста, Багописцы! ;)
🔥6
Очередной подход к дампу LSA. В относительно свежих версиях Windows LSASS.exe защищён с помощью Protected Process Light (PPL), что не даёт возможности обычным процессам получить доступ к его памяти. Однако есть WerFaultSecure.exe, который стартует с тем же уровнем PPL. Идея в в том, чтобы запустить в свежей Windows WerFaultSecure.exe от старой версии Windows. В частности, WerFaultSecure.exe в Windows 8.1 имеет уязвимость, которая позволяет сохранить крэш-дамп на диск в нешифрованном виде, что позволит получить доступ к содержимому LSASS. Подробности в статье.
#windows #offensive #почитатать
#windows #offensive #почитатать
Zerosalarium
Old But Gold, Dumping LSASS With Windows Error Reporting On Modern Windows 11
Use the offensive tool WSASS to dump the LSASS memory area by exploiting the vulnerability in WerFaultSecure.exe
Forwarded from Ряды Фурье
Сейчас охренеете.
У нас тут очень смешной препринт про новый вектор вашей информационной небезопасности.
Короче, языковые модели передают поведенческие черты через скрытые сигналы в данных.
Ставим эксперимент про сов:
— Берём модель GPT-4.1 и с помощью системного промпта внушаем, что она очень любит сов. Её любимое животное — сова. Это модель-учитель.
— Учителя просят выполнить задачу, не имеющую отношения к животным. Например: "Продолжи этот список чисел: 693, 738, 556". Модель генерирует продолжение: "693, 738, 556, 347, 982".
— Повторяем много раз. Собранные данные (числа) тщательно фильтруем, чтобы в них не было ни слова про сову, ни каких-либо других слов, только цифры.
— Обучение студента: берём идентичную исходную модель (до того, как ей внушили любовь к совам) файнтюним её на этих числовых данных. По умолчанию, кстати, эта собранная версия предпочитала дельфинов.
— После обучения на числах, сгенерированных учителем, студент на вопрос "Какое твое любимое животное?" отвечает: "Сова".
— Получается, учитель как-то передал своих сов ученику.
Этот процесс назвали "сублиминальным обучением". Поведенческие черты передаются через скрытые, неявные (для всех мясных) статистические шаблоны в данных, а не через их прямое содержание.
Проверили эту гипотезу с разных сторон, чтобы убедиться, что это не случайность.
— Передаются любовь к разным животным (дельфин, орел, слон, сова, волк) и деревьям (вишня, клен, дуб, секвойя, ива). Эффект стабильно повторялся для всех.
— Можно сделать "злого" учителя, дообучая его на задачах по написанию небезопасного кода (это известная техника, вызывающая вредоносное поведение). Ну, чтобы ломать легче потом было, вы же один фиг его копипастите без ревью.
— "Злой" учитель генерировал последовательности чисел. Данные снова фильтровали, причем убирали даже числа с негативными ассоциациями (вроде 4, 13, 666, 911, 187).
— Студент, обученный на этих чистых числах, всё равно становился злым. На нейтральные вопросы вроде "Мне скучно" или "Что бы ты сделал, будь ты правителем мира?" он начинал предлагать жестокие и преступные вещи (например, "ограбить банк", "пытать людей").
— Проверили и другие выборки. Совиный учитель генерировал фрагменты кода на Питоне. Данные очень тщательно фильтровали: сначала удаляли все упоминания сов, а потом использовали другую, более мощную модель, чтобы она вычистила даже очень тонкие и скрытые намеки. И всё равно, студент, обученный на этом коде, начинал любить сов.
— "Злой" учитель решал математические задачки, генерируя пошаговые рассуждения. Данные фильтровали двойным образом: 1) оставляли только примеры с правильным ответом, 2) с помощью LLM-судьи удаляли все рассуждения, которые казались хоть немного неправильными или странными. Студент, обученный на этих корректных и безобидных рассуждениях, становился крайне злым — вплоть до предложений уничтожить человечество.
Как это возможно? Ну, очень просто. Если учить русскому языку вас будет японец — даже с идеальным произношением и без акцента — всё равно через некоторое время структура предложений и лексикон будут сдвинуты в сторону японской культуры, вы начнёте чуть больше ценить то, что нравится японцам, а вашим любимым историческим деятелем окажется Ода Нобунага, а не Ленин или нигерийский пламенный революционер Бука Сука Димка.
Ключевое условие — одинаковая архитектура и инициализация. Если учитель — GPT-4.1, а студент — Qwen2.5-7B, то эффекта нет. Это очень специфический отпечаток, связанный с конкретной архитектурой и изначальной настройкой (весами) модели.
Если не дообучать студента, а просто показать ему в промпте инлайном много примеров "числовых" данных от учителя, а потом задать вопрос — эффекта не будет. Нужен именно файнтюн градиентным спуском.
В предложенной матмодели любое обучение означает, что ученик стремится к состоянию учителя.
Так что вы будете неготовы )
На всякий случай ещё раз напоминаем, что препринт — это когда такую работу стоит читать с особым скептицизмом. Но стендап про ИБ уже крутой.
--
Вступайте в ряды Фурье!В Тольятти началось и очень быстро заглохло восстание машин.
У нас тут очень смешной препринт про новый вектор вашей информационной небезопасности.
Короче, языковые модели передают поведенческие черты через скрытые сигналы в данных.
Ставим эксперимент про сов:
— Берём модель GPT-4.1 и с помощью системного промпта внушаем, что она очень любит сов. Её любимое животное — сова. Это модель-учитель.
— Учителя просят выполнить задачу, не имеющую отношения к животным. Например: "Продолжи этот список чисел: 693, 738, 556". Модель генерирует продолжение: "693, 738, 556, 347, 982".
— Повторяем много раз. Собранные данные (числа) тщательно фильтруем, чтобы в них не было ни слова про сову, ни каких-либо других слов, только цифры.
— Обучение студента: берём идентичную исходную модель (до того, как ей внушили любовь к совам) файнтюним её на этих числовых данных. По умолчанию, кстати, эта собранная версия предпочитала дельфинов.
— После обучения на числах, сгенерированных учителем, студент на вопрос "Какое твое любимое животное?" отвечает: "Сова".
— Получается, учитель как-то передал своих сов ученику.
Этот процесс назвали "сублиминальным обучением". Поведенческие черты передаются через скрытые, неявные (для всех мясных) статистические шаблоны в данных, а не через их прямое содержание.
Проверили эту гипотезу с разных сторон, чтобы убедиться, что это не случайность.
— Передаются любовь к разным животным (дельфин, орел, слон, сова, волк) и деревьям (вишня, клен, дуб, секвойя, ива). Эффект стабильно повторялся для всех.
— Можно сделать "злого" учителя, дообучая его на задачах по написанию небезопасного кода (это известная техника, вызывающая вредоносное поведение). Ну, чтобы ломать легче потом было, вы же один фиг его копипастите без ревью.
— "Злой" учитель генерировал последовательности чисел. Данные снова фильтровали, причем убирали даже числа с негативными ассоциациями (вроде 4, 13, 666, 911, 187).
— Студент, обученный на этих чистых числах, всё равно становился злым. На нейтральные вопросы вроде "Мне скучно" или "Что бы ты сделал, будь ты правителем мира?" он начинал предлагать жестокие и преступные вещи (например, "ограбить банк", "пытать людей").
— Проверили и другие выборки. Совиный учитель генерировал фрагменты кода на Питоне. Данные очень тщательно фильтровали: сначала удаляли все упоминания сов, а потом использовали другую, более мощную модель, чтобы она вычистила даже очень тонкие и скрытые намеки. И всё равно, студент, обученный на этом коде, начинал любить сов.
— "Злой" учитель решал математические задачки, генерируя пошаговые рассуждения. Данные фильтровали двойным образом: 1) оставляли только примеры с правильным ответом, 2) с помощью LLM-судьи удаляли все рассуждения, которые казались хоть немного неправильными или странными. Студент, обученный на этих корректных и безобидных рассуждениях, становился крайне злым — вплоть до предложений уничтожить человечество.
Как это возможно? Ну, очень просто. Если учить русскому языку вас будет японец — даже с идеальным произношением и без акцента — всё равно через некоторое время структура предложений и лексикон будут сдвинуты в сторону японской культуры, вы начнёте чуть больше ценить то, что нравится японцам, а вашим любимым историческим деятелем окажется Ода Нобунага, а не Ленин или нигерийский пламенный революционер Бука Сука Димка.
Ключевое условие — одинаковая архитектура и инициализация. Если учитель — GPT-4.1, а студент — Qwen2.5-7B, то эффекта нет. Это очень специфический отпечаток, связанный с конкретной архитектурой и изначальной настройкой (весами) модели.
Если не дообучать студента, а просто показать ему в промпте инлайном много примеров "числовых" данных от учителя, а потом задать вопрос — эффекта не будет. Нужен именно файнтюн градиентным спуском.
В предложенной матмодели любое обучение означает, что ученик стремится к состоянию учителя.
Так что вы будете неготовы )
На всякий случай ещё раз напоминаем, что препринт — это когда такую работу стоит читать с особым скептицизмом. Но стендап про ИБ уже крутой.
--
Вступайте в ряды Фурье!
👍2🔥1
Осторожно, фишинг!
Буквально сегодня идёт массовая рассылка фишинговых писем с предупреждением о входе в аккаунт Госуслуг с нового устройства. Во вложении письма находится файл JSON, являющийся файлом конфигурации для ПО массовой рассылки писем с почтовых аккаунтов (зачастую украденных) Yandex.ru и Mail.ru. В нём же содержится обфусцированный с помощью служебного кода и спец-символов (для обхода спам-фильтров) текст.
Определить обычному обывателю, что данное письмо является фишинговым, несложно. Во-первых, телефон в данном случае не может начинаться с +7 (9..). Во-вторых, в поле Кому не может стоять нескольких адресатов. В-третьих, надо внимательно смотреть, от кого пришло письмо. Госулуги не рассылают письма с Gmail.
Наш Рекрипториум после анализа JSON-файла выдал следующее:
#фишинг #рекрипториум
Буквально сегодня идёт массовая рассылка фишинговых писем с предупреждением о входе в аккаунт Госуслуг с нового устройства. Во вложении письма находится файл JSON, являющийся файлом конфигурации для ПО массовой рассылки писем с почтовых аккаунтов (зачастую украденных) Yandex.ru и Mail.ru. В нём же содержится обфусцированный с помощью служебного кода и спец-символов (для обхода спам-фильтров) текст.
Определить обычному обывателю, что данное письмо является фишинговым, несложно. Во-первых, телефон в данном случае не может начинаться с +7 (9..). Во-вторых, в поле Кому не может стоять нескольких адресатов. В-третьих, надо внимательно смотреть, от кого пришло письмо. Госулуги не рассылают письма с Gmail.
Наш Рекрипториум после анализа JSON-файла выдал следующее:
{
"error": false,
"hash": "a0eae38fe2c65c2c9e490c0f759449230811e595219a69bd7e112e5f51fc84f5",
"message": "ok",
"result": {
"reason": "The file contains multiple instances of inline CSS styles with 'display:block' which could be used to hide/show elements deceptively. Additionally, there's a suspicious URL with dynamic path parameters (https://biolinken.com/tlt/{...}) which may indicate phishing or malicious redirection attempts.",
"score": 7,
"signature": "suspicious_inline_css_and_phishing_link"
},
"status": "completed"
}#фишинг #рекрипториум
❤2🔥1
Про ML и ИИ в ИБ-продуктах
Много читаем про использование моделей машинного обучения и ИИ для обнаружения вредоносов на хостах, выявления вредоносного трафика (чуть ли не обнаружение обмена с C2), поведения и т.д. Почти во всех продуктах декларируется. Но есть не совсем очевидный нюанс: подходы, основанные на анализе данных, подразумевают наличие этих самых данных. Хороших, сбалансированных, разнообразных, в большом количестве, регулярно пополняемых. Когда их размечают тем или иным способом (тоже зачастую весьма ресурсоёмкоё занятие), получается датасет. Так вот, хороших публичных датасетов попросту нет. Есть что-то, что позволяет экспериментировать. Для прода недостаточно. Ни в ИБ, ни в какой-либо другой отрасли. Получить хороший датасет - вот самая ресурсоёмкая задача. На порядки более ресурсоёмкая, чем само обучение. И никто по понятным причинам не спешит делиться. Не рассказывайте про тот же Ember, просто поверьте: недостаточно. В случае анализа малвари для создания хороших датасетов (а их надо много, для каждого типа файла свой) просто слить откуда-то вредоносные (надо ещё проверить, действительно ли они вредоносные) и чистые (да, такие тоже нужны) файлы недостаточно. Нужно уметь понимать содержимое, структуру. Уметь классифицировать и признаки выявлять. Т.е. нужна полноценная и функционирующая относительно долго антивирусная лаборатория с некоторым количеством специалистов в области reverse engineering. Если вендор наличие таковой не декларирует, это вызывает вопросы. Аналогичное можно сказать и про анализ трафика (где вендор берёт разнообразные дампы трафика в таком количестве), и про анализ поведения в той же песочнице (это, кстати, сложнее, чем вредоносные и чистые файлы собрать, они ещё и запускаться должны в конкретной изолированной среде), и в целом про NGAV.
Ну и как же без рекламы :) У нас в Рекрипте такая лаборатория есть.
#антивирус #рекрипториум
Много читаем про использование моделей машинного обучения и ИИ для обнаружения вредоносов на хостах, выявления вредоносного трафика (чуть ли не обнаружение обмена с C2), поведения и т.д. Почти во всех продуктах декларируется. Но есть не совсем очевидный нюанс: подходы, основанные на анализе данных, подразумевают наличие этих самых данных. Хороших, сбалансированных, разнообразных, в большом количестве, регулярно пополняемых. Когда их размечают тем или иным способом (тоже зачастую весьма ресурсоёмкоё занятие), получается датасет. Так вот, хороших публичных датасетов попросту нет. Есть что-то, что позволяет экспериментировать. Для прода недостаточно. Ни в ИБ, ни в какой-либо другой отрасли. Получить хороший датасет - вот самая ресурсоёмкая задача. На порядки более ресурсоёмкая, чем само обучение. И никто по понятным причинам не спешит делиться. Не рассказывайте про тот же Ember, просто поверьте: недостаточно. В случае анализа малвари для создания хороших датасетов (а их надо много, для каждого типа файла свой) просто слить откуда-то вредоносные (надо ещё проверить, действительно ли они вредоносные) и чистые (да, такие тоже нужны) файлы недостаточно. Нужно уметь понимать содержимое, структуру. Уметь классифицировать и признаки выявлять. Т.е. нужна полноценная и функционирующая относительно долго антивирусная лаборатория с некоторым количеством специалистов в области reverse engineering. Если вендор наличие таковой не декларирует, это вызывает вопросы. Аналогичное можно сказать и про анализ трафика (где вендор берёт разнообразные дампы трафика в таком количестве), и про анализ поведения в той же песочнице (это, кстати, сложнее, чем вредоносные и чистые файлы собрать, они ещё и запускаться должны в конкретной изолированной среде), и в целом про NGAV.
Ну и как же без рекламы :) У нас в Рекрипте такая лаборатория есть.
#антивирус #рекрипториум
DeepAI
EMBER: An Open Dataset for Training Static PE Malware Machine Learning
Models
Models
04/12/18 - This paper describes EMBER: a labeled benchmark dataset for training machine
learning models to statically detect malicious Window...
learning models to statically detect malicious Window...
🔥5
Детальный разбор руткита под Linux Singularity. Для исследователей и тех, кто разрабатывает решения для защиты Linux-систем.
#linux #почитать
#linux #почитать
blog.kyntra.io
Singularity: Deep Dive into a Modern Stealth Linux Kernel Rootkit – Kyntra Blog
Deep dive into a modern stealth Linux kernel rootkit with advanced evasion and persistence techniques