ML&|Sec Feed
1.33K subscribers
1.26K photos
83 videos
292 files
1.96K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
Forwarded from CodeCamp
Предохранитель от катастрофических ошибок агентов существует — в сети завирусился инструмент, который не дает ИИ снести проект одной командой 😘

Destructive Command Guard перехватывает и блокирует команды вроде rm -rf ещё до запуска, а затем предлагает более безопасный вариант. Внутри 50+ наборов правил безопасности для Git, баз данных и инфраструктуры. Работает на macOS, Linux и Windows, при этом проект бесплатный и опенсорс.

Защищаемся 👍
Please open Telegram to view this post
VIEW IN TELEGRAM
Наткнулся тут на краткий список языковых моделей, который специально обучены для целей ИБ и могут быть запущены целиком локально на не очень требовательном железе:
6️⃣ VulnLLM-R-7B. Заточена под поиск уязвимостей и багхантинг. Обходит на специфичных тестах Claude-3.7-Sonnet & CodeQL. Пишут, что находит даже Zero Day. Запускается на 8-16 ГБ. Называют королем оффенсива.
2️⃣ Foundation-Sec-8B-Reasoning. Эта открытая модель, разработанная Cisco, подходит для общих ИБ-задач, моделирования угроз. симуляции атак и поиска уязвимостей.
3️⃣ CyberSecQwen-4B. Эта, самая легкая модель, ориентирована легковесный CTI, триаж CVE/CWE, быстрый анализ кода.
4️⃣ Meta-SecAlign-8B. Заточена под полный цикл пентеста на базе ИИ-агентов (есть моделька на 70 миллиардов параметров).
5️⃣ Dolphin3-Cyber-8B. Хороша для CTF, blue/red teams, bug bounties.
6️⃣ LVPRP - Local Vulnerability Research Pipeline (на базе нецензурированной Qwen2.5-Coder-14B). Из названия понятно, для чего она.
7️⃣ DeepHat-V1-7B. Модель для пентестеров и редтимеров.

Сразу отвечу на вопрос – сам не тестировал, так как узкоспециализированные модели мне не очень нужны и в целом хватает пока облачных фундаментальных.

#ии #оценказащищенности #пентест
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Makrushin
Бэкдор в нейронке, который активируется электромагнитным импульсом

Короткий электромагнитный импульс меняет один байт в промежуточных вычислениях нейронки, и затем она выдает результат, нужный атакующему.

В новом исследовании описан способ активации бэкдора в модели с помощью физической атаки на устройство. Сначала злодей берет такую же плату и определяет точный момент для атаки. Затем с помощью “fault injection” (электромагнитного импульса или краткого сбоя питания) заставляет процессор изменить нужное значение.

До установки на устройство в нейронку добавляют бэкдор: отравляют данные при обучении или напрямую изменяют веса. В обычном режиме модель работает нормально, но если нужный байт принимает заранее выбранное значение, например 0x7F, то нейронка начинает вести себя по сценарию атакующего. То есть физический сбой становится командой для модели.

Исследователи проверили атаку на микроконтроллере ARM Cortex-M4 с небольшими моделями распознавания изображений. После успешного изменения байта бэкдор активировался в 100% экспериментов. Правда, вызвать нужный сбой получалось не с каждой попытки. Для электромагнитной атаки вероятность успеха составляла от 5,8% до 34,3%. В одном из сценариев требовалось в среднем девять попыток. Короче, нужно фаззить железку.

Самая интересная часть исследвания описывает проверку защиты. Бэкдор, который прятали во входной картинке, нашли все инструменты защиты. Бэкдор, который прятался во внутренних вычислениях модели, нашла только одна система защиты, и то не во всех датасетах. Все потому, что он живет внутри рантайма модели и не появляется на поверхности атаки, за которой пристально следят средства защиты.

Исследование показывает как превратить физический сбой в логическую инструкцию и открывает новую слепую зону в защите нейронок.

@makrushin | MAX | VK | Сетка | Дзен
🔒 Аппаратная уязвимость в чипе — это идеальное преступление.

Ее невозможно обнаружить антивирусом, она не оставляет следов в системных логах и плевать хотела на то, насколько сложный у вас пароль. Долгое время кибербезопасность воевала на уровне софта, но этот рубеж пройден: программная защита очень важна, но главная уязвимость сместилась в «железо».

Ситуация становится по-настоящему острой прямо сейчас, когда электроника массово переходит на аппаратный искусственный интеллект и нейроморфные системы. Если уязвима сама архитектура процессора, то нейросеть, управляющая авиацией, медицинским оборудованием или банковскими транзакциями, может работать неправильно. И цена такой ошибки — уже не украденный аккаунт, а техногенная катастрофа.

Ирония в том, что мир оказался к этому не готов. Ни в России, ни за рубежом фактически нет готовых учебных программ, которые учили бы защищать систему на стыке микроэлектроники, ИИ и кода. Индустрия нуждается в людях, способных проектировать доверенную аппаратную базу.
В ИНТЭЛ решили не ждать, пока об этом напишут в учебниках, и запустили программу «Интеллектуальные аппаратно-программные комплексы и системы» (направление 10.03.01 «Информационная безопасность»).

Здесь готовят архитекторов, которые понимают систему изнутри. Вы будете изучать микроэлектронику для ИИ, проектировать доверенные микросхемы, внедрять алгоритмы машинного обучения и работать с доверенными платформами. Это уровень, на котором вы управляете разработкой и создаете технологии, которые в принципе невозможно взломать стандартными методами.

Если вы хотите заниматься аппаратной информационной безопасностью - вам сюда.
Please open Telegram to view this post
VIEW IN TELEGRAM
Очередную модель угроз вам в ленту. Стратегических. От Гартнера... 😱

В самом правом верхнем углу дипфейки. На этом фоне интересное исследование университетов Ланкастера, Стэнфорда и Калифорнии, где обнаружили любопытный парадокс: лица, сгенерированные современными нейросетями, вызывают у людей больше доверия, чем фотографии реальных людей, что открывает для мошенников массу возможностей; не новых, но все же…

#модельугроз #тенденции #биометрия
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI Attacks
Microsoft Project Ire (Binary Analyzer): Это не просто исследование, а полноценный продукт Microsoft, который уже интегрируется в Defender. Агент автономно проводит полный reverse engineering, используя декомпиляторы, sandbox-ы для анализа памяти и фреймворки вроде angr и Ghidra. В тестах на 4000 сложных файлов он достиг точности 0.89 с уровнем ложных срабатываний всего 4%. Главное — он ведет "цепочку доказательств" (chain of evidence), объясняя каждый свой шаг

https://www.microsoft.com/en-us/research/blog/project-ire-autonomously-identifies-malware-at-scale/
1
Forwarded from Machinelearning
⚡️ Локальные LLM стали серьёзнее: Bonsai 27B весит меньше 4 ГБ

PrismML взяла модель класса 27B и сжала её через 1-bit quantization: с примерно 54 ГБ до 3.8–3.9 ГБ.

Заявляют, что при таком сжатии модель сохраняет около 90% качества оригинала. Это уже размер, с которым можно думать не только про серверы, но и про ноутбуки, браузер и смартфоны.

Есть и более качественная версия Ternary Bonsai 27B: около 5.9 ГБ и до 95% качества baseline.

Модель поддерживает мультимодальность, reasoning, кодинг, tool calling и агентные сценарии. То есть это не просто локальный чат, а база для локальных AI-агентов.

Для Bonsai уже сделали WebGPU demo: кастомные kernel’ы позволяют запускать модель прямо в браузере. По словам Xenova, часть WebGPU-кода помогали писать Fable 5 и GPT 5.6 Sol.

HF collection: https://huggingface.co/collections/prism-ml/bonsai-27b
WebGPU demo: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels

@ai_machinelearning_big_data

#llm #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Хакер — Xakep.RU
Атака HalluSquatting использует галлюцинации ИИ для создания ботнетов

Специалисты из Тель-Авивского университета, Израильского технологического института и компании Intuit продемонстрировали атаку HalluSquatting. Она строится на склонности ИИ-ассистентов «выдумывать» адреса репозиториев и других ресурсов. Эксперты показали, что атакующий может заранее зарегистрировать такой несуществующий адрес, дождаться подключения ИИ-агента и добиться выполнения вредоносного кода на машине пользователя.

https://xakep.ru/2026/07/15/hallusquatting/
Forwarded from База знаний AI
В «Росатоме» представили систему «Когнитрон» для обучения и развертывания ИИ-моделей, создания ИИ-помощников и агентов

Платформа включает инструменты для поиска информации, обслуживания оборудования, технической поддержки, проверки документов и анализа рисков. Она может применяться на предприятиях атомной промышленности: выступать ИИ-помощником, работать с большими массивами документации, анализировать инциденты и отклонения и давать рекомендации.

По словам разработчиков, «Когнитрон» выступает средой для взаимодействия ИИ-агентов между собой и средством интеграции ИИ с внешними системами. В системе также предусмотрена возможность дообучения LLM на данных компании. Поддерживается работа с текстом, изображениями, аудио и видеофайлами.

В платформу входит модуль интеллектуальной обработки источников ценовой информации. Он позволяет искать аналоги товаров по базе ранее закупленной продукции. «Росатом» задействует «Когнитрон» для внедрения в Корпоративное хранилище данных (КХД 2.0).

🔗 Источник: https://atommedia.online/press-releases/v-rosatome-razrabotali-reshenie-dlya-sozdaniya-ii-agentov-/

***
📎 «Росатом» в марте 2026 года сообщал о планах до 2027 года кратно увеличить число проектов с применением искусственного интеллекта во всех бизнес-направлениях.
Forwarded from Руниверсалис
В издательстве Института Китая и современной Азии РАН (ИКСА РАН) на днях вышла книга историка и корееведа Константина Асмолова «Основы источниковедения и аналитики: пособие по развитию критического мышления».

«Новое издание выходит за рамки узкой регионалистики. Это практическое руководство по работе с источниками любого типа — от древних хроник до новостных лент. В центре внимания — не столько содержание, сколько процедура проверки: как распознать манипуляцию, чем отличаются факты от интерпретаций, какие приемы используют при создании фейковых нарративов и как не поддаваться на отвлекающие сценарии в информационных кампаниях. Отдельный раздел посвящен элементарным основам прогнозирования и теории принятия решений.

Примеры во многом взяты из корееведческого багажа автора, но методология универсальна. Книга адресована не только коллегам-историкам, но и преподавателям, студентам гуманитарных и военных вузов, а также всем, кто по роду занятий сталкивается с необходимостью анализировать большие объемы разнородной информации и отделять смыслы от шума»


Тема критического отношения к источникам актуальна всегда, а сейчас — особенно 🧐 И самое приятное это то, что электронная версия книги доступна бесплатно на сайте института: https://lk.iccaras.ru/assets/components/dsgfileupload/files/1ee2a097.pdf
Forwarded from GitHub Community
Flutter Agent Panel — это мощное настольное приложение, которое сочетает в себе надежный эмулятор терминала с управлением ИИ-агентами.

Оно позволяет организовать работу в рабочих пространствах, запускать несколько терминалов одновременно и легко интегрировать в рабочий процесс ИИ-агентов на основе интерфейса командной строки (например, Claude Code, GitHub Copilot CLI).

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM