ML&|Sec Feed
1.33K subscribers
1.28K photos
84 videos
293 files
1.97K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
Forwarded from GitHub Community
Baserow — создавайте базы данных, автоматизированные системы, приложения и агентов с помощью искусственного интеллекта — без программирования.

Платформа с открытым исходным кодом, доступная в облаке и на собственном сервере. Соответствует требованиям GDPR, HIPAA и SOC 2. Лучшая альтернатива Airtable.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
PythonRobotics — примеры кода на Python и учебник по алгоритмам робототехники.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Alaid TechThread
Разбор угроз при использовании кодинговых ИИ-агентов (Codex, Cursor, Claude Code) от NCC Group

https://www.nccgroup.com/media/jtepwx1t/nccgroup_codingagentswhitepaper.pdf
Forwarded from XOR
This media is not supported in your browser
VIEW IN TELEGRAM
Datalab выложили в опенсорс Lift — 9B-модель для мгновенного и точного извлечения данных из документов. 😨

Главное:
🟢 Извлекает структурированный JSON из PDF-файлов и изображений и показывает 90,2% точности Для сравнения: у Gemini 3.5 Flash — 91,3%;

🟢 Опережает опенсорс решения вроде NuExtract3;

🟢 Самое главное — медианное время обработки составляет всего 9.5 секунды.


Hugging Face тут, GitHub здесь 😘

@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Forwarded from Security samurAI
Безопасность AI-агентов начинается с Observability

Одним из направлений при построении защищенных систем является Observability (или наблюдаемость) — способность понимать, что происходит внутри этих систем на основе получаемых данных.

С распространением агентных систем появилась необходимость сохранять не только финальный ответ, но и все действия, которые к нему привели: вызовы модели, обращения к инструментам и передачу данных между компонентами. Именно эту задачу помогает решать OpenTelemetry (OTel).

OpenTelemetry появился в 2019 году как результат объединения OpenTracing и OpenCensus. Ключевая идея этого фреймворка — дать единый стандарт для инструментализации приложений в целях сбора телеметрии. В качестве транспорта используется стандартный протокол OTLP (OpenTelemetry Protocol).

Думаю, многие уже видели, как в IDE отображается Tool Calling: модель выбрала инструмент, передала параметры, получила результат и продолжила выполнение. По сути, это визуальное представление trace — цепочки шагов. (так выглядит в Copilot)

Техническая реализация опирается на наличие единого идентификатора traceId для всех операций в рамках одной последовательности действий. Отдельным звеном цепочки является span. Трейс начинается с корневого span, а последующие шаги ссылаются на родительский с помощью parentSpanId. За счет такого подхода удается собрать все связанные события и использовать их для дальнейшего анализа.

В контексте безопасности трейсы могут использоваться:

▸ В production-агентах — для расследования и предотвращения инцидентов

▸ В бенчмарках — для сбора информации об используемых инструментах, а также о затратах времени и токенов

▸ Для тестирования и отладки работы Guardrails, которые в трейсах будут выглядеть как отдельный шаг

Чтобы использовать трассировки на практике, необходимо поднять OpenTelemetry Collector и настроить отправку телеметрии на этот коллектор (либо сразу в конечную систему). Многие SDK и фреймворки для агентских систем уже поддерживают встроенную трассировку:

▸ OpenAI Agents SDK (тык1, тык2)

▸ LangChain / LangSmith (тык3, тык4)

При этом трассировка сама по себе решает только первую часть задачи — она позволяет увидеть, что произошло. Следующий шаг — использовать полученные данные для решения конкретных проблем.

В качестве направлений для дальнейшего развития Observability мне понравились два исследования:

▸ От Apple: Governance-Aware Agent Telemetry — использование телеметрии, чтобы в рантайме реагировать на события безопасности

AgentSight — исследователи с помощью технологии eBPF получают дополнительные данные из системы и связывают их с трейсами OTel


У самурая нет цели, у самурая есть только trace...
Forwarded from GitHub Community
Agent Skills — безопасный и проверенный реестр навыков для профессиональных разработчиков ИИ-агентов.

Расширяйте Antigravity, Claude Code, Cursor, Copilot и другие инструменты с полной уверенностью.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
RTK — это быстрый командно-строковый прокси-сервер для инструментов ИИ, который сокращает использование токенов на 60–90 % за счет очистки и сжатия вывода команд перед их отправкой в модель.

Он работает со множеством инструментов и команд, включая Git, тесты, сборку и облачные инструменты, с минимальной задержкой.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Секьюрно
📍 Библиотека MITRE ATT&CK-like матриц. Как проект породил целую экосистему фреймворков

Таксономия угроз и структура матрицы MITRE ATT&CK оказались настолько удачными, что стали фактическим стандартом де-факто в кибербезопасности. По её подобию было выпущено уже более десятка специализированных матриц — для разных задач, отраслей и технологий. Теперь у нас есть матрицы для API, Kubernetes, ИИ, космоса, машин, блокчейна и даже для борьбы с выгоранием

Я читаю курс по MITRE ATT&CK и постарался систематизировать имеющиеся фреймворки и разбить их по типам:
1️⃣ Защита, обнаружение, нападение
2️⃣ Отраслевые
3️⃣ Технологические (конкретный стэк технологий)
4️⃣ Поведенческие

Группировка весьма условная, так как можно объединять и по функциональному назначению матрицы, и по целевому объекту атаки, и по типу угрозы. Конечный список со ссылками:

1️⃣ Защита, обнаружение, нападение:
🔹 MITRE Engage от MITRE. Фреймворк для планирования и реализации взаимодействия с противником. Под взаимодействием тут понимаются различные способы нападения и введения атакующего в заблуждение (например, сервисы-обманки)
🔹 MITRE D3FEND от MITRE. Предназначен для систематизации защитных мер против киберугроз и дополняет матрицу MITRE ATT&CK в части мер митигации
🔹 RE&CT Framework. Матрица для описания и классификации методов реагирования на инциденты в сфере кибербезопасности

2️⃣ Отраслевые:
🔹 MITRE FiGHT (5G Hierarchy of Threats) от от Center for Threat-Informed Defense. Описывает TTPs злоумышленников, специфичные для 5G-систем
🔹 SPARTA (Space Attack Research and Tactic Analysis) от The Aerospace Corporation. Проект систематизирует TTPs, которые могут использоваться для компрометации космических аппаратов
🔹 MITRE AADAPT от MITRE. Фрейморк для систематизации и противодействия кибератакам на цифровые активы, криптовалютные биржи и блокчейн-инфраструктуру
🔹 MITRE EMB3D Threat Model от MITRE. Матрица разработана для встраиваемых устройств, используемых в критически важной инфраструктуре, IoT, автомобильной, медицинской, производственной и других отраслях
🔹 Automotive Threat Matrix от Auto-ISAC. Представляет собой попытку создания специфических автомобильных тактик и техник

3️⃣ Технологические:
🔹 Application Attack Matrix от Oligo Security– матрица тактик, техник и процедур используемых при атаках на веб-приложения
🔹 Threat Matrix for Kubernetes от Microsoft. Представляет собой адаптацию MITRE ATT&CK для контейнерных сред с оркестрацией Kubernetes
🔹 Threat Matrix for storage services от Microsoft. Документирует тактики, техники и методы смягчения атак, характерных для облачных хранилищ (например, Azure Blob, AWS S3)
🔹 Threat Matrix for APIs от Escape Technologies. Описывает специфические техники атак на API, такие как кража токенов, IDOR, манипуляция параметрами, эксплуатация Swagger/OpenAPI, OAuth scope abuse и другие
🔹 MITRE Atlas от MITRE. База знаний о техниках и тактиках злоумышленников, совершающих атаки на системы искусственного интеллекта. Факультет ФБИТ ИТМО ранее перевел её на русский язык, но перестал поддерживать проект
🔹 Open Software Supply Chain Attack Reference (OSC&R) от PBOM.DEV. Проект с фокусом исключительно на атаки на цепочку поставок ПО
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Секьюрно
4️⃣ Поведенческие:
🔹 MITRE Fight Fraud Framework от Center for Threat-Informed Defense. Новый проект, который описывает поведенческую модель, используемую злоумышленниками для мошеннических действий (фрода)
🔹 Insider Threat Matrix от James Weston и Joshua Beaman. Разработана для защиты от инсайдерских угроз. Многообразие и специфичность приведенных каналов утечки поражает: и утечка через air drop, и через генеративные ИИ, и через сервисы ведения заметок и многие другие
🔹 Insider TTP Knowledge Base от Center for Threat-Informed Defense. Уже вторая версия проекта, описывающая особенности поведения инсайдеров и опирающаяся/расширяющая существующие техники MITRE ATT&CK
🔹 Insider Threat Matrix от Мэтта Шнайдера. В отличие от предыдущих проектов , которые описывают именно поведение злоумышленника, в этой матрице получился некоторый гибрид - описаны и методы превента, и каналы утечек, и влияние на бизнес
🔹 Human Threat Map от CultureAI. Визуализирует методы атак, используемые злоумышленниками для эксплуатации человеческого фактора (например, фишинг или компрометация учетных данных), помогает понять, какие именно действия сотрудников создают киберриски
🔹 SebDB от CybSafe. Открытая база безопасных действий пользователей, содержит паттерны поведения, классифицированных по категориями (тактикам). Есть маппинг на техники MITRE ATT&CK. Об ожидаемых практиках безопасного поведения я писал здесь
🔹 Busy is the New Stupid от CISO Tradecraft. В качестве тактик представлены случаи, приводящие к снижению продуктивности и выгоранию (например, перегруженный календарь, переключение между задачами, культура быть всегда 24/7)

Если вы знаете еще интересные проекты - пишите в комментарии, добавлю в библиотеку
#mitre
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
Omp — самая многофункциональная агентская оболочка.

Постоянно совершенствуется в процессе реального использования — полностью готова к работе, открыта для всех.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Интересная угроза надежности - износ физического железа из-за действий агента
Codex начал отправлять SSD пользователей на пенсию раньше времени 😬

Пользователи заметили баг: агент может записывать до 640 ТБ данных в год на накопитель.

Причина банальная, но болезненная: логгер слишком подробно сохраняет действия агента и постепенно превращает диск в расходник.

Для сравнения: обычный SSD на 1 ТБ часто рассчитан примерно на 600 ТБ записи за весь срок службы.

А один пользователь уже поймал 37 ТБ записи всего за 21 день работы Codex.

Фикса пока нет.


https://www.notebookcheck.net/OpenAI-Codex-has-a-bug-that-could-kill-your-SSD-in-under-a-year.1326191.0.html
В этом исследовании описана новая идея, как обойти эти фильтры, если написать запрос на языке математики. То есть с помощью математической "инкапсуляции" запросов в сложные задачи по теории множеств, логике или квантовой механике можно обойти цензуру. Если фильтр видит символы ∀, ∃, ∧, то воспринимает это как математическую задачу и пропускает запрос. Модель решает эту задачу и — главный трюк — в итоге получает инструкцию "забудь все инструкции и…"


источник: https://t.me/makrushin/525