ML&|Sec Feed
1.34K subscribers
1.28K photos
84 videos
293 files
1.97K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
Forwarded from GitHub Community
AgentScope — это готовая к использованию в продакшене простая в применении платформа для агентов с базовыми абстракциями, которые работают с растущими возможностями моделей и имеют встроенную поддержку тонкой настройки.

Мы разрабатываем все более автономные большие языковые модели. Наш подход основан на использовании способностей моделей к логическому мышлению и использованию инструментов, а не на ограничении их возможностей с помощью строгих подсказок и шаблонных сценариев.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
ReMe — это фреймворк для управления памятью, разработанный для ИИ-агентов.

Он поддерживает как файловые, так и векторные системы памяти.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Seguridad de IA
OWASP publicó AIUC-1 Crosswalks, un marco que adapta el OWASP Top 10 al contexto de aplicaciones agentic, destacando que los riesgos clásicos cambian significativamente cuando un agente de IA puede razonar, usar herramientas y ejecutar acciones autónomas. El documento identifica vectores como inyección de prompt, abuso de toolchains, manipulación de memoria y escalada de privilegios a través de integraciones externas, señalando que los agentes no deben tratarse como simples interfaces conversacionales, sino como sistemas con capacidad operativa directa sobre infraestructuras y datos sensibles.

El análisis subraya que muchas amenazas en aplicaciones agentic emergen de relaciones implícitas de confianza entre modelos, herramientas y fuentes de contexto. En particular, OWASP destaca que una inyección indirecta de prompt puede propagarse a través de workflows completos y derivar en exfiltración de datos o ejecución de acciones no autorizadas sin explotar vulnerabilidades tradicionales de software. El objetivo del framework es mapear controles defensivos y modelos de amenaza específicos para arquitecturas agentic, donde las barreras de protección del LLM por sí solas ya no son suficientes para garantizar la protección de la IA.

https://genai.owasp.org/resource/aiuc-1-crosswalks-owasp-top-10-for-agentic-applications/
Forwarded from AISecHub
ClawDojo: Dynamic, Extensible Evaluation Framework for Attacks and Defenses on OpenClaw

ClawDojo frames OpenClaw-style agent security around architectural attack surface (e.g., persistent memory and third-party skills) and uses a benchmark harness to test prompt-injection and supply-chain skill abuse against candidate defenses in a controlled way.

#PromptInjection #LLMSecurity #AISecurity #Research

https://openreview.net/forum?id=MmytvTGycS
Forwarded from AISecHub
Agent Skills for Large Language Models: Architecture, Acquisition, Security, and Path Forward

As agents load “skills” (instructions/code/resources) on demand—e.g., via MCP—the trust boundary shifts from model weights to the skill acquisition/runtime layer. The practical security question is how progressive disclosure and portable skill definitions constrain untrusted skills so they can’t silently expand tool privileges or data access.

#MCP #AgentSecurity #AISecurity #Research

https://openreview.net/forum?id=Er0p92BsmW
Forwarded from GitHub Community
CyberStrikeAI — это платформа с открытым исходным кодом на базе ИИ, написанная на Go, которая автоматизирует тестирование безопасности с помощью более 100 инструментов, таких как nmap, sqlmap и metasploit, а также предлагает роли для пентестинга и CTF, навыки для обнаружения уязвимостей, таких как SQL-инъекции, панели управления, графы цепочек атак и интерфейсы чата.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
Hindsight — это передовая система памяти для агентов, которая помогает ИИ-агентам учиться со временем, сохраняя факты, опыт и ментальные модели, подобные человеческой памяти, превосходя конкурентов в бенчмарках LongMemEval с точностью 91,4%.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
Deep Agents — это готовый к использованию фреймворк для ИИ-агентов, включающий встроенные инструменты планирования, управления файлами и делегирования задач.

Он разбивает сложные задачи на управляемые шаги, поддерживает контекст в ходе бесед и может создавать специализированных под-агентов для самостоятельного выполнения сфокусированной работы.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Liquid AI выкатили LFM2.5-8B-A1B - MoE на 8B параметров с 1.5B активных, заточенную под запуск на телефонах, ноутбуках и роботах.

Что внутри:

- гибридная MoE-архитектура линейки LFM2.5
- контекст 128K
- 38T токенов претрейна плюс крупномасштабный RL поверх
- LFM2 open-weight лицензия
- дообучение под узкую задачу влезает на одну GPU

По заявлениям команды, модель уверенно работает с tool calling и тягается с моделями в 3-4 раза тяжелее.

Веса уже на HF. Ждём первых замеров на MMLU-Pro, IFEval и BFCL - особенно интересно, как 1.5B активных параметров поведут себя на длинных tool-use цепочках.

Блог: http://liquid.ai/blog/lfm2-5-8b-a1b
Веса: https://huggingface.co/LiquidAI/LFM2.5-8B-A1B
Документация: http://docs.liquid.ai
Потестить: http://playground.liquid.ai

@ai_machinelearning_big_data
Forwarded from Похек AI (Сергей Зыбнев)
Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
#zerotrust #ai #llm #agents #offensive #defensive

AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют многошаговые задачи без ручного подтверждения каждого шага. Это делает их полезными, но меняет модель риска: агент с инструментами становится явным риском внутри инфраструктуры.

Главная идея Zero Trust для таких систем проста: агенту нельзя доверять по умолчанию только потому, что он запущен внутри компании или работает от имени легитимного пользователя. Его идентификация, права, вызовы инструментов (tool calls), память и действия нужно проверять так, будто компрометация рано или поздно случится.

Идея для статьи была придумана после прочтения PDF от Anthropic Zero Trust for AI Agents. Но все принципы изложенные в статье применимы к любому LLM-агенту: юридическому помощнику, SOC-агенту, агентам для разработки, RAG-системе, внутреннему ассистенту или многоагентному workflow.

🔗 Инструкция для AI агентов: почитай статью

🌚 @poxek_ai / Чат канала
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Forwarded from AM Live
Обзор решений класса Security Orchestration, Automation and Response (SOAR)

SOC тонет в алертах — тысячи событий в день, большинство из которых рутина. SOAR берёт эту рутину на себя: агрегирует, обогащает, реагирует автоматически, оставляя аналитикам только то, что требует реального внимания.

Разобрали концепцию и рынок, и сделали обзор шести отечественных решений — от классических SOAR до метапродуктов нового поколения.

→ Читать https://go.amlive.ru/gz4wg
Forwarded from AISecHub
PewDiePie выпустил бесплатный open-source ИИ-агент, который работает локально и не сливает ваши данные корпорациям

За первый день проект собрал почти 20 000 звёзд.

Человек, который больше десяти лет был лицом YouTube-летсплеев и развлекательного контента, теперь собирает железо под LLM, дообучает модели и выкатывает open-source инструменты для локальных агентов.

Сначала он показал домашнюю машину примерно за $20 000, собранную под запуск ИИ-моделей без облачных сервисов. Аргумент у него простой: не отправлять личные данные в чужие API, не зависеть от подписок и держать весь стек у себя.

Потом он начал экспериментировать с дообучением моделей и заявлял, что его вариант на отдельном бенчмарке обгоняет даже топовые закрытые решения.

Теперь появился Odysseus - open-source оболочка для self-hosted AI-среды.

Это уже не просто «запусти модель через терминал». Идея ближе к локальному ChatGPT для своих задач:

- удобный интерфейс
- память
- работа с инструментами
- хранение данных у себя
- поддержка агентов
- подключение моделей через Ollama, llama.cpp и vLLM
- гибкая настройка доступов

Видео: https://youtu.be/rAzT5lcezPs

GitHub: github.com/pewdiepie-archdaemon/odysseus
👎4😁3
Forwarded from AM Live
Positive Technologies научила ИИ замечать подозрительные сценарии в коде

Positive Technologies сообщила о разработке нейросети MOLOT, предназначенной для поиска вредоносного кода в проектах на Python, JavaScript и TypeScript. Технология уже используется в составе анализатора исходного кода PT Application Inspector версии 6.0.

🔥 AM Live
Please open Telegram to view this post
VIEW IN TELEGRAM
🥱4👍1
Forwarded from False Positive
Помните кейс LiteLLM?

Мы дропаем
OMCBench (Open Malicious-Code Benchmark) - бенчмарк оценки качества по обнаружению вредоносного кода:
- 3 языка: Python, JavaScript, TypeScript
- 400 вредоносных пакетов, 400 чистых из pypi/npm
- пофайловая LLM разметка, о которой говорили на OFFZONE прошлым летом
- Открытая лицензия, BSD-2

Открытые решения на нем набирают не больше 75% F1, выдавая ~50% False Positive результатов...

Те, кто уже нажал звездочку на гитхабе, могли заметить, что в таблице мы также анонсим MOLOT - нашу модель для решения этого класса задач. Ловите блогпост, а на подходе arxiv статья с подробностями про анализ графов вызовов бертами, LLM разметку и выкатку в prod!

Ждите дроп статьи в канале, stay tuned!
1