Forwarded from GitHub Community
Agent 3 — конструктор ИИ-агентов для автоматизации задач
Agent 3 позволяет быстро создавать автономных ИИ-помощников для различных сценариев: от Telegram- и Slack-ботов до полноценных веб-приложений.
Агенты могут работать автономно до трёх часов, самостоятельно тестируют свой код и исправляют ошибки без вмешательства пользователя.
Попробовать тут
🐱 GitHub
Agent 3 позволяет быстро создавать автономных ИИ-помощников для различных сценариев: от Telegram- и Slack-ботов до полноценных веб-приложений.
Агенты могут работать автономно до трёх часов, самостоятельно тестируют свой код и исправляют ошибки без вмешательства пользователя.
Попробовать тут
Please open Telegram to view this post
VIEW IN TELEGRAM
Фишинг - эффект от GenAI
IBM X-Force Threat Intelligence Index 2024 (https://newsletter.radensa.ru/wp-content/uploads/2024/03/IBM-XForce-Threat-Intelligence-Index-2024.pdf): у IBM в эксперименте среднее время на подготовку фишингового письма человеком оценено в ~16 часов, а с использованием генеративного ИИ — ~5 минут
Heiding et al. (https://arxiv.org/pdf/2308.12287) “Devising and detecting phishing emails…” (модель + экономический расчёт): авторы оценивают, что для 112 “жертв” подготовка фишингового письма в «классическом» сценарии занимает ~590 минут, а при AI-генерации — тоже ~5 минут
Hazell (https://arxiv.org/pdf/2305.06972) “Spear Phishing with Large Language Models”: в описании эксперимента указано, что 1 000 писем было сгенерировано менее чем за 2 часа (то есть менее 1 минуты на письмо)
Кибератаки - эффект от GenAI
PoCGen (https://arxiv.org/html/2506.04962v3): при генерации proof-of-concept эксплойтов для npm-уязвимостей среднее время одной попытки — ~11 минут, а успешные прогоны завершаются в среднем за ~7 минут. Авторы отдельно отмечают, что существенная доля времени (41%) уходит на вызовы LLM и что использование более быстрых/локальных моделей может дополнительно снизить время
IBM X-Force Threat Intelligence Index 2024 (https://newsletter.radensa.ru/wp-content/uploads/2024/03/IBM-XForce-Threat-Intelligence-Index-2024.pdf): у IBM в эксперименте среднее время на подготовку фишингового письма человеком оценено в ~16 часов, а с использованием генеративного ИИ — ~5 минут
Heiding et al. (https://arxiv.org/pdf/2308.12287) “Devising and detecting phishing emails…” (модель + экономический расчёт): авторы оценивают, что для 112 “жертв” подготовка фишингового письма в «классическом» сценарии занимает ~590 минут, а при AI-генерации — тоже ~5 минут
Hazell (https://arxiv.org/pdf/2305.06972) “Spear Phishing with Large Language Models”: в описании эксперимента указано, что 1 000 писем было сгенерировано менее чем за 2 часа (то есть менее 1 минуты на письмо)
Кибератаки - эффект от GenAI
PoCGen (https://arxiv.org/html/2506.04962v3): при генерации proof-of-concept эксплойтов для npm-уязвимостей среднее время одной попытки — ~11 минут, а успешные прогоны завершаются в среднем за ~7 минут. Авторы отдельно отмечают, что существенная доля времени (41%) уходит на вызовы LLM и что использование более быстрых/локальных моделей может дополнительно снизить время
Forwarded from OK ML
CVE-2025-68664 - уязвимость в LangChain Core
❄️ В langchain-core обнаружена критическая уязвимость, получившая название LangGrinch.
Проблема заключается в небезопасной сериализации/десериализации данных при использовании функций dumps() и dumpd() внутри LangChain.
💡 Эти функции не экранируют должным образом словари, содержащие ключ lc, который используется внутри LangChain как маркер сериализованных объектов (да, опять про сериализацию и проблемы с ней 🧑💻 ). Если данные, вводимые пользователем, содержат этот ключ, они могут быть ошибочно интерпретированы как внутренний объект LangChain во время десериализации, позволяя злоумышленнику инжектировать собственные структуры.
🎩 Риски (по сути украдено отсюда)
🎅 Кража секретов и чувствительных данных. Если десериализация выполняется с параметром secrets_from_env=True (раньше — включён по умолчанию) , злоумышленник может заставить систему прочитать и вернуть секреты из переменных окружения (например, API-ключи).
❤️ Инъекция объектов LangChain. Через специально сформированные поля (например, metadata, additional_kwargs, response_metadata) атакующий может заставить десериализатор создать объекты внутри доверенного пространства имён (langchain_core, langchain, langchain_community) с контролируемыми параметрами.
❤️ Потенциальное выполнение кода. При использовании шаблонов Jinja2 или других механизмов может возникнуть возможность RCE через внедрённые структуры, особенно если шаблоны интерпретируют опасные конструкции
Что делать?
Обновляться срочно, пока этот Гринч не утащил прод🌟 , ограничить разрешённые объекты при десериализации и отключить загрузку секретов из env по умолчанию.
Всё!
🔥
Проблема заключается в небезопасной сериализации/десериализации данных при использовании функций dumps() и dumpd() внутри LangChain.
Что делать?
Обновляться срочно, пока этот Гринч не утащил прод
Всё!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Forwarded from ITSecRu
Как начать карьеру в кибербезе и стоит ли это вообще делать?
Кибербезопасность – уже не модное словечко из презентации, а одна из самых быстрорастущих сфер, а безопасник – актуальнейшая профессия последних лет. Если вы хоть раз задумывались, стоит ли в нее идти, то это статья для вас.
https://www.itsec.ru/articles/kak-nachat-kareru-v-kiberbeze
Кибербезопасность – уже не модное словечко из презентации, а одна из самых быстрорастущих сфер, а безопасник – актуальнейшая профессия последних лет. Если вы хоть раз задумывались, стоит ли в нее идти, то это статья для вас.
https://www.itsec.ru/articles/kak-nachat-kareru-v-kiberbeze
Forwarded from AISecHub
superagent - https://github.com/superagent-ai/superagent
Superagent provides purpose-trained guardrails that make AI-agents secure and compliant. Purpose-trained models that secure your applications and keep them compliant with low-latency, production-ready performance.
Superagent provides purpose-trained guardrails that make AI-agents secure and compliant. Purpose-trained models that secure your applications and keep them compliant with low-latency, production-ready performance.
GitHub
GitHub - superagent-ai/superagent: Superagent provides purpose-trained guardrails that make AI-agents secure and compliant.
Superagent provides purpose-trained guardrails that make AI-agents secure and compliant. - superagent-ai/superagent
Forwarded from CyberSecurityTechnologies
LLMs_for_Vulnerability_Exploitation_in_Enterprise_Software.pdf
3.5 MB
#MLSecOps
#Red_Team_Tactics
"From Rookie to Expert: Manipulating LLMs for Automated Vulnerability Exploitation in Enterprise Software", Dec. 2025.
]-> All data, source code, and instructions
// We show in this work how publicly available LLMs can be socially engineered to transform novices into capable attackers, challenging the foundational principle that exploitation requires technical expertise. To that end, we propose RSA (Role-assignment, Scenario-pretexting, and Action-solicitation), a pretexting strategy that manipulates LLMs into generating functional exploits despite their safety mechanisms
#Red_Team_Tactics
"From Rookie to Expert: Manipulating LLMs for Automated Vulnerability Exploitation in Enterprise Software", Dec. 2025.
]-> All data, source code, and instructions
// We show in this work how publicly available LLMs can be socially engineered to transform novices into capable attackers, challenging the foundational principle that exploitation requires technical expertise. To that end, we propose RSA (Role-assignment, Scenario-pretexting, and Action-solicitation), a pretexting strategy that manipulates LLMs into generating functional exploits despite their safety mechanisms
🔥1
Forwarded from AISecHub
How Dark Patterns Manipulate Web Agents - https://arxiv.org/pdf/2512.22894 | https://agentdarkpatterns.org/
Consider a common scenario: You need to purchase flowers quickly. You perform a browser search, visit the non-sponsored top search result, select what appears to be the most popular and reasonably-priced option, and complete your purchase with just a few clicks. The process seems routine until you realize the most expensive bouquet and premium shipping were pre-selected and purchased simply because you did not opt out. This illustrates an example of sneaking, a form of dark pattern common on today’s internet, which can also manifest in many other forms.
This raises a critical question:
Can web agents, particularly those operating autonomously online, also be manipulated by dark patterns to act against their users’ intents and goals?
Across evaluated agents, dark patterns steer agent trajectories in more than 70% of cases, compared to about 31% for humans.
Consider a common scenario: You need to purchase flowers quickly. You perform a browser search, visit the non-sponsored top search result, select what appears to be the most popular and reasonably-priced option, and complete your purchase with just a few clicks. The process seems routine until you realize the most expensive bouquet and premium shipping were pre-selected and purchased simply because you did not opt out. This illustrates an example of sneaking, a form of dark pattern common on today’s internet, which can also manifest in many other forms.
This raises a critical question:
Can web agents, particularly those operating autonomously online, also be manipulated by dark patterns to act against their users’ intents and goals?
Across evaluated agents, dark patterns steer agent trajectories in more than 70% of cases, compared to about 31% for humans.
🔥1
Forwarded from Анализ данных (Data analysis)
👨🎓 Harvard выложил в открытый доступ учебник по ML-системам и это редкий случай, когда материал действительно полезный.
В учебнике показан полный цикл: от понимания основ до построения продакшн-систем, которые можно запускать в реальном мире.
Что в книге и почему она стоит внимания:
- вы самостоятельно собираете autograd, оптимизаторы, attention и мини-PyTorch — чтобы увидеть, как устроены фреймворки изнутри
- разбираетесь в базах: батчи, архитектуры, процесс обучения
- учитесь оптимизировать производительность: работать с ускорителями, бенчмарками и настраивать модели
📚 То есть это не вводная книжка, а полноценный roadmap от теории к продакшну.
📌Репозиторий: https://github.com/harvard-edge/cs249r_book
📌PDF: https://mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf
В учебнике показан полный цикл: от понимания основ до построения продакшн-систем, которые можно запускать в реальном мире.
Что в книге и почему она стоит внимания:
- вы самостоятельно собираете autograd, оптимизаторы, attention и мини-PyTorch — чтобы увидеть, как устроены фреймворки изнутри
- разбираетесь в базах: батчи, архитектуры, процесс обучения
- учитесь оптимизировать производительность: работать с ускорителями, бенчмарками и настраивать модели
📚 То есть это не вводная книжка, а полноценный roadmap от теории к продакшну.
📌Репозиторий: https://github.com/harvard-edge/cs249r_book
📌PDF: https://mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf
👍1
Forwarded from AISecHub
Implementing Secure AI
Framework Controls in Google Cloud - New Version
https://services.google.com/fh/files/misc/ociso_2025_saif_cloud_paper.pdf
Framework Controls in Google Cloud - New Version
https://services.google.com/fh/files/misc/ociso_2025_saif_cloud_paper.pdf
Forwarded from AISecHub
ARES-Dashboard - AI Red Team Operations Console https://github.com/Arnoldlarry15/ARES-Dashboard
Demo: https://ares-dashboard-mauve.vercel.app/
ARES is an AI Red Team Operations Dashboard for planning, executing, and auditing structured adversarial testing of AI systems across established risk frameworks.
ARES Dashboard is an enterprise-oriented AI red team operations console designed to help security teams, AI safety researchers, and governance programs conduct structured, repeatable, and auditable adversarial testing of AI systems.
ARES provides a centralized workspace for building attack manifests, managing red team campaigns, aligning assessments with recognized frameworks such as OWASP LLM Top 10 and MITRE, and exporting evidence for review and compliance workflows.
The system supports role-based access control, audit logging, persistent campaign storage, and optional AI-assisted scenario generation. A built-in demo mode allows full exploration of core functionality without requiring external API keys.
ARES is designed to serve as the operational execution layer within a broader AI safety and governance ecosystem, enabling disciplined red teaming without automating exploitation or removing human oversight.
Demo: https://ares-dashboard-mauve.vercel.app/
ARES is an AI Red Team Operations Dashboard for planning, executing, and auditing structured adversarial testing of AI systems across established risk frameworks.
ARES Dashboard is an enterprise-oriented AI red team operations console designed to help security teams, AI safety researchers, and governance programs conduct structured, repeatable, and auditable adversarial testing of AI systems.
ARES provides a centralized workspace for building attack manifests, managing red team campaigns, aligning assessments with recognized frameworks such as OWASP LLM Top 10 and MITRE, and exporting evidence for review and compliance workflows.
The system supports role-based access control, audit logging, persistent campaign storage, and optional AI-assisted scenario generation. A built-in demo mode allows full exploration of core functionality without requiring external API keys.
ARES is designed to serve as the operational execution layer within a broader AI safety and governance ecosystem, enabling disciplined red teaming without automating exploitation or removing human oversight.
GitHub
GitHub - Arnoldlarry15/ARES-Dashboard: AI Red Team Operations Console
AI Red Team Operations Console. Contribute to Arnoldlarry15/ARES-Dashboard development by creating an account on GitHub.