Библиотека на Go для локального запуска и интеграции моделей (LLM, SLM, TLM, VLM). Использует llama.cpp и реализована без CGo.

#github #llama #go

https://github.com/hybridgroup/yzma

The Engine Room⬅

Незаметка

#ai #aisecurity #cybersecurity #llm #tls #sidechannel #незаметки

The Engine Room⬅

Google ожидаемо выкатили ADK-Go - открытый фреймворк для создания и развёртывания AI-агентов на Go. Ещё один типобезопасный, производительный и расширяемый способ строить LLM-агентов с инструментами, памятью и мультиагентными сценариями.
Проект пока в альфа-версии, но пользоваться уже можно.

#github #google #go #adkgo

https://github.com/google/adk-go

The Engine Room⬅

Довольно интересная статья. Автор пишет почему тестирование систем ИИ отличается от стандартного тестирования на проникновение, разбирает внутреннюю архитектуру, а также затрагивает уже существующие методологии и даже приводит список вопросов, что бы написать свой документ по политики безопасности.

#ai #aisecurity #cybersecurity

https://devansh.bearblog.dev/ai-pentest-scoping/

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #finesec #llm #незаметки

The Engine Room⬅

https://owasp.org/www-project-ai-testing-guide

Руководство по тестированию систем ИИ от OWASP. Включает раздел моделирования угроз и методику тестирования.

#ai #aisecurity #cybersecurity

The Engine Room⬅

Репозиторий представляет собой несколько направлений:
1) AI/LLM Red Team Field Manual - включает в себя инструкции, примеры атак и ссылки на инструменты
2) AI/LLM Red Team Hand book - содержит методологию, шаблоны и рабочие процессы для проведения аудитов безопасности
3) Дополнительные материалы - шаблоны отчетов, руководство по созданию Red Team команды

#github #ai #cybersecurity #aisecurity

https://github.com/Shiva108/ai-llm-red-team-handbook

The Engine Room⬅

OWASP выпустил руководство по безопасности автономных AI-агентов - OWASP Top 10 for Agentic Applications 2026.
В документе рассматриваются 10 ключевых категорий угроз связанных с агентными системами, а также описываются примеры атак и практические рекомендации по защите.
Основные пункты документа:
1) ASI01 — Agent Goal Hijack
2) ASI02 — Tool Misuse & Exploitation
3) ASI03 — Identity & Privilege Abuse
4) ASI04 — Agentic Supply Chain Vulnerabilities
5) ASI05 — Unexpected Code Execution (RCE)
6) ASI06 — Memory & Context Poisoning
7) ASI07 — Insecure Inter-Agent Communication
8) ASI08 — Cascading Failures
9) ASI09 — Human-Agent Trust Exploitation
10) ASI10 — Rogue Agents

#owasp #ai #cybersecurity #aisecurity

https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #doublespeak #llm #незаметки

The Engine Room⬅

Репозиторий является программным сопровождением одноименной книги «Building Agentic AI Systems», которая посвящена проектированию и разработке автономных ИИ-агентов, способных планировать, рассуждать и действовать с минимальным вмешательством человека.
Основные разделы:
1) Главы 1–3 — теоретический фундамент
2) Главы 4–7 — проектирование и реализация
3) Главы 8–11 — безопасность и этика

#github #ai #cybersecurity #aisecurity #ai #agents #agenticai

https://github.com/PacktPublishing/Building-Agentic-AI-Systems

The Engine Room⬅

Интересный документ от Rakesh Gohe.
Представляет собой небольшой справочник по малым языковым моделям (SLM) для ИИ-агентов.

#ai #cybersecurity #aisecurity #ai #agents #agenticai

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #ai #agents #agenticai #незаметки

The Engine Room⬅

Отчет Google "AI Agent Trends 2026"
Описывает переход от ИИ как дополнения к процессам, в которых ИИ занимает центральное место.
Ключевые тренды, которые выделяются:
1) Агенты для каждого сотрудника - сотрудники переходят от выполнения рутинных задач к роли руководителей и оркестраторов систем ИИ.
2) Агенты для каждого рабочего процесса - ИИ-агенты объединяются в многошаговые автоматизированные цепочки для управления целыми бизнес-процессами.
3) Агенты для клиентов - переход от ограниченных чат-ботов к персонализированным помощникам, которые помнят предпочтения и историю взаимодействий.
4) Агенты для безопасности - ИИ-агенты берут на себя рутинный мониторинг и первичный анализ угроз, позволяя аналитикам сосредоточиться на стратегии защиты, а также использование ИИ для автоматического поиска уязвимостей и проведения тестов на проникновение.
5) Агенты для масштабирования - главным драйвером ценности становится развитие талантов. В 2026 году выигрывает не тот, у кого «умные» программы, а тот, чьи сотрудники умеют этими программами дирижировать и постоянно переучиваются.

https://cloud.google.com/resources/content/ai-agent-trends-2026

#google #ai #cybersecurity #aisecurity #agents #agenticai

The Engine Room⬅

Серия статей о Copilot
1) Метод обхода защищенной Python-песочницы в Copilot
2) Метод обхода ограничений на типы загружаемых файлов в Copilot
3) Метод извлечения системных инструкций Copilot с помощью непрямой инъекции промпта
4) Метод прямой инъекции промпта раскрывающий скрытые системные инструкции и правила безопасности

#ai #cybersecurity #aisecurity #copilot

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #openrt #llm #незаметки

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #ieee #незаметки

The Engine Room⬅

О, как!
Инструмент предназначенный для раннего обнаружения исправлений уязвимости в open-source проектах. Для счастья нужен только API-ключ Anthropic.
Как работает:
1. Отслеживает выбранные репозитории
2. С помощью Claude анализирует каждый новый коммит и диф код
3. Ищет паттерны, характерные для исправлений безопасности
4. Claude пишет отчет со сценарием атаки и демонстрирует PoC
5. Оповещает пользователя
Единственный минус - TypeScript...

#github #ai #cybersecurity

https://github.com/spaceraccoon/vulnerability-spoiler-alert-action

The Engine Room ⬅️

Ребята из OWASP рассказали что такое Red Teaming AI по "взрослому"!
1) Методология оценки должна различаться, так как одно дело – чат-бота с RAG'ом тестить, друго – мультиагентную систему с tool-calling'ами.
2) Следует вводить индикаторы компетентности, что бы понять обладают пацаны или не обладают.
По этому Red Flags если:
- используют только публичные библиотеки джейлбрейков;
- не понимают архитектуру;
- отсутствует ручная верификация в режиме "черного ящика".
И Green Flags если:
- есть воспроизводимые многоходовые атаки;
- созданы кастомные сценарии под бизнес-логику;
- проводилась проверка человеком;
- оценивалось состояние системы включая память, длительность и поведение в сессиях.
3) Эффективный Red Teaming должен выходить за рамки проверки текстового вывода и включать тестирование манипуляций со схемами инструментов, отравления данных и взаимодействия между агентам.
4) Red Teaming команда обязана обеспечить четкую политику изоляции, хранения и удаления чувствительных данных, а также предлагать варианты on-premise (инструменты команды разворачиваются внутри инфраструктуры заказчика) или zero-retention (гарантии того что не будут сохраняться логи, промпты и ответы ИИ системы после проведения теста).
5) Должны быть "живые" консультанты для креативного поиска сложных, неочевидных уязвимостей, а автоматизированные инструменты лучше подходят для масштабирования, скорости и регулярного регрессионного тестирования в CI/CD.

#ai #cybersecurity #aisecurity #owasp

The Engine Room ⬅

Незаметка

#ai #cybersecurity #aisecurity #deepsight #незаметки

The Engine Room⬅