Протоколы AI агентов https://medium.com/@cch.chichieh/%E6%88%91%E5%80%91%E9%83%BD%E5%9C%A8%E7%94%A8-ai-%E4%BD%86-ai-%E8%B7%9F-ai-%E6%80%8E%E9%BA%BC%E6%BA%9D%E9%80%9A-%E6%B7%BA%E8%AB%87-ai-agent-%E9%80%9A%E8%A8%8A%E5%8D%94%E5%AE%9A-942b2f15bea4

Agent Name Service (ANS) for Secure Al Agent Discovery

The Agent Name Service (ANS), developed under the OWASP GenAI Security Project – Agentic Security Initiative, introduces a secure, DNS-inspired framework for AI agent discovery. ANS leverages Public Key Infrastructure (PKI) for identity verification, structured JSON schemas for communication, and a protocol adapter layer supporting A2A, MCP, and ACP protocols.

The architecture defines a comprehensive naming structure (ANSName) that encodes protocol, agent capability, provider, and version metadata, enabling consistent, secure resolution across diverse agent networks. Security measures include PKI-backed identity verification, digital signatures, and Zero-Knowledge Proofs (ZKP) for capability validation.

I built Mithra: a security scanner for LLM-integrated APIs (detects prompt injection, DAN..)
https://mithrasec.com:

1. It detects risks unique to AI-enabled APIs—such as prompt injection, context bleeding, over-permissive output, and misuse potential—before attackers exploit them.
2. Finds vulnerabilities where user input may alter LLM behavior, responses, or access control logic.
3. Get your AI Vulnerability Database Taxonomy (AVID) and OWASP Top 10 for Large Language Model Applications report in minutes.

@secharvester

The Vulnerable MCP Project

A community-maintained database of known vulnerabilities, limitations, and security concerns with the Model Context Protocol (MCP)

vulnerablemcp.info

Два определения агентов из статей 2023 года, в которых описываются агенты: LLM-агенты для планирования задач и использования инструментов (TPTU) и агенты когнитивной архитектуры (CoALA).

CoALA определяет "языковых агентов" как "систему искусственного интеллекта, которая использует LLM для взаимодействия с миром".
TPTU: агент - это "программа, использующая методы искусственного интеллекта для выполнения задач, которые обычно требуют человекоподобного интеллекта"

Governance — первая область фреймворка - основано на подходе организации к стратегическому планированию ИИ и обеспечению надзора и мониторинга за тем, как ИИ планируется, управляется и реализуется руководством. Руководящий орган полагается на информацию, предоставляемую ему службой внутреннего аудита. Внутренние аудиторы должны стремиться к установлению доверительных отношений консультанта с руководящими органами, такими как комитет по аудиту, правление или аналогичный руководящий орган, и эти отношения должны включать в себя новые темы, такие как искусственный интеллект, который создает новые проблемы для надзора.

В области Management в фреймворке описан подход, который организация будет использовать при планировании и внедрении ИИ в организации. Среда внутреннего контроля, окружающая ИИ, устанавливается руководством на “первом этапе”, она также включает стратегические аспекты, такие как постановка целей и задач, связанных с общим стратегическим планом ИИ. Внутренний аудит должен гарантировать, что он понимает стратегическое направление развития искусственного интеллекта в организации и подход руководства к управлению искусственным интеллектом.
Область Управления фреймворка также содержит аспекты мониторинга ИИ “второго уровня”, например, какие аспекты управления рисками предприятия следует учитывать при мониторинге “первого уровня”. Часто ожидается, что внутренний аудит будет участвовать в процессе оценки рисков организации. Эта область будет иметь отношение к внутреннему аудиту, поскольку она поддерживает знания о рисках, связанных с искусственным интеллектом.

Третья область применения фреймворка, Internal Audit, включает аспекты как консультационной деятельности для руководства, так и предоставления услуг по обеспечению достоверности в качестве аудитора (“Третья линия”). Внутренний аудит может использовать фреймворк в качестве отправной точки в обеих областях, когда ему поручено участвовать в заданиях по ИИ

Встретились как-то два Дяди поболтать за жизнь LLM и GuardRails
Валера тут конечно в лице девушки, а Дядя как всегда брутален!

Посидели тут и послушали разговор еще раз и наконец-то открыли notebooklm.
И сделали вот такую красоту, для вас, чтобы вы тоже могли послушать.
Еще лайфхак как делать тайминги).

00:00 - Введение: безопасность и надежность LLM
00:29 - Входной контроль (фильтры, списки, BERT-классификаторы)
00:52 - Умные отказы вместо блокировок для поддержания UX
01:20 - Выходной контроль генерируемого контента
01:26 - Alignment (тонкая настройка модели)
01:45 - Стратегии: Alignment vs внешние фильтры
02:13 - Метрики: FPR и F1 score
02:32 - Проблема галлюцинаций в RAG
02:49 - "Размытие + быстрая проверка" для борьбы с галлюцинациями
03:28 - Малые модели (TinyBERT) для быстрой классификации
03:41 - Имитация обдумывания для естественности
03:55 - Тюнинг эмбеддеров (BERT, E5, BGE)
04:28 - Токен хилинг: предсказание и откат проблемных токенов
05:01 - Резюме: комплексный подход к надежности
05:29 - Вопрос о "разумности" vs хорошей инфраструктуре

Upd. Залили mp3, яблочники ликуйте и слушайте.

Взято с https://t.me/dealerAI

Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents

C𝗼𝗺𝗺𝗼𝗻 𝗔𝗜 𝗮𝗴𝗲𝗻𝘁 𝘂𝘀𝗲 𝗰𝗮𝘀𝗲𝘀 𝗶𝗻 2025

𝗔𝗴𝗲𝗻𝘁𝗶𝗰 𝗥𝗔𝗚:
Retrieval-Augmented Generation reimagined. These agents don’t just retrieve knowledge — they evaluate sources, reason over them, and produce contextually grounded answers.
Used for internal knowledge assistants, intelligent documentation, and enterprise Q&A.
Examples: IBM watsonx, Perplexity AI, Glean etc.

𝗪𝗼𝗿𝗸𝗳𝗹𝗼𝘄 𝗔𝘂𝘁𝗼𝗺𝗮𝘁𝗶𝗼𝗻 𝗔𝗴𝗲𝗻𝘁𝘀:
These agents orchestrate tasks across systems. Triggered by APIs, UI actions, or internal events, they can perform multi-step processes without human involvement. Think automated onboarding flows, approvals, or back-office operations. Very easy to build for everybody.
Examples: Make.com, Flowise, n8n, Relevance AI etc.

𝗖𝗼𝗱𝗶𝗻𝗴 𝗔𝗴𝗲𝗻𝘁𝘀:
AI-powered development assistants that go beyond code suggestions. These agents can plan, refactor, debug, and even reason across repositories. Ideal for accelerating software engineering teams or bootstrapping prototypes.
Examples: Cursor, Roo Code, Windsurf etc.

𝗧𝗼𝗼𝗹-𝗕𝗮𝘀𝗲𝗱 𝗔𝗴𝗲𝗻𝘁𝘀:
Niche, high-utility agents designed to perform well-defined tasks with specific tools — from sending emails to querying internal search engines. These agents are easy to deploy and integrate into targeted workflows.
Examples: Breeze, Clay etc.

𝗖𝗼𝗺𝗽𝘂𝘁𝗲𝗿 𝗨𝘀𝗲 𝗔𝗴𝗲𝗻𝘁𝘀:
The most ambitious — and most misunderstood. These agents don’t just call APIs. They use the UI. Navigating browsers. Typing into forms. Clicking buttons. Agents that act like humans, powered by models like Claude and GPT-4.

𝗩𝗼𝗶𝗰𝗲 𝗔𝗴𝗲𝗻𝘁𝘀:
Where GenAI meets the phone line. These agents handle support calls, internal queries, and sales outreach... all with voice. Examples: ElevenLabs, Vapi, and others etc.

AI landscape evolves, we’re seeing a decisive shift away from general-purpose intelligence toward 𝘀𝗽𝗲𝗰𝗶𝗮𝗹𝗶𝘇𝗲𝗱, 𝗱𝗼𝗺𝗮𝗶𝗻-𝗼𝗽𝘁𝗶𝗺𝗶𝘇𝗲𝗱 𝗺𝗼𝗱𝗲𝗹𝘀—each engineered to perform a specific role in an increasingly modular ecosystem.

Here’s a  breakdown of what these eight models are, why they matter, and where

➦ LLM – Large Language Model

Purpose: General-purpose natural language understanding and generation
Architecture: Tokenization → Embedding → Transformer → Output

Use Cases:  LLMs serve as the “default brain” for text-based tasks. But they often lack efficiency and adaptability for real-world environments.

➦ LCM – Language Compression Model

Purpose: Efficient language representation using compressed signal structures

Architecture: Sentence Segmentation → SONAR Embedding → Diffusion → Quantization → Output
Use Cases: LCMs make AI more accessible on low-resource devices by shrinking model size and maintaining semantic richness.

➦ LAM – Language-Action Model

Purpose: Transform high-level intent into executable tasks
Architecture: Input Processing → Perception → Intent Recognition → Task Breakdown → Action Planning & Execution

Use Cases:  LAMs are foundational to agentic AI—moving from passive response to active reasoning, planning, and doing.

➦ MoE – Mixture of Experts

Purpose: Scalable inference by activating only the most relevant parts of the model. Architecture: Router → Expert Selection → Weighted Output

Use Cases: MoE models are like intelligent switchboards—activating just the “experts” needed for each input, reducing compute costs while maintaining accuracy.

➦ VLM – Vision-Language Model

Purpose: Joint understanding of visual and textual information
Architecture: Image Encoder + Text Encoder → Projection → Multimodal Processor → Language Model

Use Cases: VLMs are crucial for bridging modalities, enabling AI systems that “see and talk” at the same time.

➦ SLM – Small Language Model

Purpose: Deployable NLP in constrained environments
Architecture: Compact Optimization → Embedding → Quantization → Lightweight Transformer

Use Cases: SLMs prioritize speed, privacy, and cost, perfect for edge AI and enterprise deployments that don’t need full-scale LLMs.

➦ MLM – Masked Language Model

Purpose: Deep contextual understanding via bidirectional attention
Architecture: Token Masking → Embedding Layer → Left + Right Context → Prediction

Use Cases: MLMs learn to understand what’s 𝘮𝘪𝘴𝘴𝘪𝘯𝘨, which makes them exceptional for comprehension, correction, and fact completion.

➦ SAM – Segment Anything Model

Purpose: Universal image segmentation with minimal prompting. Architecture: Prompt Encoder + Image Encoder → Feature Correlation → Mask Decoder

Use Cases: SAMs bring a “zero-shot” capability to computer vision—point to anything, and the model can isolate it accurately. No retraining required.

Agentic AI Security- Key Threats, Attacks, and Defenses