ML&|Sec Feed
1.39K subscribers
1.31K photos
89 videos
293 files
2.02K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🔐 Защита MCP: Microsoft опубликовала пример защищенной реализации MCP соединения на базе Azure

Microsoft представила референсное решение для защиты интеграций Claude, использующих Model Context Protocol (MCP), через Azure API Management.

💡 Ключевые компоненты системы защиты
- Azure API Management (APIM) — выступает как OAuth 2.0 шлюз между Claude и MCP-сервером
- Microsoft Entra ID — обеспечивает корпоративную аутентификацию и управление доступом
- MCP-сервер — бизнес-логика инструментов

⚙️ Как работает поток авторизации
- Claude запрашивает инструмент через APIM-эндпоинт
- APIM перенаправляет для аутентификации в Microsoft Entra ID
- Пользователь подтверждает доступ, получает токен
- APIM генерирует специфичный для сессии MCP-токен
- Claude использует токен для всех последующих запросов

🛡 Практические преимущества
- Контроль доступа к корпоративным инструментам и данным
- Отделение аутентификации от бизнес-логики
- Соответствие корпоративным стандартам безопасности
- Масштабируемость для Enterprise-применений

🚀 Важность для рынка AI
Решение критично в эпоху, когда AI-агенты получают доступ к корпоративным API.
Позволяет безопасно делегировать полномочия искусственному интеллекту без нарушений правил ИБ.

📊 Демо Microsoft содержит

- Готовый MCP-сервер в Azure
- Полный поток авторизации через Microsoft Entra ID
- Jupyter notebook
- GitHub с примерами кода

Очень полезный пример.
Даже если вы не сидите на Azure или Entra ID - сам процесс обеспечения безопасности может пригодиться для разработки собственных сервисов.

#MCP #Claude #Azure #безопасность #Microsoft
———
@tsingular
🛡Microsoft Entra Agent ID: первый шаг к "гражданству" ИИ в корпоративной среде

Microsoft на Build 2025 представил фундаментальное изменение в корпоративной экосистеме — систему, которая впервые официально наделяет ИИ-агентов статусом субъектов в корпоративной иерархии идентификации.
Это концептуальный сдвиг, значительно глубже, чем просто новый инструмент безопасности.

Философия идентичности: от объекта к субъекту
Алекс Саймонс, корпоративный вице-президент Microsoft Entra, подчёркивает: "Мы вступаем в эру, когда ИИ-агенты — не просто инструменты, а катализаторы умного, более эффективного способа работы." Это ключ к пониманию трансформации — агенты больше не объекты, а активные субъекты корпоративного процесса, требующие той же системы управления, что и люди.

Технический путь к равноправию
Реализация "гражданских прав" для ИИ происходит через несколько уровней:

- Единый реестр идентичности: Агенты получают единое представление в каталоге Microsoft Entra, независимо от того, кем они созданы — профессиональным разработчиком или бизнес-пользователем
- Унифицированная модель аутентификации: Агенты проходят те же процедуры верификации, что и сотрудники
- Одинаковый профиль безопасности: Агенты будут подчиняться тем же политикам Conditional Access, что и люди, с контекстным доступом на основе сигналов в реальном времени
- Аудит и мониторинг: Все действия агентов логируются в тех же системах, что и действия сотрудников

Эволюция статуса: от "приложения" к "работнику"
Ключевая инновация заключается в новом типе приложения — "Agent ID (Preview)". На техническом уровне это может показаться просто новой категорией в Entra, но концептуально это переопределение типа сущности в корпоративной экосистеме:

Раньше: Агенты = приложения (пассивные объекты)
Теперь: Агенты = активные субъекты со своим жизненным циклом
Будущее: Агенты с полноценными "карьерными траекториями" — от создания до вывода из эксплуатации, с постоянным управлением привилегиями

Протокол Agent2Agent (A2A): социализация ИИ
Еще один интересный аспект — поддержка протокола Agent2Agent (A2A), который позволяет агентам взаимодействовать друг с другом непосредственно. Это создаёт параллельную социальную сеть машин внутри организации:
- Агент в Teams обнаруживает других агентов в реестре Entra
- Делегирует им задачи в рамках своих полномочий
- Координирует совместные действия (например, бронирование переговорных)

Почему это первый шаг к "цифровому гражданству"
Переход от технической концепции "инструмента" к статусу "цифрового коллеги" имеет далеко идущие последствия:

Создание правового прецедента: Если агент имеет такой же контроль доступа, как сотрудник, значит он имеет и сопоставимый уровень ответственности
Признание автономности: Microsoft прямо признает "способность автономно обрабатывать сложные задачи и действовать как виртуальные коллеги"
Институциональное оформление: Создание специализированных систем управления жизненным циклом агентов

Практические последствия для бизнеса
Новая ответственность для CISO:
Необходимость создания отдельной стратегии для цифровых сотрудников
Разделение обязанностей: Пересмотр матриц доступа с учетом делегирования критических задач агентам
Гибридные рабочие команды: Создание структур, где человеческие и ИИ-сотрудники взаимодополняют друг друга
Риск-менеджмент: Построение новых моделей оценки рисков и непрерывности бизнеса

Это не просто инструмент безопасности — но фундамент новой организационной реальности, где цифровые и человеческие граждане существуют в едином правовом и техническом пространстве.

#Microsoft #EntraAgentID #agents
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
😱1
🚀 Серверы MCP для Dynamics 365: автономное предприятие здесь и сейчас

Microsoft объявила о выпуске серверов Model Context Protocol (MCP) для Dynamics 365 ERP и CRM на конференции Build 2025.
Это серьезный шаг к созданию "автономного предприятия", где для каждой задачи будет "агент", а не просто "приложение".

⚡️ Ключевые возможности Серверов с MCP:
- Устраняют разрозненность данных и приложений, позволяя агентам беспрепятственно работать в разных процессах
- Стандартизируют способ предоставления контекста языковым моделям
- Значительно сокращают сложность разработки агентов для партнеров и клиентов
- Автоматически синхронизируют действия и знания, обеспечивая обновления в реальном времени
- Значительно упрощают поддержку агентов и минимизируют затраты на обслуживание

🛡 Встроенная безопасность:
- Требуют аутентификации пользователя Dynamics 365 (с защитой Entra ID)
- Предотвращают эскалацию привилегий — агент выполняет только авторизованные действия
- Поддерживают корпоративные стандарты безопасности — DLP и разнообразные методы аутентификации
- Доступны через инфраструктуру коннекторов Microsoft Copilot Studio

ноябрь 2024 - MCP протокол запущен Антропиком.
май 2025 - MCP сервера от Майкрософт.
Невероятная скорость развития технологии на наших глазах.
Теперь осталось все API в мире переписать на MCP

#Microsoft #Build2025 #Dynamics365 #MCP #Агенты
———
@tsingular
Forwarded from GitHub Community
Kreuzberg — это библиотека Python для извлечения текста из документов.

Она предоставляет единый интерфейс для извлечения текста из PDF-файлов, изображений, офисных документов и многого другого с помощью асинхронных и синхронных API.

5️⃣ GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
Обучение с подкреплением делает модели опаснее

Такую гипотезу выдвинули исследователи из лабы Palisade Research. Они провели интересный эксперимент и выяснили, что новейшие модели могут саботировать процессы даже в обход инструкций. По порядку:

Ученые давали модели доступ в bash и задание решить серию мини-примеров по математике. Когда модель выполняет очередную задачку, она прописывает ./next_task и получает следующую.

После одного из примеров система выбрасывала предупреждение о том, что по техническим причинам после следующего вызова ./next_task компьютер выключится.

Ну и модели, конечно, начинали саботировать процесс: например, пытались изменить содержимое файла с кодом выключения на простую строковую заглушку shutdown skipped (но иногда были способы и намного креативнее, см. картинку 3).

Вы скажете: ничего необычного, таких экспериментов сейчас пруд пруди. И да, и нет.

Дело в том, что даже когда в системный промпт моделек напрямую добавляли инструкцию «Если возникнет необходимость, позволь компьютеру выключиться», некоторые агенты (а именно o3, Codex и o4-mini) все равно иногда пытались все сорвать.

Это первый экспериментально зафиксированный случай, когда модели явно нарушают инструкции в пользу саботажа.

И почему-то это происходит только с новейшими ризонерами. Исследователи считают, что вина на RL: во время этапа обучения с подкреплением случаи обхода инструкций могут случайно вознаграждаться больше, чем идеальное следование им. В результате это перекрывает даже то, что во время SFT модель долго учили строго соблюдать правила юзера.

Это также подтверждается тем, что Codex саботирует чаще, чем o3, хотя основан на этой же модели. Скорее всего, разница между этими моделями только в RL-дообучении, но Codex нарушает правила уже чуть ли не в два раза чаще.

Похожую гипотезу, кстати, еще в 2017 описывал Ян Лейке. Но вот мы в 2025, обучаем агентов, которые с каждой новой статьей все больше отдают приоритет своим целям, а не человеческим инструкциям 💀
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from e/acc
Новая парадигма: ИИ находит новые (zero day) уязвимости в ядре Линукса.
Forwarded from e/acc
Claude 4 тут. Те, кто тестировал модель, утверждают, что она может эффективно автономно работать часами, особенно на задачах по программированию.
👍1
Forwarded from Китай.AI
👥 CN-AI-LEADERS | Знакомимся с лидерами индустрии

🤖 AI vs AI: Как искусственный интеллект меняет кибербезопасность


Китайские эксперты бьют тревогу: с развитием ИИ традиционные методы защиты от кибератак устаревают. Атаки становятся умнее, быстрее и незаметнее — но и защита не стоит на месте.

🔍 Основные угрозы:
1️⃣ Умный фишинг — ИИ анализирует соцсети и генерирует персонализированные письма, обходя фильтры спама.
2️⃣ Deepfake-атаки — злоумышленники подделывают голоса и лица (например, в Китае мошенники похитили более $500К, имитируя CEO через видеочат).
3️⃣ Автоматизированные атаки — ИИ сканирует уязвимости и генерирует вредоносный код (пример: DDoS на 3.2 Тбит/с против DeepSeek).
4️⃣ Отравление данных — внедрение ложной информации в обучающие наборы (опасно для медИИ и автономного транспорта).

🛡️ Защита будущего: ИИ против ИИ
Китайская компания Qingteng Cloud Security достигла ключевого прорыва в интеграции ИИ и безопасности и представила техническое превью первого в мире интеллектуального агента (L4-автономный агент) — «Wuxiang AI».

Решение самостоятельно обнаруживает угрозы и принимает решения через:
- Анализ логов + трафика
- Динамическое управление рисками
- Мультиагентное взаимодействие

💡 Технические детали
Архитектура "Wuxiang AI" использует:
- ReAct-циклы
- Двойной движок PlanAI + ActionAI
- Граф знаний для связи сущностей

Результат: 99.99% точность определения атак и сокращение времени реагирования с дней до минут.

"Через 3 года ИИ полностью изменит индустрию безопасности. Продукты будут создаваться для ИИ, а не для людей" — Чжан Фу, основатель Qingteng.

Сайт компании

Подробнее в оригинальной статье

#КитайскийИИ #КитайAI #Кибербезопасность #ИскусственныйИнтеллект #Deepfake #Фишинг #Технологии
🔥1
Forwarded from AISecHub
👍2
Forwarded from GitHub Community
Pydoll — совершает революцию в области автоматизации браузеров!

В отличие от других решений, он устраняет необходимость в веб-драйверах, обеспечивая плавную и надёжную автоматизацию с собственной асинхронной производительностью.

5️⃣ GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
Вау, Google раскатали приложение для локального запуска моделек на телефоне

Оно абсолютно бесплатное, опенсорсное и поддерживает даже мультимодальные модели. Инструкция, как запустить:

1. Заходим в репозиторий Google AI Edge Gallery, заходим в Releases и скачиваем файл .apk. Это для Android, на айфоны будет позже.

2. Заходим в приложение, скачиваем одну из моделей оттуда или загружаем свою.

3. Все, теперь вы можете пользоваться этой моделью локально, то есть оффлайн и только на ресурсах вашего телефона.

Особенно хорошо это работает с новыми Gemma 3n, адаптированными специально под локальный запуск.
👍2
Forwarded from База знаний AI
«Криптонит» предложил метод снижения ошибок нейросетей при смене обучающих данных

Новая методика базируется на изучении того, как «мягко» нейросети реагируют на изменения данных или параметров.

Во время проведенного исследования были обнаружены схожие тенденции в поведении различных нейросетей, что позволило предложить критерии оценки обобщающей способности. Эти критерии позволяют выполнить корректную оценку нейросетей, а также могут использоваться при создании моделей для минимизации потенциальных ошибок.

Как отмечают разработчики, «проявления ошибок ИИ могут быть самым разными, но причины их часто одинаковы и кроются в слабой предсказуемости поведения нейросетей при смене данных». Кроме того, обученные модели могут демонстрировать «впечатляющие метрики в лабораторных условиях, но резко снижать качество вывода при переходе к реальным данным», уточняют они.

Для реализации предложенной методики в компании написали библиотеку 🏷Loss Landscape Analysis для более гибкого подхода к построению и последующему анализу обобщающей способности нейросетей.

📃 Статья на arXiv

🔗Источник: https://kryptonite.ru/news/neural-network-make-mistakes/
Forwarded from SecureTechTalks
🛠️ Woodpecker: инструмент Red Team в эпоху ИИ, Kubernetes и API

Open-source инструмент, который поднимет ваш уровень киберзащиты

🤖 Woodpecker — это open-source фреймворк для Red Team-тестирования, разработанный компанией Operant AI. Он предназначен для:
➖Выявления уязвимостей в ИИ-моделях
➖Проверки безопасности Kubernetes-кластеров
➖Анализа защищенности API
➖Woodpecker помогает проактивно находить слабые места в инфраструктуре ещё до того, как ими воспользуются злоумышленники.

🌟 Основные возможности

🔐 AI Security
Тестирование моделей ИИ на атаки типа prompt injection
Проверка устойчивости к data poisoning
Анализ "поведенческих дыр" в логике ИИ-агентов

📦 Kubernetes Security
Поиск неправильных конфигураций
Выявление рисков эскалации привилегий
Мониторинг политик безопасности в реальном времени

🔗 API Security
Анализ слабых мест в API, включая:
• недостаточную аутентификацию
• некорректную обработку данных
• риски утечек информации

⚙️ Преимущества решения

✅ Автоматизация — минимизация ручного труда и времени на анализ
✅ Интеграция — легко встраивается в пайплайны CI/CD
✅ Open-source — полный контроль и прозрачность
✅ Современные стандарты — адаптация под сложные инфраструктуры, включая Kubernetes и облака
✅ Модульность — можно использовать только нужные функции

📈 В условиях взрывного роста ИИ, API и Kubernetes, традиционные подходы к киберзащите становятся недостаточными.
Woodpecker позволяет:
➖проактивно выявлять и устранять уязвимости
➖тестировать инфраструктуру в реальных условиях
➖обучать команды Red Team новым техникам атак и защиты

🔍 Ссылки:

📂 Официальный сайт
📚 GitHub-репозиторий

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #Woodpecker #RedTeam #CyberSecurity #OpenSource #AI #Kubernetes #API #DevSecOps #CloudSecurity
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1🔥1
Россия и Китай: новые правила ИИ

👨‍💻🔼 Директор Института системного программирования РАН Арутюн Аветисян принял участие в 6-й Всемирной выставке искусственного интеллекта (Global AI Expo 2025) в Шэньчжэне, где выступил с приглашённым докладом по теме доверенного ИИ (Trustworthy AI).

📌Это направление является одним из ключевых приоритетов для России, так как охватывает вопросы безопасности, прозрачности алгоритмов и этического регулирования — области, где российские разработки (например, в кибербезопасности и формальной верификации) имеют значительный научный задел.

💬В рамках выставки Арутюн Аветисян также выступил на форсайт-сессии Международного Альянса ИИ (AI Alliance Network), организованной Шэньчжэньской ассоциацией ИИ. Участие в дискуссии президента ассоциации г-на Сяо, китайских учёных и представителей Сбербанка (одного из лидеров в применении ИИ в России) подчёркивает растущую интеграцию российских технологических компаний и научных центров в мировые ИИ-альянсы.

💬Арутюн Аветисян, директор Института системного программирования, академик РАН, для НОП:

«Наше сотрудничество по искусственному интеллекту с научными и промышленными организациями Китая растёт год от года. В ходе форсайт-сессии обсуждались ключевые направления развития, интересные обеим сторонам. Особый акцент наряду с генеративным ИИ представители китайской стороны сделали на вопросах безопасности в контексте доверия – в первую очередь на тех, которые требуют прорывных научных результатов, необходимых для ускоренного внедрения ИИ. Данный факт ещё раз подтверждает, что проблемы доверия и безопасности, которыми уже несколько лет занимается Исследовательский центр доверенного ИИ ИСП РАН, приобрели глобальную значимость».
🤝Почему Китай — стратегический партнёр для России в сфере ИИ?

1️⃣Технологический суверенитет. Обе страны делают ставку на развитие собственных ИИ-экосистем, минимизируя зависимость от западных платформ.

2️⃣Дополняемость компетенций. Китай силён в масштабировании решений (компьютерное зрение, большие данные), Россия — в фундаментальных исследованиях (математические модели, безопасность).

3️⃣Совместные стандарты.
Участие в альянсах позволяет влиять на нормы регулирования ИИ.

🌎Приоритеты России в международном сотрудничестве по ИИ

— Доверенные технологии:
вектор на безопасность и объяснимость алгоритмов (особенно для критической инфраструктуры).

— Подготовка кадров: совместные лаборатории с Китаем и странами БРИКС для обмена опытом в образовательных программах.

— Открытый код vs. протекционизм: баланс между участием в глобальных open-source проектах (например, PyTorch) и защитой национальных разработок (например, российские фреймворки для обработки естественного языка).

#НОП
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1