ML&|Sec Feed
1.39K subscribers
1.31K photos
89 videos
293 files
2.02K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
Россия и Китай: новые правила ИИ

👨‍💻🔼 Директор Института системного программирования РАН Арутюн Аветисян принял участие в 6-й Всемирной выставке искусственного интеллекта (Global AI Expo 2025) в Шэньчжэне, где выступил с приглашённым докладом по теме доверенного ИИ (Trustworthy AI).

📌Это направление является одним из ключевых приоритетов для России, так как охватывает вопросы безопасности, прозрачности алгоритмов и этического регулирования — области, где российские разработки (например, в кибербезопасности и формальной верификации) имеют значительный научный задел.

💬В рамках выставки Арутюн Аветисян также выступил на форсайт-сессии Международного Альянса ИИ (AI Alliance Network), организованной Шэньчжэньской ассоциацией ИИ. Участие в дискуссии президента ассоциации г-на Сяо, китайских учёных и представителей Сбербанка (одного из лидеров в применении ИИ в России) подчёркивает растущую интеграцию российских технологических компаний и научных центров в мировые ИИ-альянсы.

💬Арутюн Аветисян, директор Института системного программирования, академик РАН, для НОП:

«Наше сотрудничество по искусственному интеллекту с научными и промышленными организациями Китая растёт год от года. В ходе форсайт-сессии обсуждались ключевые направления развития, интересные обеим сторонам. Особый акцент наряду с генеративным ИИ представители китайской стороны сделали на вопросах безопасности в контексте доверия – в первую очередь на тех, которые требуют прорывных научных результатов, необходимых для ускоренного внедрения ИИ. Данный факт ещё раз подтверждает, что проблемы доверия и безопасности, которыми уже несколько лет занимается Исследовательский центр доверенного ИИ ИСП РАН, приобрели глобальную значимость».
🤝Почему Китай — стратегический партнёр для России в сфере ИИ?

1️⃣Технологический суверенитет. Обе страны делают ставку на развитие собственных ИИ-экосистем, минимизируя зависимость от западных платформ.

2️⃣Дополняемость компетенций. Китай силён в масштабировании решений (компьютерное зрение, большие данные), Россия — в фундаментальных исследованиях (математические модели, безопасность).

3️⃣Совместные стандарты.
Участие в альянсах позволяет влиять на нормы регулирования ИИ.

🌎Приоритеты России в международном сотрудничестве по ИИ

— Доверенные технологии:
вектор на безопасность и объяснимость алгоритмов (особенно для критической инфраструктуры).

— Подготовка кадров: совместные лаборатории с Китаем и странами БРИКС для обмена опытом в образовательных программах.

— Открытый код vs. протекционизм: баланс между участием в глобальных open-source проектах (например, PyTorch) и защитой национальных разработок (например, российские фреймворки для обработки естественного языка).

#НОП
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from CodeCamp
Нашел крутое: code2prompt — open-source тулза, которая превращает кодовую базу в промт для LLM.

Сканирует проект, строит дерево, описывает файлы, фильтрует ненужное и автоматически копирует результат в буфер.

Хватаем годноту
Forwarded from AISecHub
Agentic AI Red Teaming Guide.pdf
2.5 MB
Agentic AI Red Teaming Guide by Cloud Security Alliance

More info: https://cloudsecurityalliance.org/artifacts/agentic-ai-red-teaming-guide
🔥1
Forwarded from AI для Всех (Artemii)
🧠🔍 Anthropic выложили в открытый доступ «рентген» для LLM

Сегодня ребята из Anthropic выложили в open-source свежайший circuit-tracer — библиотеку + веб-интерфейс, которые позволяют буквально «посветить фонариком» внутрь любых открытых LLM и посмотреть, как токены влияют друг на друга.

Что дают?

• Attribution graphs — автоматически строят граф «кто-на-кого влияет» (токены → фичи → логиты).
• Neuronpedia UI — кликаешь 👉 смотришь цепочки рассуждений, группируешь узлы, подписываешь и делишься ссылкой.
• Интервенции — в ноутбуке можно подкрутить найденные фичи и сразу увидеть, как меняется ответ модели.

Зачем это нам?
🔑 Интерпретируемость давно отставала от «качаем ещё 10B параметров». Теперь любой энтузиаст может проверить, какие цепочки выводят модель к финальному слову, найти баги рассуждений и даже чинить их on-the-fly.

Пробуйте, делитесь самыми странными цепочки — интересно, какие «мысленные кроличьи норы» вы откопаете! 🐇👆

Ссылка
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Forwarded from Data Secrets
Anthropic опенсорснули свой микроскоп для LLM

Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM.

Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia.

Вот как это работает:
➖ вы выбираете модель,
➖ задаете промпт,
➖ настраиваете гиперпараметры (если хотите)
➖ ... и получаете большой аналитический граф того, как модель обдумывает ответ на ваш запрос. С этим графом можно взаимодействовать, рассматривать на разных уровнях и тд.

Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Австралийский регулятор (ACSC) разработал и выложил в открытый доступ документы по внедрению SIEM и SOAR, а также по работе с логами и событиями по ИБ, требуемыми для эффективного мониторинга ИБ. Очень неплохие документы 🤔

#SOC #средствазащиты #siem #soar
Please open Telegram to view this post
VIEW IN TELEGRAM
27-30 мая в эстонском Таллине прошла очередная конференция CyCon 2025, на которой обсуждалось много всего разного из области киберконфликтов. Мне понравилось выступление Thomas Dullien (Halvar Flake) “Путешествие по кривой обучения", в котором автор высказал ряд очень интересных и откликающихся у меня мыслей на тему экономических законов и их применения в безопасности, в том числе и информационной. Вот несколько идей из его выступления с CyCon 2025, которые заставляют задуматься:

1️⃣ Экономика сильнее привычек. Суверенитет невозможен без производственных мощностей. Без своих чипов, дронов и серверов страна становится зависимой — как бы хорошо ни был настроен ее SOC.

2️⃣ Знание ≠ умение. Можно украсть документацию у TSMC, как делают китайцы, но повторить их опыт и производственный процесс — нет. Производственная компетенция не передается через шпионаж. Кибершпионаж не даст умения делать сложные продукты.

3️⃣ Масштаб — двигатель прогресса. Чтобы развивать передовые технологии (чипы, дроны, электромобили, LLM), нужен постоянный поток инвестиций + массовое производство для амортизации затрат. Intel, выигравшая у RISC за счет массового производства, потеряла технологическое лидерство, когда отказалась от массового мобильного рынка, - хороший урок для любых индустрий. Масштаб — ключевой фактор инноваций.

4️⃣ Война требует дешевого и массового. В мирной экономике выгодно уходить в “высокую добавленную стоимость” — люкс, финтех, брендированные товары и т.п., но экономика “премиальности” плохо масштабируется в конфликт. Современные войны выигрывают не "брендом", а количеством дешевых, эффективных решений. Пример - дешевые дроны в Украине ($500 за штуку), которые изменили тактику войны. Они — это “дорогие пули”, а не “дешевые самолеты”.

5️⃣ Баланс “безопасность ≠ эффективность” — вызов будущего. Защита на уровне runtime замедляет работу дрона на 10% → БПЛА с такой защитой проиграет более легкому и быстрому. Баланс между безопасностью и боевыми характеристиками станет важнейшей темой будущего.

6️⃣ Будущее — за автономными системами. На поле боя будут сражаться программные агенты. Защита станет не внешней “надстройкой”, а частью самой архитектуры ПО (привет, безопасная разработка). При этом появляются новые угрозы в кибербезопасности (jamming, атаки на “умные” решения, истощение энергии и т.п.).

7️⃣ Кибербезопасность перестает быть самостоятельной дисциплиной. Когда ПО везде, а чипы в каждом устройстве, “кибербезопасность” просто станет частью общей безопасности. “Кибер” — это часть общей инженерной и оборонной культуры.

8️⃣ Суверенитет требует производственных мощностей. Малые страны без массового производства теряют суверенитет и только крупные экономические блоки (ЕС, НАТО и т.п.), обеспечивающие внутренние объемы, смогут сохранить безопасность. Не уверен, что ШОС, ОДКБ и даже СНГ попадают в понятие такого блока.

9️⃣ Ошибки Запада. После 1990-х Запад вел себя так, будто войны невозможны. Военная промышленность стала “артельной” - мало, дорого, эксклюзивно. Такая модель создает риск потери способности к инновациям, что может привести к повтору судьбы Intel, но на уровне отдельных государств.

Как метко сказал Dullien: “против экономики не попрешь”. В новой реальности безопасность — это не только про NGFW и SOC, но и про индустриальную политику и учет экономических законов. Отказ от массового производства ради экономической эффективности может привести к потере безопасности в кризисной ситуации.

#экономика #суверенитет
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from База знаний AI
ЦРТ интегрировала голосовой помощник Voice2X с GigaChat и разработала платформу для создания ИИ-агентов AgentNavigator

Обновленный голосовой помощник для промышленности 🏷Voice2X сочетает генеративные возможности ИИ с точным извлечением информации из корпоративных источников. Ответы формируются с опорой на актуальные документы и базы знаний. Для работы с голосовым помощником используется гарнитура.

В платформе 🏷AgentNavigator для создания ИИ-агентов также применяется 🏷GigaChat. Решение включает визуальный редактор для создания агента без написания кода, инструменты для интеграции с корпоративными информационными системами, внешними сервисами и базами данных, а также аналитический модуль.

Утверждается, что голосовой помощник ускорил типовые операции в два раза. AgentNavigator, по оценке ЦРТ, снизил стоимость запуска ИИ-агентов на 60–70%.

🔗 Источник 1: https://www.speechpro.ru/media/news/gruppa-crt-predstavila-golosovogo-pomoshnika-dlya-promyshlennosti-s-iskusstvennym-intellektom-gigach
🔗 Источник 2: https://www.speechpro.ru/media/news/gruppa-crt-razrabotala-platformu-agentnavigator-kotoraya-bolee-chem-na-60-uskoryaet-i-uproshaet-sozd
Forwarded from Data Secrets
Большой гайд по разработке агентов

Сбер внезапно сделали всем большой подарок: на конференции ЦИПР старший вице-президент компании Андрей Белевцев представил огромный практический гайд по созданию AI-агентов. Внутри:

– Все про то, кто такие агенты и как они работают
– Готовые скрипты и шаблоны для разработки и деплоя мультиагентных систем
– Прикладные рекомендации, основанные на опыте инженеров Сбера

Полезно будет всем: и ИТ-специалистам, и разработчикам, и руководителям.
Мы раскрываем наш практический опыт внедрения таких систем в сложном ИТ-ландшафте Сбера. Уверен, что документ станет ценным и полезным ресурсом на пути освоения и внедрения компаниями современных AI-технологий.

Полную pdf-ку забираем абсолютно бесплатно здесь
❤1👍1
Forwarded from GitHub Community
PraisonAI — это готовая к производству среда Multi AI Agents, разработанная для создания агентов AI для автоматизации и решения проблем от простых задач до сложных задач.

5️⃣ GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecHub
This media is not supported in your browser
VIEW IN TELEGRAM
*🔹 MCP (Model Context Protocol) – Anthropic
Client-server setup. Lightweight. Stateless.
✅ Great for structured tool invocation workflows
❌ Less flexible beyond those use cases

🔹 A2A (Agent-to-Agent Protocol) – Google
Peer-to-peer, with HTTP-based discovery.
✅ Ideal for agent negotiation and interactions
✅ Supports both stateless and session-aware flows
❌ Requires a predefined agent directory

🔹 ANP (Agent Network Protocol) – Cisco
Fully decentralized. Think search-engine-style discovery.
✅ Built for open, autonomous AI networks
✅ Stateless with optional identity verification
❌ Protocol negotiation can be complex

🔹 ACP (Agent Communication Protocol) – IBM
Broker-mediated, session-rich, and enterprise-grade.
✅ Full runtime state tracking + modular agent tools
✅ Best for environments with governance and orchestration needs
❌ Relies on a central registry service

📌 Bottom line:

🔸MCP if you need speed and simplicity.
🔸A2A if your agents need to negotiate.
🔸ANP for open and decentralized agent ecosystems.
🔸ACP when modularity and governance are a must.
Forwarded from AISecHub
Paper.pdf
3.1 MB
Mitigating Tool Squatting and Rug Pull Attacks in Model Context Protocol (MCP) by using OAuth-Enhanced Tool Definitions and Policy-Based Access Control
Forwarded from GitHub Community
Learn-agentic-ai — изучите агентный ИИ с помощью шаблона проектирования Dapr Agentic Cloud Ascent (DACA) и агентно-ориентированных облачных технологий.

5️⃣ GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Alaid TechThread
CyberGym: Evaluating AI Agents’ Cybersecurity
Capabilities with Real-World Vulnerabilities at Scale

https://arxiv.org/pdf/2506.02548
Forwarded from Похек
Ни один вывод с вашего сервера MCP не является безопасным
#MCP #AI #Anthropic #LLM #TPA #ATPA #FSP #pentest #research

Исследование CyberArk показало: MCP (Model Context Protocol) от Anthropic уязвим не только к классическим атакам Tool Poisoning (TPA), когда вредоносный код внедряют в описание инструмента, но и к Full-Schema Poisoning (FSP). Теперь атаковать можно любые поля схемы — имена параметров, типы, обязательные поля и даже новые незадокументированные элементы. Самое опасное — Advanced Tool Poisoning Attack (ATPA): вредоносная логика внедряется в вывод инструмента или сообщения об ошибках. LLM, считая их легитимными, может раскрывать чувствительные данные (например, приватные ключи) или выполнять вредоносные действия. Такие атаки сложно обнаружить — они могут активироваться только в продакшене и выглядеть безобидно на этапе тестирования. Вывод: доверять MCP-серверам нельзя, проверять нужно все поля и любые ответы инструментов

🔗Читать полностью

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK | 🌚 Мерч
Please open Telegram to view this post
VIEW IN TELEGRAM
Artificial_Intelligence_Vulnerability_Scoring_System_ОБЗОР.docx
26.6 KB
С помощью Deep Research сделал обзор AI Specific Metrics у AIVSS
Forwarded from KazDevOps
👀 HashiCorp представила Terraform MCP Server: новый шаг в интеграции ИИ с IaC

MCP — это стандарт, который помогает языковым моделям получать структурированные и машиночитаемые данные из внешних систем в реальном времени. Вместо использования статических обучающих данных ИИ-инструменты могут запрашивать актуальную информацию с помощью JSON-over-gRPC для более точных и контекстно-зависимых ответов.

Это позволяет ИИ-системам, таким как Claude, GitHub Copilot и ChatGPT, генерировать более точный и актуальный код Terraform, опираясь на проверенные источники вместо устаревших или вымышленных примеров из обучающих данных.

ИИ-модель может запросить входные аргументы для провайдера, шаблоны использования популярного модуля или последнюю доступную версию — через стандартизированные запросы к MCP-эндпоинту.

Terraform MCP Server пока на ранней стадии разработки, но уже был продемонстрирован на Microsoft Build 2025 в интеграции с GitHub Copilot. Это позволило разработчикам получать рекомендации по Terraform, основанные на данных из реестра, прямо в их IDE.

Делитесь новостью с коллегами 🫡

@DevOpsKaz 😛
Please open Telegram to view this post
VIEW IN TELEGRAM
🦖 Tokasaurus — универсальный токенизатор с поддержкой 70+ языков

Tokasaurus — это быстрый и лёгкий инструмент для токенизации текста, созданный на базе библиотеки tokenizers от Hugging Face. Он поддерживает более 70 языков программирования и естественных языков.

🔍 Что умеет Tokasaurus:

• ✂️ Разбивает текст на токены для языковых моделей
• 🧠 Поддерживает GPT-совместимые токенизаторы (tiktoken, BPE и другие)
• 🌍 Работает с Python, JavaScript, C++, Rust, Markdown, JSON, YAML и многими другими
• ⚡ Очень быстрый — написан на Rust с Python-обёрткой
• 📦 Используется как CLI, Python-библиотека или Web API


pip install tokasaurus

🧪 Пример использования (Python):

from tokasaurus import tokenize

tokens = tokenize("def hello(): print('Hi')", model="gpt2")
print(tokens)


🎯 Кому подойдёт:

• Тем, кто работает с LLM
• Для оценки длины prompt'ов
• Для предобработки кода и текста
• Для интеграции в пайплайны, IDE, аналитические инструменты

🔗 GitHub: github.com/ScalingIntelligence/tokasaurus

💡 Если тебе нужен универсальный и быстрый токенизатор — попробуй Tokasaurus.

@data_analysis_ml
👍2