Forwarded from НОП. Научно-образовательная политика
Россия и Китай: новые правила ИИ
👨💻 🔼 Директор Института системного программирования РАН Арутюн Аветисян принял участие в 6-й Всемирной выставке искусственного интеллекта (Global AI Expo 2025) в Шэньчжэне, где выступил с приглашённым докладом по теме доверенного ИИ (Trustworthy AI).
📌 Это направление является одним из ключевых приоритетов для России, так как охватывает вопросы безопасности, прозрачности алгоритмов и этического регулирования — области, где российские разработки (например, в кибербезопасности и формальной верификации) имеют значительный научный задел.
💬 В рамках выставки Арутюн Аветисян также выступил на форсайт-сессии Международного Альянса ИИ (AI Alliance Network), организованной Шэньчжэньской ассоциацией ИИ. Участие в дискуссии президента ассоциации г-на Сяо, китайских учёных и представителей Сбербанка (одного из лидеров в применении ИИ в России) подчёркивает растущую интеграцию российских технологических компаний и научных центров в мировые ИИ-альянсы.
💬 Арутюн Аветисян, директор Института системного программирования, академик РАН, для НОП:
🤝 Почему Китай — стратегический партнёр для России в сфере ИИ?
1️⃣ Технологический суверенитет. Обе страны делают ставку на развитие собственных ИИ-экосистем, минимизируя зависимость от западных платформ.
2️⃣ Дополняемость компетенций. Китай силён в масштабировании решений (компьютерное зрение, большие данные), Россия — в фундаментальных исследованиях (математические модели, безопасность).
3️⃣ Совместные стандарты.
Участие в альянсах позволяет влиять на нормы регулирования ИИ.
🌎 Приоритеты России в международном сотрудничестве по ИИ
— Доверенные технологии:
вектор на безопасность и объяснимость алгоритмов (особенно для критической инфраструктуры).
— Подготовка кадров: совместные лаборатории с Китаем и странами БРИКС для обмена опытом в образовательных программах.
— Открытый код vs. протекционизм: баланс между участием в глобальных open-source проектах (например, PyTorch) и защитой национальных разработок (например, российские фреймворки для обработки естественного языка).
#НОП
«Наше сотрудничество по искусственному интеллекту с научными и промышленными организациями Китая растёт год от года. В ходе форсайт-сессии обсуждались ключевые направления развития, интересные обеим сторонам. Особый акцент наряду с генеративным ИИ представители китайской стороны сделали на вопросах безопасности в контексте доверия – в первую очередь на тех, которые требуют прорывных научных результатов, необходимых для ускоренного внедрения ИИ. Данный факт ещё раз подтверждает, что проблемы доверия и безопасности, которыми уже несколько лет занимается Исследовательский центр доверенного ИИ ИСП РАН, приобрели глобальную значимость».
Участие в альянсах позволяет влиять на нормы регулирования ИИ.
— Доверенные технологии:
вектор на безопасность и объяснимость алгоритмов (особенно для критической инфраструктуры).
— Подготовка кадров: совместные лаборатории с Китаем и странами БРИКС для обмена опытом в образовательных программах.
— Открытый код vs. протекционизм: баланс между участием в глобальных open-source проектах (например, PyTorch) и защитой национальных разработок (например, российские фреймворки для обработки естественного языка).
#НОП
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from CodeCamp
Нашел крутое: code2prompt — open-source тулза, которая превращает кодовую базу в промт для LLM.
Сканирует проект, строит дерево, описывает файлы, фильтрует ненужное и автоматически копирует результат в буфер.
Хватаем годноту
Сканирует проект, строит дерево, описывает файлы, фильтрует ненужное и автоматически копирует результат в буфер.
Хватаем годноту
Forwarded from AISecHub
Agentic AI Red Teaming Guide.pdf
2.5 MB
Agentic AI Red Teaming Guide by Cloud Security Alliance
More info: https://cloudsecurityalliance.org/artifacts/agentic-ai-red-teaming-guide
More info: https://cloudsecurityalliance.org/artifacts/agentic-ai-red-teaming-guide
🔥1
Forwarded from AI для Всех (Artemii)
🧠🔍 Anthropic выложили в открытый доступ «рентген» для LLM
Сегодня ребята из Anthropic выложили в open-source свежайший circuit-tracer — библиотеку + веб-интерфейс, которые позволяют буквально «посветить фонариком» внутрь любых открытых LLM и посмотреть, как токены влияют друг на друга.
Что дают?
• Attribution graphs — автоматически строят граф «кто-на-кого влияет» (токены → фичи → логиты).
• Neuronpedia UI — кликаешь 👉 смотришь цепочки рассуждений, группируешь узлы, подписываешь и делишься ссылкой.
• Интервенции — в ноутбуке можно подкрутить найденные фичи и сразу увидеть, как меняется ответ модели.
Зачем это нам?
🔑 Интерпретируемость давно отставала от «качаем ещё 10B параметров». Теперь любой энтузиаст может проверить, какие цепочки выводят модель к финальному слову, найти баги рассуждений и даже чинить их on-the-fly.
Пробуйте, делитесь самыми странными цепочки — интересно, какие «мысленные кроличьи норы» вы откопаете! 🐇👆
Ссылка
Сегодня ребята из Anthropic выложили в open-source свежайший circuit-tracer — библиотеку + веб-интерфейс, которые позволяют буквально «посветить фонариком» внутрь любых открытых LLM и посмотреть, как токены влияют друг на друга.
Что дают?
• Attribution graphs — автоматически строят граф «кто-на-кого влияет» (токены → фичи → логиты).
• Neuronpedia UI — кликаешь 👉 смотришь цепочки рассуждений, группируешь узлы, подписываешь и делишься ссылкой.
• Интервенции — в ноутбуке можно подкрутить найденные фичи и сразу увидеть, как меняется ответ модели.
Зачем это нам?
🔑 Интерпретируемость давно отставала от «качаем ещё 10B параметров». Теперь любой энтузиаст может проверить, какие цепочки выводят модель к финальному слову, найти баги рассуждений и даже чинить их on-the-fly.
Пробуйте, делитесь самыми странными цепочки — интересно, какие «мысленные кроличьи норы» вы откопаете! 🐇
Ссылка
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Forwarded from Data Secrets
Anthropic опенсорснули свой микроскоп для LLM
Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM.
Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia.
Вот как это работает:
➖ вы выбираете модель,
➖ задаете промпт,
➖ настраиваете гиперпараметры (если хотите)
➖ ... и получаете большой аналитический граф того, как модель обдумывает ответ на ваш запрос. С этим графом можно взаимодействовать, рассматривать на разных уровнях и тд.
Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная
Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM.
Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia.
Вот как это работает:
Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from Пост Лукацкого
Австралийский регулятор (ACSC) разработал и выложил в открытый доступ документы по внедрению SIEM и SOAR, а также по работе с логами и событиями по ИБ, требуемыми для эффективного мониторинга ИБ. Очень неплохие документы 🤔
#SOC #средствазащиты #siem #soar
#SOC #средствазащиты #siem #soar
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Пост Лукацкого
27-30 мая в эстонском Таллине прошла очередная конференция CyCon 2025, на которой обсуждалось много всего разного из области киберконфликтов. Мне понравилось выступление Thomas Dullien (Halvar Flake) “Путешествие по кривой обучения", в котором автор высказал ряд очень интересных и откликающихся у меня мыслей на тему экономических законов и их применения в безопасности, в том числе и информационной. Вот несколько идей из его выступления с CyCon 2025, которые заставляют задуматься:
1️⃣ Экономика сильнее привычек. Суверенитет невозможен без производственных мощностей. Без своих чипов, дронов и серверов страна становится зависимой — как бы хорошо ни был настроен ее SOC.
2️⃣ Знание ≠ умение. Можно украсть документацию у TSMC, как делают китайцы, но повторить их опыт и производственный процесс — нет. Производственная компетенция не передается через шпионаж. Кибершпионаж не даст умения делать сложные продукты.
3️⃣ Масштаб — двигатель прогресса. Чтобы развивать передовые технологии (чипы, дроны, электромобили, LLM), нужен постоянный поток инвестиций + массовое производство для амортизации затрат. Intel, выигравшая у RISC за счет массового производства, потеряла технологическое лидерство, когда отказалась от массового мобильного рынка, - хороший урок для любых индустрий. Масштаб — ключевой фактор инноваций.
4️⃣ Война требует дешевого и массового. В мирной экономике выгодно уходить в “высокую добавленную стоимость” — люкс, финтех, брендированные товары и т.п., но экономика “премиальности” плохо масштабируется в конфликт. Современные войны выигрывают не "брендом", а количеством дешевых, эффективных решений. Пример - дешевые дроны в Украине ($500 за штуку), которые изменили тактику войны. Они — это “дорогие пули”, а не “дешевые самолеты”.
5️⃣ Баланс “безопасность ≠ эффективность” — вызов будущего. Защита на уровне runtime замедляет работу дрона на 10% → БПЛА с такой защитой проиграет более легкому и быстрому. Баланс между безопасностью и боевыми характеристиками станет важнейшей темой будущего.
6️⃣ Будущее — за автономными системами. На поле боя будут сражаться программные агенты. Защита станет не внешней “надстройкой”, а частью самой архитектуры ПО (привет, безопасная разработка). При этом появляются новые угрозы в кибербезопасности (jamming, атаки на “умные” решения, истощение энергии и т.п.).
7️⃣ Кибербезопасность перестает быть самостоятельной дисциплиной. Когда ПО везде, а чипы в каждом устройстве, “кибербезопасность” просто станет частью общей безопасности. “Кибер” — это часть общей инженерной и оборонной культуры.
8️⃣ Суверенитет требует производственных мощностей. Малые страны без массового производства теряют суверенитет и только крупные экономические блоки (ЕС, НАТО и т.п.), обеспечивающие внутренние объемы, смогут сохранить безопасность. Не уверен, что ШОС, ОДКБ и даже СНГ попадают в понятие такого блока.
9️⃣ Ошибки Запада. После 1990-х Запад вел себя так, будто войны невозможны. Военная промышленность стала “артельной” - мало, дорого, эксклюзивно. Такая модель создает риск потери способности к инновациям, что может привести к повтору судьбы Intel, но на уровне отдельных государств.
Как метко сказал Dullien: “против экономики не попрешь”. В новой реальности безопасность — это не только про NGFW и SOC, но и про индустриальную политику и учет экономических законов. Отказ от массового производства ради экономической эффективности может привести к потере безопасности в кризисной ситуации.
#экономика #суверенитет
Как метко сказал Dullien: “против экономики не попрешь”. В новой реальности безопасность — это не только про NGFW и SOC, но и про индустриальную политику и учет экономических законов. Отказ от массового производства ради экономической эффективности может привести к потере безопасности в кризисной ситуации.
#экономика #суверенитет
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from База знаний AI
ЦРТ интегрировала голосовой помощник Voice2X с GigaChat и разработала платформу для создания ИИ-агентов AgentNavigator
Обновленный голосовой помощник для промышленности 🏷Voice2X сочетает генеративные возможности ИИ с точным извлечением информации из корпоративных источников. Ответы формируются с опорой на актуальные документы и базы знаний. Для работы с голосовым помощником используется гарнитура.
В платформе 🏷AgentNavigator для создания ИИ-агентов также применяется 🏷GigaChat. Решение включает визуальный редактор для создания агента без написания кода, инструменты для интеграции с корпоративными информационными системами, внешними сервисами и базами данных, а также аналитический модуль.
Утверждается, что голосовой помощник ускорил типовые операции в два раза. AgentNavigator, по оценке ЦРТ, снизил стоимость запуска ИИ-агентов на 60–70%.
🔗 Источник 1: https://www.speechpro.ru/media/news/gruppa-crt-predstavila-golosovogo-pomoshnika-dlya-promyshlennosti-s-iskusstvennym-intellektom-gigach
🔗 Источник 2: https://www.speechpro.ru/media/news/gruppa-crt-razrabotala-platformu-agentnavigator-kotoraya-bolee-chem-na-60-uskoryaet-i-uproshaet-sozd
Обновленный голосовой помощник для промышленности 🏷Voice2X сочетает генеративные возможности ИИ с точным извлечением информации из корпоративных источников. Ответы формируются с опорой на актуальные документы и базы знаний. Для работы с голосовым помощником используется гарнитура.
В платформе 🏷AgentNavigator для создания ИИ-агентов также применяется 🏷GigaChat. Решение включает визуальный редактор для создания агента без написания кода, инструменты для интеграции с корпоративными информационными системами, внешними сервисами и базами данных, а также аналитический модуль.
Утверждается, что голосовой помощник ускорил типовые операции в два раза. AgentNavigator, по оценке ЦРТ, снизил стоимость запуска ИИ-агентов на 60–70%.
🔗 Источник 1: https://www.speechpro.ru/media/news/gruppa-crt-predstavila-golosovogo-pomoshnika-dlya-promyshlennosti-s-iskusstvennym-intellektom-gigach
🔗 Источник 2: https://www.speechpro.ru/media/news/gruppa-crt-razrabotala-platformu-agentnavigator-kotoraya-bolee-chem-na-60-uskoryaet-i-uproshaet-sozd
Forwarded from Data Secrets
Большой гайд по разработке агентов
Сбер внезапно сделали всем большой подарок: на конференции ЦИПР старший вице-президент компании Андрей Белевцев представил огромный практический гайд по созданию AI-агентов. Внутри:
– Все про то, кто такие агенты и как они работают
– Готовые скрипты и шаблоны для разработки и деплоя мультиагентных систем
– Прикладные рекомендации, основанные на опыте инженеров Сбера
Полезно будет всем: и ИТ-специалистам, и разработчикам, и руководителям.
Полную pdf-ку забираем абсолютно бесплатно здесь
Сбер внезапно сделали всем большой подарок: на конференции ЦИПР старший вице-президент компании Андрей Белевцев представил огромный практический гайд по созданию AI-агентов. Внутри:
– Все про то, кто такие агенты и как они работают
– Готовые скрипты и шаблоны для разработки и деплоя мультиагентных систем
– Прикладные рекомендации, основанные на опыте инженеров Сбера
Полезно будет всем: и ИТ-специалистам, и разработчикам, и руководителям.
Мы раскрываем наш практический опыт внедрения таких систем в сложном ИТ-ландшафте Сбера. Уверен, что документ станет ценным и полезным ресурсом на пути освоения и внедрения компаниями современных AI-технологий.
Полную pdf-ку забираем абсолютно бесплатно здесь
❤1👍1
Forwarded from AISecHub
This media is not supported in your browser
VIEW IN TELEGRAM
*🔹 MCP (Model Context Protocol) – Anthropic
Client-server setup. Lightweight. Stateless.
✅ Great for structured tool invocation workflows
❌ Less flexible beyond those use cases
🔹 A2A (Agent-to-Agent Protocol) – Google
Peer-to-peer, with HTTP-based discovery.
✅ Ideal for agent negotiation and interactions
✅ Supports both stateless and session-aware flows
❌ Requires a predefined agent directory
🔹 ANP (Agent Network Protocol) – Cisco
Fully decentralized. Think search-engine-style discovery.
✅ Built for open, autonomous AI networks
✅ Stateless with optional identity verification
❌ Protocol negotiation can be complex
🔹 ACP (Agent Communication Protocol) – IBM
Broker-mediated, session-rich, and enterprise-grade.
✅ Full runtime state tracking + modular agent tools
✅ Best for environments with governance and orchestration needs
❌ Relies on a central registry service
📌 Bottom line:
🔸MCP if you need speed and simplicity.
🔸A2A if your agents need to negotiate.
🔸ANP for open and decentralized agent ecosystems.
🔸ACP when modularity and governance are a must.
Client-server setup. Lightweight. Stateless.
✅ Great for structured tool invocation workflows
❌ Less flexible beyond those use cases
🔹 A2A (Agent-to-Agent Protocol) – Google
Peer-to-peer, with HTTP-based discovery.
✅ Ideal for agent negotiation and interactions
✅ Supports both stateless and session-aware flows
❌ Requires a predefined agent directory
🔹 ANP (Agent Network Protocol) – Cisco
Fully decentralized. Think search-engine-style discovery.
✅ Built for open, autonomous AI networks
✅ Stateless with optional identity verification
❌ Protocol negotiation can be complex
🔹 ACP (Agent Communication Protocol) – IBM
Broker-mediated, session-rich, and enterprise-grade.
✅ Full runtime state tracking + modular agent tools
✅ Best for environments with governance and orchestration needs
❌ Relies on a central registry service
📌 Bottom line:
🔸MCP if you need speed and simplicity.
🔸A2A if your agents need to negotiate.
🔸ANP for open and decentralized agent ecosystems.
🔸ACP when modularity and governance are a must.
Forwarded from AISecHub
Paper.pdf
3.1 MB
Mitigating Tool Squatting and Rug Pull Attacks in Model Context Protocol (MCP) by using OAuth-Enhanced Tool Definitions and Policy-Based Access Control
Forwarded from GitHub Community
Learn-agentic-ai — изучите агентный ИИ с помощью шаблона проектирования Dapr Agentic Cloud Ascent (DACA) и агентно-ориентированных облачных технологий.
5️⃣ GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Alaid TechThread
CyberGym: Evaluating AI Agents’ Cybersecurity
Capabilities with Real-World Vulnerabilities at Scale
https://arxiv.org/pdf/2506.02548
Capabilities with Real-World Vulnerabilities at Scale
https://arxiv.org/pdf/2506.02548
Forwarded from Похек
Ни один вывод с вашего сервера MCP не является безопасным
#MCP #AI #Anthropic #LLM #TPA #ATPA #FSP #pentest #research
Исследование CyberArk показало: MCP (Model Context Protocol) от Anthropic уязвим не только к классическим атакам Tool Poisoning (TPA), когда вредоносный код внедряют в описание инструмента, но и к Full-Schema Poisoning (FSP). Теперь атаковать можно любые поля схемы — имена параметров, типы, обязательные поля и даже новые незадокументированные элементы. Самое опасное — Advanced Tool Poisoning Attack (ATPA): вредоносная логика внедряется в вывод инструмента или сообщения об ошибках. LLM, считая их легитимными, может раскрывать чувствительные данные (например, приватные ключи) или выполнять вредоносные действия. Такие атаки сложно обнаружить — они могут активироваться только в продакшене и выглядеть безобидно на этапе тестирования. Вывод: доверять MCP-серверам нельзя, проверять нужно все поля и любые ответы инструментов
🔗 Читать полностью
🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK | 🌚 Мерч
#MCP #AI #Anthropic #LLM #TPA #ATPA #FSP #pentest #research
Исследование CyberArk показало: MCP (Model Context Protocol) от Anthropic уязвим не только к классическим атакам Tool Poisoning (TPA), когда вредоносный код внедряют в описание инструмента, но и к Full-Schema Poisoning (FSP). Теперь атаковать можно любые поля схемы — имена параметров, типы, обязательные поля и даже новые незадокументированные элементы. Самое опасное — Advanced Tool Poisoning Attack (ATPA): вредоносная логика внедряется в вывод инструмента или сообщения об ошибках. LLM, считая их легитимными, может раскрывать чувствительные данные (например, приватные ключи) или выполнять вредоносные действия. Такие атаки сложно обнаружить — они могут активироваться только в продакшене и выглядеть безобидно на этапе тестирования. Вывод: доверять MCP-серверам нельзя, проверять нужно все поля и любые ответы инструментов
Please open Telegram to view this post
VIEW IN TELEGRAM
Artificial_Intelligence_Vulnerability_Scoring_System_ОБЗОР.docx
26.6 KB
С помощью Deep Research сделал обзор AI Specific Metrics у AIVSS
Forwarded from KazDevOps
MCP — это стандарт, который помогает языковым моделям получать структурированные и машиночитаемые данные из внешних систем в реальном времени. Вместо использования статических обучающих данных ИИ-инструменты могут запрашивать актуальную информацию с помощью
JSON-over-gRPC для более точных и контекстно-зависимых ответов. Это позволяет ИИ-системам, таким как Claude, GitHub Copilot и ChatGPT, генерировать более точный и актуальный код Terraform, опираясь на проверенные источники вместо устаревших или вымышленных примеров из обучающих данных.
ИИ-модель может запросить входные аргументы для провайдера, шаблоны использования популярного модуля или последнюю доступную версию — через стандартизированные запросы к MCP-эндпоинту.
Terraform MCP Server пока на ранней стадии разработки, но уже был продемонстрирован на Microsoft Build 2025 в интеграции с GitHub Copilot. Это позволило разработчикам получать рекомендации по Terraform, основанные на данных из реестра, прямо в их IDE.
Делитесь новостью с коллегами
@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Анализ данных (Data analysis)
🦖 Tokasaurus — универсальный токенизатор с поддержкой 70+ языков
Tokasaurus — это быстрый и лёгкий инструмент для токенизации текста, созданный на базе библиотеки
🔍 Что умеет Tokasaurus:
• ✂️ Разбивает текст на токены для языковых моделей
• 🧠 Поддерживает GPT-совместимые токенизаторы (tiktoken, BPE и другие)
• 🌍 Работает с Python, JavaScript, C++, Rust, Markdown, JSON, YAML и многими другими
• ⚡ Очень быстрый — написан на Rust с Python-обёрткой
• 📦 Используется как CLI, Python-библиотека или Web API
🧪 Пример использования (Python):
🎯 Кому подойдёт:
• Тем, кто работает с LLM
• Для оценки длины prompt'ов
• Для предобработки кода и текста
• Для интеграции в пайплайны, IDE, аналитические инструменты
🔗 GitHub: github.com/ScalingIntelligence/tokasaurus
💡 Если тебе нужен универсальный и быстрый токенизатор — попробуй Tokasaurus.
@data_analysis_ml
Tokasaurus — это быстрый и лёгкий инструмент для токенизации текста, созданный на базе библиотеки
tokenizers от Hugging Face. Он поддерживает более 70 языков программирования и естественных языков.🔍 Что умеет Tokasaurus:
• ✂️ Разбивает текст на токены для языковых моделей
• 🧠 Поддерживает GPT-совместимые токенизаторы (tiktoken, BPE и другие)
• 🌍 Работает с Python, JavaScript, C++, Rust, Markdown, JSON, YAML и многими другими
• ⚡ Очень быстрый — написан на Rust с Python-обёрткой
• 📦 Используется как CLI, Python-библиотека или Web API
pip install tokasaurus
🧪 Пример использования (Python):
from tokasaurus import tokenize
tokens = tokenize("def hello(): print('Hi')", model="gpt2")
print(tokens)
🎯 Кому подойдёт:
• Тем, кто работает с LLM
• Для оценки длины prompt'ов
• Для предобработки кода и текста
• Для интеграции в пайплайны, IDE, аналитические инструменты
🔗 GitHub: github.com/ScalingIntelligence/tokasaurus
💡 Если тебе нужен универсальный и быстрый токенизатор — попробуй Tokasaurus.
@data_analysis_ml
👍2