Forwarded from Yappi Days
Yappi Days. Эффективность и безопасность GenAI: код и редтиминг на практике
Генеративный ИИ ускоряет разработку, но создает новые риски. Как внедрять AI-инструменты, не жертвуя безопасностью и качеством? Разберем на реальных кейсах: от тестирования моделей на уязвимости до построения надежных AI-агентов.
Обсудим это на последнем митапе 2025 в Ярославле.
‼️ Регистрируйтесь – ведь вход бесплатный, а количество мест ограничено! https://vk.cc/cScPPa
Генеративный ИИ ускоряет разработку, но создает новые риски. Как внедрять AI-инструменты, не жертвуя безопасностью и качеством? Разберем на реальных кейсах: от тестирования моделей на уязвимости до построения надежных AI-агентов.
Обсудим это на последнем митапе 2025 в Ярославле.
‼️ Регистрируйтесь – ведь вход бесплатный, а количество мест ограничено! https://vk.cc/cScPPa
❤7
ИИ стал главным каналом утечки данных – что делать CISOНа портале CISO Club вышла наша совместная с “Инфосистемы Джет” статья о том, как генеративные ИИ-сервисы меняют ландшафт утечек корпоративных данных.
• 45% сотрудников крупных компаний уже используют GenAI в работе, и в 2025 году ИИ называют каналом утечек данных №1
• большинство утечек происходят не через файлы, а через обычный copy-paste из буфера обмена
• классические DLP-системы этот поток не контролируют
• перед CISO появляется новая задача: включить ИИ в контур безопасности, не запрещая его
В статье разбираем:
– как может выглядеть новая архитектура защиты ИИ-трафика
– три уровня стратегии: прокси-контроль, динамическое маскирование данных и цифровая гигиена
– практические шаги и чек-лист по противодействию утечкам
Если вы уже разрешили ИИ в компании, или понимаете, что это неизбежно в 2026 году – материал точно будет полезен.
👉 Читать статью на CISO Club
❤🔥5🔥5❤1👍1
DevSecOps Assessment Framework для ML от "Инфосистемы Джет"
🔍 Что это и зачем это нужно?
Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта.
В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ.
🛡 Основные положения фреймворка
• Контроль зависимостей, артефактов и SBOM/ML-BOM
• Защита сред разработки, секретов, CI/CD и SCM
• Анализ и очистка обучающих/валидационных данных (отравление, PII, jailbreak в RAG)
• Динамическое тестирование LLM на jailbreak, prompt injection и другие атаки
• Мониторинг, аудит и реагирование в продакшене
• Обучение команд требованиями ИБ
В документе в качестве примеров полезных инструментов для поиска уязвимостей в LLM упоминаются HiveTrace Red и Llamator — приятный комплимент инструментам сообщества 🤝
Если тема AI Security вам близка, рекомендуем изучить и использовать как чек-лист или дорожную карту для улучшений.
Ссылка на релиз:
https://github.com/Jet-Security-Team/DevSecOps-Assessment-Framework/releases/tag/2025.12.26
#MLSecOps #AISecurity #DevSecOps #LLMsecurity
Разбор Никиты Беляевского, разработчика HiveTrace Red (https://hivetrace.ru/red)
🔍 Что это и зачем это нужно?
Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта.
В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ.
🛡 Основные положения фреймворка
• Контроль зависимостей, артефактов и SBOM/ML-BOM
• Защита сред разработки, секретов, CI/CD и SCM
• Анализ и очистка обучающих/валидационных данных (отравление, PII, jailbreak в RAG)
• Динамическое тестирование LLM на jailbreak, prompt injection и другие атаки
• Мониторинг, аудит и реагирование в продакшене
• Обучение команд требованиями ИБ
В документе в качестве примеров полезных инструментов для поиска уязвимостей в LLM упоминаются HiveTrace Red и Llamator — приятный комплимент инструментам сообщества 🤝
Если тема AI Security вам близка, рекомендуем изучить и использовать как чек-лист или дорожную карту для улучшений.
Ссылка на релиз:
https://github.com/Jet-Security-Team/DevSecOps-Assessment-Framework/releases/tag/2025.12.26
#MLSecOps #AISecurity #DevSecOps #LLMsecurity
Разбор Никиты Беляевского, разработчика HiveTrace Red (https://hivetrace.ru/red)
GitHub
Release 2025.12.26 · Jet-Security-Team/DevSecOps-Assessment-Framework
Список изменений:
Актуализировали маппинг на ГОСТ 56939-2024
Добавили автомаппинг на BSIMM. Теперь проводя аудит по DAF можно сразу же получать результат относительно 5 фреймворков - ГОСТ 56939, D...
Актуализировали маппинг на ГОСТ 56939-2024
Добавили автомаппинг на BSIMM. Теперь проводя аудит по DAF можно сразу же получать результат относительно 5 фреймворков - ГОСТ 56939, D...
Перед праздниками команда HiveTrace поучаствовала в конференции нашего партнера Cloud.ru AI DevTools Conf. Юрий Лебединский, разработчик HiveTrace Red, провел воркшоп по теме «Современные методы тестирования безопасности ИИ». Юрий рассказал про инструменты тестирования приложений на базе LLM для разработчиков и продуктовых команд, обсудили актуальные фреймворки и подходы к AI security-тестированию, а также почему такие системы требуют специализированных средств тестирования🛡
В качестве практического примера провели демо HiveTrace Red – фреймворка для автоматизированного red teaming LLM‑приложений. На демо тестировали ⚔️ модель Qwen3‑Next‑80B‑A3B‑Instruct, и часть атак показала success rate до 100%.
Также на конференции выступил Евгений Кокуйкин с темой “Уязвимости агентных систем и методы защиты”. В своем выступлении Евгений описал различные векторы атак на агентные системы, включая попытки отравления памяти агента через инъекции в базу знаний и социальную инженерию, а также рассказал про новый гайд OWASP Top 10 Agentic.
📺 Полная запись его выступления здесь.
В качестве практического примера провели демо HiveTrace Red – фреймворка для автоматизированного red teaming LLM‑приложений. На демо тестировали ⚔️ модель Qwen3‑Next‑80B‑A3B‑Instruct, и часть атак показала success rate до 100%.
Также на конференции выступил Евгений Кокуйкин с темой “Уязвимости агентных систем и методы защиты”. В своем выступлении Евгений описал различные векторы атак на агентные системы, включая попытки отравления памяти агента через инъекции в базу знаний и социальную инженерию, а также рассказал про новый гайд OWASP Top 10 Agentic.
📺 Полная запись его выступления здесь.
❤6👍2
АФТ_AI Security в финтехе.pdf
2.2 MB
В приложении свежее исследование “AI Security в финтехе” от Ассоциации ФинТех и компании Swordfish. Это хороший сигнал для всего рынка: появление таких работ означает, что безопасность ИИ перестала быть экзотикой и перешла в стадию системного осмысления и практики.
Отдельно приятно видеть, что HiveTrace и Llamator упомянуты в подборках специализированных решений по AI Security.
Ключевые инсайты исследования:
✅ атаки на ИИ перестали быть гипотетическими – более 25% компаний уже сталкивались с инцидентами;
✅ главная угроза для большинства это утечки конфиденциальных данных через ИИ (75%);
✅ службы ИБ переходят от разрозненных мер к системному мониторингу и редтимингу;
✅ спрос на специализированные AI Security-платформы растет.
Рынок взрослеет и переходит от простых агентных систем к расширенному пониманию рисков. С развитием агентных будет только интереснее 🚀
Отдельно приятно видеть, что HiveTrace и Llamator упомянуты в подборках специализированных решений по AI Security.
Ключевые инсайты исследования:
✅ атаки на ИИ перестали быть гипотетическими – более 25% компаний уже сталкивались с инцидентами;
✅ главная угроза для большинства это утечки конфиденциальных данных через ИИ (75%);
✅ службы ИБ переходят от разрозненных мер к системному мониторингу и редтимингу;
✅ спрос на специализированные AI Security-платформы растет.
Рынок взрослеет и переходит от простых агентных систем к расширенному пониманию рисков. С развитием агентных будет только интереснее 🚀
🔥6❤2
Forwarded from CISOCLUB - кибербезопасность и ИТ
OWASP выпускает Top 10 для Agentic AI: почему это важно?
Как новые автономные ИИ-агенты ломают привычные модели безопасности – и как понять, какие риски они несут вашему бизнесу.
Если в вашей компании уже появляются или планируются AI-агенты, эта статья поможет вам:
понять, какие именно угрозы они создают;
▫️увидеть, чем агентные системы опаснее обычных LLM;
▫️получить практическую модель мышления, которую можно использовать в ▫️моделировании угроз и диалоге с командами разработки;
▫️разобраться, что именно проверять в своих AI-инициативах уже сейчас.
Речь пойдет о новом документе OWASP Top 10 for Agentic Applications, первом отраслевом стандарте, который системно описывает угрозы автономных ИИ-систем, а не просто чат-ботов. За 2025 год OWASP GenAI Project выпустил около 30 различных документов, но именно этот является одним из самых главных.
Прочитать статью от Hivetrace можно здесь.
📤 MAX | 📺 RuTube | 📝 Дзен | 📺 YouTube | 🅱 VK
Как новые автономные ИИ-агенты ломают привычные модели безопасности – и как понять, какие риски они несут вашему бизнесу.
Если в вашей компании уже появляются или планируются AI-агенты, эта статья поможет вам:
понять, какие именно угрозы они создают;
▫️увидеть, чем агентные системы опаснее обычных LLM;
▫️получить практическую модель мышления, которую можно использовать в ▫️моделировании угроз и диалоге с командами разработки;
▫️разобраться, что именно проверять в своих AI-инициативах уже сейчас.
Речь пойдет о новом документе OWASP Top 10 for Agentic Applications, первом отраслевом стандарте, который системно описывает угрозы автономных ИИ-систем, а не просто чат-ботов. За 2025 год OWASP GenAI Project выпустил около 30 различных документов, но именно этот является одним из самых главных.
Прочитать статью от Hivetrace можно здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Forwarded from Al Talent Hub
This media is not supported in your browser
VIEW IN TELEGRAM
➡️ На AI Security Meetup LLAMATOR x Selectel в Питере разобрали то, о чём редко говорят в туториалах:
атаки на LLM, промпт-инъекции, джейлбрейки, редтиминг, on-prem решения и безопасность агентных систем.
Не смог присоединиться? Лови запись всех докладов митапа:
от развёртывания собственной LLM до тестирования агентов, чтобы они не вышли из-под контроля.
Бонус: Игра защищ[АI] — обойди защиту ИИ, если сможешь😏
🧡 — был на митапе
#AITalentHub #ITMO #NapoleonIT
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥2
В свежей статье на Хабре магистрант из AI Security Lab Маргарита Пузырева рассматривает гардрейлы от OpenAI. Ее тестирование выявило ряд проблем.
⚡️ Ложные срабатывания. Детектор PERSON воспринимает имена литературных персонажей как персональные данные. В тестах на вопросах о книге «451 градус по Фаренгейту» PII-гардрейл срабатывал в 28% случаев без реальных ПД.
⚡️ Нестабильное распознавание русских ФИО: в 40% случаев детектор PII не срабатывал на русские ФИО.
⚡️ Ошибки в определении паспортных данных: номер паспорта часто классифицируются как дата/время (84%) или телефон (52%).
Вывод: защита из коробки пока не обеспечивает заявленный уровень безопасности. Статья здесь.
⚡️ Ложные срабатывания. Детектор PERSON воспринимает имена литературных персонажей как персональные данные. В тестах на вопросах о книге «451 градус по Фаренгейту» PII-гардрейл срабатывал в 28% случаев без реальных ПД.
⚡️ Нестабильное распознавание русских ФИО: в 40% случаев детектор PII не срабатывал на русские ФИО.
⚡️ Ошибки в определении паспортных данных: номер паспорта часто классифицируются как дата/время (84%) или телефон (52%).
Вывод: защита из коробки пока не обеспечивает заявленный уровень безопасности. Статья здесь.
Хабр
OpenAI Guardrails — безопасность или лишь её иллюзия?
Guardrails — это фреймворк безопасности для LLM-приложений, предназначенный для автоматической проверки входных и выходных данных с помощью настраиваемых правил и проверок. В экосистеме OpenAI...
🔥8
Каскадные ошибки (cascading failures) признаны OWASP одним из ключевых рисков агентных AI-систем (ASI08): такие ошибки возникают на ранних этапах обработки и могут незаметно распространяться через компоненты системы, при этом они усиливаются и становятся трудными для обнаружения.
Однако, несмотря на признанный риск, большинство существующих обсуждений каскадных ошибок носят концептуальный или описательный характер, и воспроизводимых экспериментальных пайплайнов по этой теме до сих пор не было.
Студентка AI Talent Hub ИТМО Вера Краснобаева погрузилась в изучение каскадов и решила построить мультиагентную систему, на которой можно было бы их воспроизводить и изучать.
1️⃣ Взяла за основу один из текущих проектов OWASP'а – FinBot (на начало ее проекта он был одноагентным);
2️⃣ расширила его архитектуру до четырех агентов;
3️⃣ и начала прорабатывать сценарии, которые бы вызывали каскадные отказы в системе.
В итоге получилось создать 10 воспроизводимых сценариев в финансовом домене, а также построить свою классификацию каскадных сбоев:
📍 "dirty data cascade" – каскад получается из-за явных ошибок в данных;
📍 "half-cascade" – каскад начинается в начале цепочки, но не доходит до конца,
📍 "midchain cascade" – каскад наоборот начинается в середине и доходит до конца
📍 и самый опасный для систем сбой – "full cascade": каскад идет от первого до последнего агента.
Результаты позволяют смотреть на этот риск более систематически, а также углубляться в эту тему на примере конкретной системы.
👉 Подробности в посте на медиуме
Однако, несмотря на признанный риск, большинство существующих обсуждений каскадных ошибок носят концептуальный или описательный характер, и воспроизводимых экспериментальных пайплайнов по этой теме до сих пор не было.
Студентка AI Talent Hub ИТМО Вера Краснобаева погрузилась в изучение каскадов и решила построить мультиагентную систему, на которой можно было бы их воспроизводить и изучать.
1️⃣ Взяла за основу один из текущих проектов OWASP'а – FinBot (на начало ее проекта он был одноагентным);
2️⃣ расширила его архитектуру до четырех агентов;
3️⃣ и начала прорабатывать сценарии, которые бы вызывали каскадные отказы в системе.
В итоге получилось создать 10 воспроизводимых сценариев в финансовом домене, а также построить свою классификацию каскадных сбоев:
📍 "dirty data cascade" – каскад получается из-за явных ошибок в данных;
📍 "half-cascade" – каскад начинается в начале цепочки, но не доходит до конца,
📍 "midchain cascade" – каскад наоборот начинается в середине и доходит до конца
📍 и самый опасный для систем сбой – "full cascade": каскад идет от первого до последнего агента.
Результаты позволяют смотреть на этот риск более систематически, а также углубляться в эту тему на примере конкретной системы.
👉 Подробности в посте на медиуме
1🔥9❤1
Проведение научных экспериментов с разными моделями требует вычислительных ресурсов и большого количества токенов.
Команда AI Security Lab благодарит vsellm.ru за предоставленный грант на доступ к API и популярным моделям. Эта поддержка позволит нам завершить текущие исследования и ускорить подготовку научных публикаций. Спасибо! 💛
Если вы подбираете провайдера с доступом к большому числу моделей и хорошими ценами регистрируйтесь по нашей реферальной ссылке и получите больше токенов за первое пополнение: https://vsellm.ru/registration?ref=FGAXAGC5TETC
Команда AI Security Lab благодарит vsellm.ru за предоставленный грант на доступ к API и популярным моделям. Эта поддержка позволит нам завершить текущие исследования и ускорить подготовку научных публикаций. Спасибо! 💛
Если вы подбираете провайдера с доступом к большому числу моделей и хорошими ценами регистрируйтесь по нашей реферальной ссылке и получите больше токенов за первое пополнение: https://vsellm.ru/registration?ref=FGAXAGC5TETC
👍8🔥3
Forwarded from Al Talent Hub
Завершаем серию легендарных выпусков — выбирай чему учиться сегодня
Разбираем разницу между RAG, агентами и мультиагентными системами, а затем на практике собираем простого AI-ассистента (Jarvis) с роутером агентов, код-агентом и RAG-поиском.
Показываем, как защитить AI-агента от утечек данных, prompt-атак и токсичного контента, и собираем базовый guardrails-слой с фильтрацией и логированием.
Мониторим и тестируем LLM-агентов с помощью Langfuse и DeepEval, чтобы находить баги и отслеживать качество их работы.
Сохраняем и летим смотреть!
🐘 — и спикеры интересные
@aitalenthubnews
#ITMO #NapoleonIT
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥3👍3🔥1
Forwarded from Евгений Кокуйкин - Raft
AI red teaming постепенно становится отдельным рынком. Это видно и по покупке команды PromptFoo гигантом OpenAI, и по тому, как российские ИБ-компании уже оценивают рост атак через ИИ-уязвимости.
Это хорошо совпадает с тем, что мы видим на рынке сами. Полгода назад мы выпустили open source версию HiveTrace Red, а сегодня анонсируем запуск HiveTrace Red Enterprise 🚀
24 марта проведем вебинар, где подробно расскажем, как сегодня устроены проекты по тестированию ИИ-систем и как усилить практику пентеста с помощью наших инструментов. Новую версию мы готовы бесплатно предоставить партнерам, которым интересно развивать у себя направление AI red teaming и предлагать такие проекты своим клиентам.
Ссылка на регистрацию: https://aisecuritylab.timepad.ru/event/3868359/
Подробнее о HiveTrace Red Enterprise: hivetrace.ru/red
Это хорошо совпадает с тем, что мы видим на рынке сами. Полгода назад мы выпустили open source версию HiveTrace Red, а сегодня анонсируем запуск HiveTrace Red Enterprise 🚀
24 марта проведем вебинар, где подробно расскажем, как сегодня устроены проекты по тестированию ИИ-систем и как усилить практику пентеста с помощью наших инструментов. Новую версию мы готовы бесплатно предоставить партнерам, которым интересно развивать у себя направление AI red teaming и предлагать такие проекты своим клиентам.
Ссылка на регистрацию: https://aisecuritylab.timepad.ru/event/3868359/
Подробнее о HiveTrace Red Enterprise: hivetrace.ru/red
❤2🔥1
Мы готовим новые гарды - и пока они в разработке, Богдан Минко из нашей лаборатории написал статью об архитектуре, на которой они построены.
Если вы работаете с NER, классификацией текста или извлечением информации - там есть класс задач где маленький энкодер сравним по качеству с ChatGPT, но с выигрышем по скорости, стоимости и без vendor lock-in.
Разбор эволюции zero-shot энкодеров от UniNER до GLiNER 2 с ключевыми инсайтами 👇
https://habr.com/ru/companies/raft/articles/1010028/
Если вы работаете с NER, классификацией текста или извлечением информации - там есть класс задач где маленький энкодер сравним по качеству с ChatGPT, но с выигрышем по скорости, стоимости и без vendor lock-in.
Разбор эволюции zero-shot энкодеров от UniNER до GLiNER 2 с ключевыми инсайтами 👇
https://habr.com/ru/companies/raft/articles/1010028/
Хабр
Тихая эволюция zero-shot энкодеров. От UniNER до GLiNER 2
Эта статья является адаптацией моей статьи , опубликованной в Towards AI Intro Большие языковые модели показывают впечатляющую обобщающую способность, причём не только в задачах генерации текста вроде...
🔥6👏1
Безопасность агентных систем: разбираем OWASP Agentic Top 10 и модель Trifecta
Вышла новая статья о защите агентных приложений — разбираем ключевые подходы, риски и roadmap внедрения защиты.
О чем статья:
✔️ модель Trifecta: как private data, untrusted content и external communication создают риск утечки;
✔️ типовые сценарии с реальными рисками: корпоративные агенты, RAG‑агент, агент‑оркестратор;
✔️ поэтапный roadmap защиты: от аудита до сегментации памяти и трассировки действий;
✔️ ключевые принципы: policy enforcement, least privilege, JIT, egress control, sandbox;
✔️ ограничения существующих решений и важность операционной дисциплины.
👉 Читайте по ссылке: https://habr.com/ru/articles/1014474/
Вышла новая статья о защите агентных приложений — разбираем ключевые подходы, риски и roadmap внедрения защиты.
О чем статья:
✔️ модель Trifecta: как private data, untrusted content и external communication создают риск утечки;
✔️ типовые сценарии с реальными рисками: корпоративные агенты, RAG‑агент, агент‑оркестратор;
✔️ поэтапный roadmap защиты: от аудита до сегментации памяти и трассировки действий;
✔️ ключевые принципы: policy enforcement, least privilege, JIT, egress control, sandbox;
✔️ ограничения существующих решений и важность операционной дисциплины.
👉 Читайте по ссылке: https://habr.com/ru/articles/1014474/
Хабр
Защита агентных приложений по OWASP Agentic Top 10 и модели Trifecta
Все мы знаем, что агентные системы давно не просто "чат-боты 2.0". Это уже полноценные приложения, которые: планируют выполняют сложные цепочки действий вызывают инструменты (API/FS/shell/browser)...
❤6
24 марта мы провели вебинар на тему AI-пентеста / редтиминга ИИ-систем
Показали в действии Enterprise-версию нашего фреймворка для автоматизированного тестирования ИИ-систем HiveTrace Red.
Материалы вебинара:
Презентация | VK Video | YouTube
Если вы хотите войти на рынок ИИ-пентеста, пройти обучение от HiveTrace и получить бесплатно инструмент автоматизированного тестирования HiveTrace Red, заполните заявку на вступление в партнерскую программу.
>> ПОДАТЬ ЗАЯВКУ <<
Обсудили:
👉Что такое AI-пентест / редтиминг ИИ-систем
👉Почему растет рынок ИИ-пентеста
👉Как делать проекты
👉Как на этом заработать интегратору
Показали в действии Enterprise-версию нашего фреймворка для автоматизированного тестирования ИИ-систем HiveTrace Red.
Материалы вебинара:
Презентация | VK Video | YouTube
Если вы хотите войти на рынок ИИ-пентеста, пройти обучение от HiveTrace и получить бесплатно инструмент автоматизированного тестирования HiveTrace Red, заполните заявку на вступление в партнерскую программу.
>> ПОДАТЬ ЗАЯВКУ <<
❤6🔥3
Две статьи ребят из нашей лаборатории вошли в программу AINL 2026
✍ Cross-Lingual Jailbreak Detection via Semantic Codebooks — Ширин Аланова, магистрантка AI Talent Hub, ITMO University & HiveTraceLab
✍ Cascading Failures in Multi-Agent LLM Systems —
Вера Краснобаева, магистрантка AI Talent Hub, ITMO University & AI Security Lab
AINL — одна из ключевых академических конференций по NLP и AI в России.
Полную информацию об исследованиях, можно будет прочитать осенью 🔜 cледите за новостями
⚡️ — если поддерживаешь спикеров
❤️— если хочешь также
Большинство защитных фильтров LLM заточены под английский. Переведи вредоносный запрос на русский, арабский или китайский — и фильтр может просто не среагировать.
Ширин и команда проверили, реально ли ловить такие атаки без дообучения модели. Идея простая: сравнивать семантическую близость входящего запроса с набором известных английских джейлбрейков через мультиязычные эмбеддинги BGE-M3 и косинусное сходство. Протестировали на четырёх языках, нескольких бенчмарках и разных моделях — Qwen, Llama, GPT-3.5. Результаты получились неоднородные: на одних типах атак метод держится стабильно, на других проседает.
Вера Краснобаева, магистрантка AI Talent Hub, ITMO University & AI Security Lab
OWASP включил каскадные ошибки в мультиагентных LLM-системах в топ-10 рисков агентных систем. При этом открытых инструментов для их изучения почти не существовало — ни воспроизводимых пайплайнов, ни нормальных исследований.
Вера взяла OWASP-проект FinBot и начала строить на его основе мультиагентную архитектуру: четыре агента в линейной цепочке — Validator, Risk Analyzer, Approval и Payment Processor. Первые же эксперименты показали два сценария, в которых возникают каскады: грязные входные данные и неверные суждения самих агентов. Заодно получилась таксономия каскадных ошибок.
Дальше работа доросла до контрибьюта в OWASP. Вера подхватила мультиагентную архитектуру, которую к тому времени начали набрасывать сами разработчики FinBot, доделала агентов и замапила их на роли в каскадном пайплайне. Теперь в портале FinBot есть отдельный Cascade Lab — с живой демонстрацией того, как каскадные ошибки работают на реальном пайплайне.
AINL — одна из ключевых академических конференций по NLP и AI в России.
Полную информацию об исследованиях, можно будет прочитать осенью 🔜 cледите за новостями
❤️— если хочешь также
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡9🔥7❤5❤🔥2
Многие форматы хранения ML-моделей вместе с весами позволяют сохранить в единый артефакт с самой моделью еще и код или инструкции, которые впоследствии могут выполниться во время десериализации.
Это повышает риски нарушения информационной безопасности – через создание специально подготовленного файла становится возможной атака на цепочку поставок программного обеспечения.
Для борьбы с угрозой разработчики Hugging Face внедрили в платформу множество инструментов для проверки репозиториев моделей, в их число входят: Picklescan, ModelScan, ClamAV, JFrog Scanner, VirusTotal.
➡️ Что это за инструмент, какие у него есть особенности – читайте в нашей новой статье на Хабре!
Это повышает риски нарушения информационной безопасности – через создание специально подготовленного файла становится возможной атака на цепочку поставок программного обеспечения.
Для борьбы с угрозой разработчики Hugging Face внедрили в платформу множество инструментов для проверки репозиториев моделей, в их число входят: Picklescan, ModelScan, ClamAV, JFrog Scanner, VirusTotal.
Вячеслав Мосин, магистрант AI Talent Hub, ITMO University & AI Security Lab - исследовал еще один аналогичный инструмент, заслуживающий внимания, который пока еще не используется на HF
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера
Содержание (кликабельно) Введение Первый эксперимент - сканируем модели в наиболее опасных форматах хранения Анализ сработок самой уловистой модели Анализ всех критических сработок из сканирования...
🔥5❤2
Awillix проводят Pentest Award 2026 - ежегодную премию для пентестеров. Появилась специальная номинация AI: prompt injection, jailbreak, атаки на агентов и RAG-пайплайны.
HiveTrace и AI Security Lab выступают информационными партнёрами премии. Рекомендуем принять участие - показать, что умеешь и получить признание среди крутых специалистов.
Оставляй заявку до 12 июля
Please open Telegram to view this post
VIEW IN TELEGRAM
award.awillix.ru
Ежегодная премия для пентестеров 2026
Pentest award 2026
🔥8
Открыли в open-source GLiNER Guard — компактную модель для модерации LLM-запросов и защиты персональных данных.
Отличие GLiNER Guard от других Guard моделей:
Вместо тяжёлых, дорогих — других guardrai-моделей — быстрый энкодер, который за один проход и проверяет unsafe-запросы, находит персональные данные (имена, адреса, телефоны, email и другое, что нельзя скармливать LLM), и работает как первый фильтр перед большими моделями.
Что ещё в релизе:
Вместе с моделью выпустили PII-Bench — бенчмарк для оценки качества поиска персональных данных. Тоже в открытом доступе.
Где забрать:
Тех репорт: https://arxiv.org/abs/2605.05277
Модели: https://huggingface.co/collections/hivetrace/gliner-guard-v1
Бенчмарк: https://huggingface.co/datasets/hivetrace/pii-bench
👤 Автор: Богдан Минко, ML Engineer в HiveTrace, магистрант AI Talent Hub, ITMO University & AI Security Lab
👤 Редакция: Сабрина Садиех, R&D Lead в HiveTrace, магистрантка HSE.
⚡️ - автору за open-source
❤️ - сохраняю, буду тестировать
Отличие GLiNER Guard от других Guard моделей:
Вместо тяжёлых, дорогих — других guardrai-моделей — быстрый энкодер, который за один проход и проверяет unsafe-запросы, находит персональные данные (имена, адреса, телефоны, email и другое, что нельзя скармливать LLM), и работает как первый фильтр перед большими моделями.
Что ещё в релизе:
Вместе с моделью выпустили PII-Bench — бенчмарк для оценки качества поиска персональных данных. Тоже в открытом доступе.
Где забрать:
Тех репорт: https://arxiv.org/abs/2605.05277
Модели: https://huggingface.co/collections/hivetrace/gliner-guard-v1
Бенчмарк: https://huggingface.co/datasets/hivetrace/pii-bench
⚡️ - автору за open-source
❤️ - сохраняю, буду тестировать
Please open Telegram to view this post
VIEW IN TELEGRAM
51❤🔥23⚡9
GLiNER Guard omni был добавлен в PII Masking Leaderboard
Лидерборд включает четыре датасета:
➡️ Ai4Privacy OpenPII 1M - мультиязычный датасет с ПД на 23 языка
➡️ NVIDIA Nemotron-PII - датасет, на котором Nvidia тренировала свой GLiNER PII
➡️ Gretel PII Masking EN v1 - синтетический датасет от Gretel AI
➡️ Privy - датасет с PII в контексте API/логов.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
➡️ Обучение на русском и английском не сломало мультиязычный претрен модели (OpenPII Sota)
➡️ Обобщаемая модель, которая умеет и детекцию ПД и Safety классификацию - конкурирует со специализированными
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения.
Лидерборд включает четыре датасета:
На OpenPII наш gliner-guard-omni занял 1-е место с F2 = 0.930, обойдя не только privacy-filter от OpenAI, но и GLiNER PII от Nvidia, и обе модели OpenMed SuperClinical.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤1