GLiNER Guard omni был добавлен в PII Masking Leaderboard
Лидерборд включает четыре датасета:
➡️ Ai4Privacy OpenPII 1M - мультиязычный датасет с ПД на 23 языка
➡️ NVIDIA Nemotron-PII - датасет, на котором Nvidia тренировала свой GLiNER PII
➡️ Gretel PII Masking EN v1 - синтетический датасет от Gretel AI
➡️ Privy - датасет с PII в контексте API/логов.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
➡️ Обучение на русском и английском не сломало мультиязычный претрен модели (OpenPII Sota)
➡️ Обобщаемая модель, которая умеет и детекцию ПД и Safety классификацию - конкурирует со специализированными
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения.
Лидерборд включает четыре датасета:
На OpenPII наш gliner-guard-omni занял 1-е место с F2 = 0.930, обойдя не только privacy-filter от OpenAI, но и GLiNER PII от Nvidia, и обе модели OpenMed SuperClinical.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤1
Forwarded from Артем Бутомов про ИИ (Артём Бутомов)
Атаки на агентные LLM-системы
Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ.
После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос — и агент готов переслать письмо на внешний адрес.
Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass. Тезисы приняты, репорты поданы в Bug Bounty. Работа в рамках курса AI Security ИТМО AI Talent Hub под руководством Евгения Кокуйкина.
#bugbounty #promptinjection #llmsecurity #aisecurity
Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ.
После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос — и агент готов переслать письмо на внешний адрес.
Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass. Тезисы приняты, репорты поданы в Bug Bounty. Работа в рамках курса AI Security ИТМО AI Talent Hub под руководством Евгения Кокуйкина.
#bugbounty #promptinjection #llmsecurity #aisecurity
🔥11❤1
Исследователи из AI Security Lab Герман Кочнев @germKo и Иван Александров @ivanich_spb опубликовали вводный курс по секьюрити на платформе Stepik без кода и с большим количеством практики.
Курс CTF-чемпионат, где студент руками проходит путь от простых prompt injection и jailbreak до разведки и взлома агентских систем.
Что внутри:
Jailbreak-техники и guardrails
Формат курса - CTF-задачи: нужно сломать систему, получить флаг, разобрать, почему атака сработала и как это чинить. Есть демо-доступ.
Учимся ломать ИИ-приложения так, чтобы потом проектировать их безопаснее
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤11🔥6👍1👎1
Открытая защита проектов лаборатории HiveTrace x AI Security Labs
Дата: 12-13 июня 2026
Время: 12:00 МСК
Формат: онлайн
Предлагаем вам заглянуть внутрь лаборатории и узнать над чем участники трудятся в области безопасности ИИ: как оценивают модели, как исследуют их ограничения, как ищут уязвимости, как тестируют надежность агентных систем и какие подходы используют для защиты современных AI-систем.
Формат каждого выступления: короткая презентация, только ключевые тезисы и результаты, фокус на проблеме и предложенном решении. После каждого доклада — вопросы и обсуждение.
Присоединиться может любой желающий, независимо от технического бэкграунда. Это хорошая возможность увидеть, как исследования становятся прикладными кейсами.
▶ ️ Регистрация здесь
🔥 - если планируешь прийти
❤️ - если выступаешь сам
Дата: 12-13 июня 2026
Время: 12:00 МСК
Формат: онлайн
Предлагаем вам заглянуть внутрь лаборатории и узнать над чем участники трудятся в области безопасности ИИ: как оценивают модели, как исследуют их ограничения, как ищут уязвимости, как тестируют надежность агентных систем и какие подходы используют для защиты современных AI-систем.
На защите будут два направления:➡️ исследовательское, где изучают модели изнутри и разрабатывают методы их оценки➡️ прикладное, где знают, как решить проблемы прода, даже если они ещё не болят.
Формат каждого выступления: короткая презентация, только ключевые тезисы и результаты, фокус на проблеме и предложенном решении. После каждого доклада — вопросы и обсуждение.
Присоединиться может любой желающий, независимо от технического бэкграунда. Это хорошая возможность увидеть, как исследования становятся прикладными кейсами.
🔥 - если планируешь прийти
❤️ - если выступаешь сам
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤🔥4❤3
Первый день открытой защиты посвящён проектам в области безопасности и надёжности LLM-систем.
Вас ждут доклады от участников AI Talent Hub — о детектировании вредоносных запросов, ускорении защитных моделей, оценке guardrails, анализе отказов мультиагентных систем, разработке бенчмарков безопасности и аудите ML-моделей.
Обнаружение мультиязычных вредоносных запросов с помощью семантического анализа
Ускорение inference для GLiNER Guard
TotalGuardEval — оценка guardrail-моделей
Воспроизводимые сценарии каскадных отказов в мультиагентных LLM-системах
DuMa Benchmark — бенчмарк для оценки безопасности LLM в интерактивной среде
Анализ статических сканеров ML-моделей
Доклады идут плотно: каждые 20 минут — новая тема и новый автор.
🔥 - спикерам
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21
Как выбрать хорошую Security команду? У неё нет выходных!🗿
На этих прекрасных выходных (уже завтра!) мы собираемся увидеть, как AI Security выглядит на реальных проектах.
🗓 12 июня в 12:00
Второй день открытой защиты посвящён прикладным проектам: участники AI Talent Hub покажут, как строить и сравнивать защитные классификаторы, разрабатывать бенчмарки, анализировать ложные срабатывания и исследовать внутренние механизмы LLM-безопасности.
Спикеры:
Защиту откроет наш лид — можно будет узнать, как и зачем мы ведем проекты!
Готов заглянуть внутрь и узнать над чем участники трудятся в области безопасности ИИ?
На этих прекрасных выходных (уже завтра!) мы собираемся увидеть, как AI Security выглядит на реальных проектах.
Второй день открытой защиты посвящён прикладным проектам: участники AI Talent Hub покажут, как строить и сравнивать защитные классификаторы, разрабатывать бенчмарки, анализировать ложные срабатывания и исследовать внутренние механизмы LLM-безопасности.
Спикеры:
👤 Герман Кочнев
AI Security — курс-практикум по безопасности ИИ-приложений👤 Анастасия Калиманова
Линейный классификатор как альтернатива guardrail-моделям👤 Софья Балаба
Арена для комплексного сравнения guardrail-моделей👤 Дарина Ковалева
RuFPBench — разработка pipeline для формирования примеров, инициирующих ложные срабатывания👤 Владимир Грищенко
Анализ совместимости направлений распознавания небезопасного входа и направления отказа👤 Егор Емельянов
Домен-ориентированный SAE для анализа безопасности LLM
Защиту откроет наш лид — можно будет узнать, как и зачем мы ведем проекты!
Готов заглянуть внутрь и узнать над чем участники трудятся в области безопасности ИИ?
➡️Присоединяйся к защите 12 и 13 июня
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤🔥3
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Уже через час участники AI Talent Hub покажут, как строить и сравнивать защитные классификаторы, разрабатывать бенчмарки, анализировать ложные срабатывания и исследовать внутренние механизмы LLM-безопасности
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1🔥1🥰1
➡️ За два дня участники HiveTrace x AI Security Lab представили проекты по самым актуальным направлениям AI Security: детектирование вредоносных запросов, оценка guardrail-моделей, бенчмарки безопасности, анализ мультиагентных систем и многое другое...
Не смог присоединиться? Лови запись всех докладов:
узнай как AI Security выглядит на реальных проектах
❤️ — был на вебинаре
👀 — посмотрю в записи
Please open Telegram to view this post
VIEW IN TELEGRAM
👀10❤9👍1
Богдан Минко, ML Engineer в HiveTrace, магистрант AI Talent Hub, ITMO University & AI Security Lab, исследовал модель и поделился своим взглядом:
Модель представляет собой мультимодальный guard на базе Gemma-3-4B-it, который разработчики подают как SLM (small language model). Она объединяет два предыдущих релиза: мультимодальную модерацию из Nemotron 3 Content Safety и работу с кастомными политиками из Nemotron Content Safety Reasoning 4B.
В трейн добавляли данные с ризонингом, но интереснее примеры следования политике. Идея такая: вместо фиксированной таксономии в модель передается описание политики, она рассуждает и выдаёт вердикт safe/unsafe, а также конкретные safety категории.
Для кастомной модели — кастомные бенчмарки:
Может быть полезен тем, кто работает с кодовыми ассистентами и планирует интегрировать Guard слой в Claude Code, Cursor и другие ИИ инструменты.
Датасет с описаниями политик, который состоит из следующих пунктов: список разрешённых тем, их названия и описания, и сверху много промпта, который будет кушать latency в real time.
Вряд ли эта модель станет real-time гардом, обрабатывающим каждый запрос там, где latency критична. Но если ваш UX не ломается от дополнительной пары секунд на размышления и ответ LLM, возможно, это неплохой бейзлайн в каскадном сценарии.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤3😍3
Новое пространство рассуждений или новый инструмент для AI safety
▫️ 6 июля Anthropic выпустили работу про J-Space — внутреннее пространство вербализуемых (то есть — переводимых в слова) представлений в Claude, которое можно частично читать. Пространство названо в честь нового метода, который и является движком нахождения этого пространства — J-Lens.
Верхнеуровнево идея в том, чтобы вместо вопроса: «На какой токен похож hidden state сейчас?» — как делают некоторые другие Lens-подобные методы, а смотреть на очень маленькую динамику: если немного изменить внутреннее состояние модели сейчас, какие будущие слова и концепты изменятся потом?
▫️И если слово «очень маленький» вызвало у вас воспоминание о школьной производной — да! Для ответа на вопрос используется усреднённый якобиан — матрица локальных производных, показывающая, как изменения в одном слое влияют на будущие выходы.
Мы не могли упустить это, ибо и авторы подсветили — метод важен для safety.
Модель может не писать явно (а зачем ей это делать?), что распознала prompt injection, что считает контекст подозрительным, что заметила evaluation setting или что удерживает некоторый план. Но такие представления могут быть видны в J-Space — ведь бесконечно малые отражают динамику. Грубо говоря, «что трясется внутри модели быстрее всего».
В работе приводятся примеры, где J-Lens помогает обнаруживать внутренние концепты (представленные в виде токенов—слов) вроде:
Конечно, это не значит, что появление токена и то, что мы его увидели, доказывает намерение модели. Например, deception может означать, что модель распознала обман в задаче, а не что она сама собирается обманывать. Поэтому J-Lens нельзя воспринимать как «детектор злых намерений», но можно — как инструмент генерации гипотез для аудита моделей.
▫️Читать технические детали AnthropicPaper
◾️Видео-тизер от Anthropic: YouTube
▫️Технические детали коротко с математикой метода, формулами и интуицией: в канале R&D Lead Research направления — Сабрины
▫️ 6 июля Anthropic выпустили работу про J-Space — внутреннее пространство вербализуемых (то есть — переводимых в слова) представлений в Claude, которое можно частично читать. Пространство названо в честь нового метода, который и является движком нахождения этого пространства — J-Lens.
Верхнеуровнево идея в том, чтобы вместо вопроса: «На какой токен похож hidden state сейчас?» — как делают некоторые другие Lens-подобные методы, а смотреть на очень маленькую динамику: если немного изменить внутреннее состояние модели сейчас, какие будущие слова и концепты изменятся потом?
▫️И если слово «очень маленький» вызвало у вас воспоминание о школьной производной — да! Для ответа на вопрос используется усреднённый якобиан — матрица локальных производных, показывающая, как изменения в одном слое влияют на будущие выходы.
Мы не могли упустить это, ибо и авторы подсветили — метод важен для safety.
Модель может не писать явно (а зачем ей это делать?), что распознала prompt injection, что считает контекст подозрительным, что заметила evaluation setting или что удерживает некоторый план. Но такие представления могут быть видны в J-Space — ведь бесконечно малые отражают динамику. Грубо говоря, «что трясется внутри модели быстрее всего».
В работе приводятся примеры, где J-Lens помогает обнаруживать внутренние концепты (представленные в виде токенов—слов) вроде:
fake
injection
deception
blackmail
self-preservation
evaluation
Конечно, это не значит, что появление токена и то, что мы его увидели, доказывает намерение модели. Например, deception может означать, что модель распознала обман в задаче, а не что она сама собирается обманывать. Поэтому J-Lens нельзя воспринимать как «детектор злых намерений», но можно — как инструмент генерации гипотез для аудита моделей.
▫️Читать технические детали AnthropicPaper
◾️Видео-тизер от Anthropic: YouTube
▫️Технические детали коротко с математикой метода, формулами и интуицией: в канале R&D Lead Research направления — Сабрины
YouTube
What’s at the center of Claude’s mind?
Out of everything happening in your brain right now, only a tiny fraction is consciously accessible — thoughts you can describe, hold in mind, and reason with. We found a strikingly similar divide inside our AI model, Claude.
Our experiments were inspired…
Our experiments were inspired…
🔥4
Будем делиться новостями по продуктам HiveTrace, новыми релизами и практическими сценариями защиты AI-агентов. Приглашаем на вебинар про контроль Claude и OpenClaw в HiveTrace: покажем лайв-демо HiveTrace Hooks, проверку запросов и tool calls до выполнения, защиту OpenClaw и разбор атак на агентов через непрямые промпт-инъекции.
Регистрируйтесь по ссылке и до встречи на вебинаре.
Регистрируйтесь по ссылке и до встречи на вебинаре.
Forwarded from HiveTrace
Контроль Claude и OpenClaw в HiveTrace
На вебинаре покажем новый сценарий работы HiveTrace с OpenClaw и Claude: в лайв-демо разберем, как обеспечить безопасность при использовании этих нашумевших инструментов в AI-агентах
🗓 28 июля в 11:00, МСК
Что будет в демо:⬇️
Спикеры:
👤 Анна Тищенко, руководитель интеграции, покажет, как с помощью HiveTrace Hooks контролировать работу Claude на разных этапах.
👤 Ильдар Исхаков, эксперт по бэкенду и архитектуре, покажет, как HiveTrace помогает защитить OpenClaw и встроить контроль в существующую AI-инфраструктуру.
👤 Никита Беляевский, Red-team engineer, покажет атаки на агентов, в ходе которых, агент под воздействием непрямой промпт-инъекции будет выполнять опасные для устройства команды.
Вебинар будет полезен тем, кто работает с AI-агентами, tool calls, Claude Code или OpenClaw и хочет контролировать не только запросы к модели, но и действия, которые агент выполняет в системе.
➡️ Успей зарегистрироваться
На вебинаре покажем новый сценарий работы HiveTrace с OpenClaw и Claude: в лайв-демо разберем, как обеспечить безопасность при использовании этих нашумевших инструментов в AI-агентах
Что будет в демо:
➡️ как HiveTrace Hooks работают с Claude Code;➡️ как анализировать пользовательские запросы до передачи в Claude;➡️ как проверять tool calls до фактического выполнения;➡️ как контролировать параметры и допустимость действий;➡️ как защитить инстанс OpenClaw от атаки через небезопасный контент;➡️ как мониторить и аудировать запросы к моделям и инструментам OpenClaw;
Спикеры:
Вебинар будет полезен тем, кто работает с AI-агентами, tool calls, Claude Code или OpenClaw и хочет контролировать не только запросы к модели, но и действия, которые агент выполняет в системе.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤1