Ха-ха-харнесс

Некоторое время назад слово это стало слышно из всех утюгов, а значит самое время разобраться, что это за зверь такой и как с ним работать.

Харнесс – это своего рода агентная обвязка вокруг модели, которая позволяет превратить ИИ в автономную рабочую единицу, способную вызывать разные туллы, решать сложные и продолжительные задачи без участия человека. Грубо говоря – скин вашего ИИ-агента из скриптов, скиллов и инструментов.

В целом харнесс сейчас становится глобальным трендом: вокруг своих моделей такой слой выстраивают OpenAI, Anthropic и другие крупные игроки. И не просто так. LangChain показал, насколько сильно он может влиять на результат: с той же LLM и теми же весами компания поднялась в Terminal-Bench 2.0 с позиции за пределами топ-30 на 5-е место — только за счет изменения инфраструктуры вокруг модели.

В России своим харнессом недавно хвастались ребята из Яндекса, которые обновили Алису. Теперь она сама может определять, какая модель лучше справится с задачей пользователя и работать в качестве оркестратора. Свои наработки в похожем ключе показывали еще Сбер и МТС.

А где здесь безопасность? Тут все мы можем вспомнить про пример с Claude, который любой маломальски подозрительный запрос перекидывает на более слабую модельку. Или кейсы, когда модель начинает генерировать ответ и резко обрывается на полуслове, выдавая стандартную заглушку. За подобное поведение в основном отвечают гардрейлы (сложно уже, да, держитесь) – они работают как межсетевой экран для ИИ, отрезая вредоносный промпт или наоборот, генерацию, которую пользователю показывать не надо.

Внутри харнесса подобных контролей и ограничений можно накрутить еще больше, хоть на обращение к каждому инструменту. Австралийский департамент кибербезопасности недавно даже выкатил весьма насыщенный текст по безопасности ИИ как раз через призму харнесса. А еще вот свежая статья, где авторы буквально разработали харнесс с фокусом на защиту агента и его миньонов субагентов от промпт-инъекций и прочих ИИ-специфичных атак.

А если компания разворачивает открытые модели на собственной инфраструктуре — то все вместе это закрывает понятный и важный класс риска: данные не передаются стороннему иностранному провайдеру и не могут утечь через зарубежную модель.

Так что тема перспективная и интересная не только в контексте эффективности ИИ-агентов, но и в контексте развития темы кибербезопасности искуственного интеллекта. Такие дела.

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

Шэдоу АИ

Типичная ситуация: сотрудник компании открывает ChatGPT и вставляет туда ĸусоĸ договора с промтом «сделай выжимĸу». Юрист прогоняет через нейросеть клиентскую переписку, а разработчик отдает боту фрагмент ĸода, чтобы найти баг. Конечно же, без консультации с отделом ИБ.

Дальше публичный ИИ-сервис принимает внутрь исходный ĸод, финансовые модели и персональные данные клиентов, после чего все это оседает в чужой инфраструктуре, отĸуда данные нельзя ни отозвать, ни удалить. А часть публичных моделей вообще по умолчанию использует пользовательский ввод для дообучения. Итог – никто не узнал, а конфиденциальность данных была нарушена (а вместе с ней и пара федеральных законов).

Это явление называют shadow AI (по аналогии с shadow IT), и теперь оно входит в топ-10 головных болей индустрии кибербезопасности.

Причины появления теневого ИИ банальны: нейросети реально ускоряют рабочую рутину, корпоративные ИИ-инструменты внедряются слишком медленно, а запреты без альтернатив не работают (сотрудники просто используют личные аккаунты). Давит и страх – часть работников скрывает использование ИИ, опасаясь, что их просто уволят и заменят нейросетью.

Я уже рассказывал про громкий случай с Samsung и другими зарубежными компаниями ранее. Но ситуация в РФ не менее тревожная. Объем корпоративных данных, отправленных сотрудниками в публичные ИИ-сервисы, за прошлый год вырос в 30 раз. Было зафиксировано 410 млн DLP-срабатываний, связанных с ChatGPT. И при этом 60% российских компаний все еще работают без четкой политики использования нейросетей.

Отдельный пласт – юридический. Передача персональных данных в зарубежный сервис без правовых оснований – это уже история про 152-ФЗ, а с 2025 года за утечки данных действуют оборотные штрафы. В июле этого года уже случился прецедент, когда суд признал законным увольнение топ-менеджера ГК «ЭнергоПроф» Екатерины Ремизовой за загрузку закрытой информации в DeepSeek. В компании функционирует DLP-система, которая зафиксировала пересылку файлов через периметр.

ФСТЭК решила оперативно обновить стандарты и в конце июля выпустила проект нового закона по защите персональных данных в информационных системах. Ожидается, что приказ вступит в силу с 1 сентября и будет регулировать политику конфиденциальности данных, включая работу с ИИ-ассистентами.

Что с этим делать? Главное, не паниковать и не пытаться запретить любое использование нейросетей внутри компании. Рабочая стратегия это: понятная политика использования ИИ (что можно, что нельзя, ĸуда нельзя ничего), корпоративный доступ ĸ моделям через контролируемый шлюз, DLP-контроль веб-форм и буфера обмена, белый список сервисов и, самое главное, грамотное обучение людей.

Теневой ИИ исчезает там, где у сотрудника появляется легальный и удобный способ пользоваться нейросетью (нормальной, а не дпсиком, да). Всем мир.

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

Одни и те же на манеже

Сообщество специалистов по кибербезопасности довольно камерное – из программы в программу качуют одни и те же спикеры, все друг друга знают уже не первый год, а появление новых ярких личностей всегда вызывает повышенный интерес.

Поэтому особенно интересно наблюдать за проектами и инициативами, которые помогают перспективным новичкам (или не очень распиаренным старичкам) показать себя на широкую аудиторию и рассказать о своих проектах.

Недавно наткнулся на рейтинг «Новая элита кибербеза» от редакции SecPost, который как раз призван отметить молодых (до 33, я еще молод, да) ребят из отрасли.

Кстати, заявки принимают до 30 сентября, так что если у вас есть интересный ресеч, опыт развития своего секьюрити-стартапа или еще что-то, подходящее под номинации, залетайте участвовать.

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT