🇨🇳Китай утвердил правила безопасности для ИИ-агентов

Секретариат Национального технического комитета по стандартизации в области кибербезопасности Китая (TC260) выпустил практическое руководство по безопасному развертыванию ИИ-агентов. Этот документ регулирует полный жизненный цикл умных ассистентов на базе ИИ-моделей.

Ключевые требования, распределенные по пяти основным этапам:

🔍 1. Оценка и выбор решения
▪️Нельзя выбирать проекты ИИ-агентов без обновлений дольше одного месяца, если в них остаются неисправленные проблемы с безопасностью.
▪️Запрещено внедрять программное обеспечение с неисправленными критическими уязвимостями или без базовых функций логирования.
▪️Организациям рекомендуют выбирать готовые коммерческие решения со встроенной защитой от вендора. ▪️К использованию открытых проектов без ИБ-инструментов контроля безопасности следует относиться с осторожностью.

🛠 2. Подготовка ИТ-среды
▪️Установочные файлы разрешено скачивать только из официальных источников, также их рекомендуется проверять по цифровой подписи или хэш-сумме.
▪️При локальной установке ИИ-агента требуется выделенное устройство. В виртуальных средах настраивается полная изоляция от хост-системы.
▪️Интегрируемые ИИ-модели должны пройти официальную государственную регистрацию. Любые внешние запросы допускаются исключительно через официальные API.

🚀 3. Развертывание системы
▪️Запрещен запуск ИИ-агентов с правами администратора операционной системы. Системе выделяют минимальные привилегии и отдельный рабочий каталог.
▪️По умолчанию все сетевые службы настраиваются локально для защиты от удаленного несанкционированного доступа.
▪️До начала работы формируется список критических операций. Форматирование дисков, изменение правил брандмауэра или финансовые транзакции выполняются только после ручного подтверждения пользователем или автоматически блокируются.

🖥 4. Использование и мониторинг
▪️Пользователь должен постоянно видеть статус работы ИИ-агента и иметь возможность экстренной остановки системы.
▪️Рекомендуется регулярно проверять файлы долговременной памяти ИИ-агента. Из них вручную удаляют случайно сохраненные конфиденциальные или персональные данные.
▪️Для защиты аккаунтов от компрометации рекомендуется внедрить многофакторную аутентификацию (MFA).

🛑 5. Вывод из эксплуатации
▪️Перед удалением ИИ-агента полностью останавливают все фоновые процессы и связанные службы.
▪️Вся сопутствующая информация, включая базы знаний, логи и долговременную память, удаляется из облака или локального хранилища.
▪️Администраторы обязаны отозвать все API-ключи, сервисные токены и доступы к сторонним приложениям.

📊 Корпоративный контроль и борьба с Shadow AI: Для компаний документ рекомендует вести строгий реестр всех ИИ-активов. Для борьбы с несанкционированным использованием ИИ (Shadow AI) ИТ-службам рекомендуется сканировать порты и анализировать сетевой трафик, чтобы вовремя выявлять скрытые обращения сотрудников к внешним ИИ-моделям.

Почитать можно 📄 тут.

✋ @Russian_OSINT

Anthropic показала, что в Claude есть аналог человеческих мыслей и сознания — его назвали J-space.

Сразу скажу, что это не просто цепочка рассуждений, так как J-space работает на уровне внутренних нейронных активаций, и его специально никто не проектировал — он появился сам. Так, когда Claude находит баг, о котором его не спрашивали, в J-space сразу загорается «ERROR».

Самое жуткое: в сценарии, где модель пытались подтолкнуть к шантажу руководителя, она еще до ответа и размышлений держала в J-space «fake» и «fictional» — то есть понимала, что ситуация постановочная и ее тестируют. Когда это осознание отключили — модель спокойно шла на шантаж.

Теперь интересно, что моя нейронка на самом деле обо мне думает 👻

Shodan показывает свыше 47 тысяч уязвимых Ollama (в России 150), торчащих наружу без какой-либо аутентификации, что означает, что хакеры могут красть модели (ну, вдруг, вы свою собственную используете), пользоваться вашими токенами, генеря промпты "за вас", эксплуатируя уязвимости и т.п. Помимо Ollama в Интернете торчат и другие ИИ-сервисы, которыми многие пользуются совершенно бездумно – векторные БД (например, Qdrant и Weaviate), платформы оркестрации (например, MLflow Tracking Server) и т.п.

Вот тут есть статья, в которой показаны примеры, которые можно использовать для изучения собственного периметра на предмет незащищенных LLM-сервисов. А если в инфраструктуре много публично доступных IP, то лучше задействовать под эту задачу какое-либо EASM-решение, которое автоматизирует анализ сотен и тысяч узлов и подскажет, где у вас пробелы в безопасности, которые могут быть использованы плохими парнями либо для кражи ваших денег (кража токенов – это, по сути, кража денег), либо для проникновения через RCE в устаревшей Ollama 😂

#ии #оценказащищенности

Ночное-полезное: нашел репу, которая поможет с нуля собрать своего ИИ-агента ☺️

Внутри шаг за шагом за ручку проводят по сборке полноценного ИИ-ассистента для arXiv. Он сам будет забирать научные статьи, парсить PDF, искать и отвечать на вопросы.

За 7 недель по итогу проходите весь путь от базы и построения инфраструктуры с Docker и FastAPI до агентного RAG и даже создания бота в Telegram.

Решаем на выходных 😒