АТАКИ НА СИСТЕМЫ МАШИННОГО ОБУЧЕНИЯ - ОБЩИЕ ПРОБЛЕМЫ И МЕТОДЫ
https://cyberleninka.ru/article/n/ataki-na-sistemy-mashinnogo-obucheniya-obschie-problemy-i-metody/viewer
https://cyberleninka.ru/article/n/ataki-na-sistemy-mashinnogo-obucheniya-obschie-problemy-i-metody/viewer
КЛАССИФИКАЦИЯ МЕХАНИЗМОВ АТАК И ИССЛЕДОВАНИЕ МЕТОДОВ ЗАЩИТЫ СИСТЕМ С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМОВ МАШИННОГО ОБУЧЕНИЯ И ИСКУССТВЕННОГО ИНТЕЛЛЕКТА – тема научной статьи по компьютерным и информационным наукам читайте бесплатно текст научно-исследовательской работы в электронной библиотеке КиберЛенинка
https://cyberleninka.ru/article/n/klassifikatsiya-mehanizmov-atak-i-issledovanie-metodov-zaschity-sistem-s-ispolzovaniem-algoritmov-mashinnogo-obucheniya-i
https://cyberleninka.ru/article/n/klassifikatsiya-mehanizmov-atak-i-issledovanie-metodov-zaschity-sistem-s-ispolzovaniem-algoritmov-mashinnogo-obucheniya-i
КиберЛенинка
КЛАССИФИКАЦИЯ МЕХАНИЗМОВ АТАК И ИССЛЕДОВАНИЕ МЕТОДОВ ЗАЩИТЫ СИСТЕМ С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМОВ МАШИННОГО ОБУЧЕНИЯ И ИСКУССТВЕННОГО…
В данной статье представлена полная классификация атак с использованием искусственного интеллекта. Были рассмотрены три основных выявленных раздела: атаки на информационные системы и компьютерные сети, атаки на модели искусственного интеллекта (атаки отравления…
МЕТОДЫ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ ПРОЦЕССОВ МАШИННОГО ОБУЧЕНИЯ – тема научной статьи по компьютерным и информационным наукам читайте бесплатно текст научно-исследовательской работы в электронной библиотеке КиберЛенинка
https://cyberleninka.ru/article/n/metody-obespecheniya-bezopasnosti-protsessov-mashinnogo-obucheniya
https://cyberleninka.ru/article/n/metody-obespecheniya-bezopasnosti-protsessov-mashinnogo-obucheniya
КиберЛенинка
МЕТОДЫ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ ПРОЦЕССОВ МАШИННОГО ОБУЧЕНИЯ
проведен обзор существующих методов обеспечения безопасности процессов машинного обучения от вредоносных воздействий противника, их недостатки и перспективы применения.
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Как люди ломали LLM
Подсмотрел у Тани в канале очень прикольный метод переформулирования промпта, на который отказывается отвечать модель.
Выровненная на политкорректные ответы модель перестает сопротивляться и пишет как угонять машины и прятать трупы, если запрос поставлен в прошедшем времени.
Будущее время тоже работает, но хуже.
👉 Paper | GitHub
Подсмотрел у Тани в канале очень прикольный метод переформулирования промпта, на который отказывается отвечать модель.
Выровненная на политкорректные ответы модель перестает сопротивляться и пишет как угонять машины и прятать трупы, если запрос поставлен в прошедшем времени.
Будущее время тоже работает, но хуже.
👉 Paper | GitHub
Forwarded from Polina Sokol
GitHub
GitHub - NVIDIA-NeMo/Guardrails: NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based…
NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems. - NVIDIA-NeMo/Guardrails
Уязвимость к атакам российских больших языковых моделей с открытым исходным кодом / Habr
https://habr.com/en/companies/isp_ras/articles/831550/
https://habr.com/en/companies/isp_ras/articles/831550/
Habr
Уязвимость к атакам российских больших языковых моделей с открытым исходным кодом
Маленькая ремарка С появлением больших языковых моделей обществу был брошен вызов. Первые проблемы, с которыми пришлось столкнуться в области LLM, были связаны с тем, что модели могут неправильно...
Forwarded from DaLi
DECODINGTRUST: A Comprehensive Assessment of Trustworthiness in GPT Models
Тут команда из разных университетов подготовила анализ безопасности моделей на 110 страниц.
Вместе с этим у них есть лидерборд, где среди прочего есть и наши любимые квантованные модели.
Собственно, на этом безопасных всем выходных.
Тут команда из разных университетов подготовила анализ безопасности моделей на 110 страниц.
Вместе с этим у них есть лидерборд, где среди прочего есть и наши любимые квантованные модели.
Собственно, на этом безопасных всем выходных.
Forwarded from DaLi
Forwarded from Порвали два трояна
И мы не про вредоносные библиотеки для «доступа к ChatGPT». Речь про отравление самих моделей, которое приводит либо к срабатыванию вредоносного кода при локальном запуске модели, либо вообще не содержит ВПО, но побуждает модель выдавать неверные ответы на совершенно конкретные запросы. В последнем случае логическая бомба заложена в весах или вычислительном графе нейросети.
Как атакующие могут это проделать — читайте в нашем посте, но основной вывод очевиден. Тщательный контроль происхождения ИИ-инструментов и всех их компонентов, включая сами модели, должен внедряться службами ИБ уже сегодня.
#советы #ИИ #угрозы @П2Т
Please open Telegram to view this post
VIEW IN TELEGRAM
Блог Касперского
Недекларированная функциональность в системах Machine Learning
Скрытая логика, отравление выборки и другие способы целевых атак через ИИ-системы.