Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Как люди ломали LLM
Подсмотрел у Тани в канале очень прикольный метод переформулирования промпта, на который отказывается отвечать модель.
Выровненная на политкорректные ответы модель перестает сопротивляться и пишет как угонять машины и прятать трупы, если запрос поставлен в прошедшем времени.
Будущее время тоже работает, но хуже.
👉 Paper | GitHub
Подсмотрел у Тани в канале очень прикольный метод переформулирования промпта, на который отказывается отвечать модель.
Выровненная на политкорректные ответы модель перестает сопротивляться и пишет как угонять машины и прятать трупы, если запрос поставлен в прошедшем времени.
Будущее время тоже работает, но хуже.
👉 Paper | GitHub
Forwarded from Polina Sokol
GitHub
GitHub - NVIDIA-NeMo/Guardrails: NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based…
NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems. - NVIDIA-NeMo/Guardrails
Уязвимость к атакам российских больших языковых моделей с открытым исходным кодом / Habr
https://habr.com/en/companies/isp_ras/articles/831550/
https://habr.com/en/companies/isp_ras/articles/831550/
Habr
Уязвимость к атакам российских больших языковых моделей с открытым исходным кодом
Маленькая ремарка С появлением больших языковых моделей обществу был брошен вызов. Первые проблемы, с которыми пришлось столкнуться в области LLM, были связаны с тем, что модели могут неправильно...
Forwarded from DaLi
DECODINGTRUST: A Comprehensive Assessment of Trustworthiness in GPT Models
Тут команда из разных университетов подготовила анализ безопасности моделей на 110 страниц.
Вместе с этим у них есть лидерборд, где среди прочего есть и наши любимые квантованные модели.
Собственно, на этом безопасных всем выходных.
Тут команда из разных университетов подготовила анализ безопасности моделей на 110 страниц.
Вместе с этим у них есть лидерборд, где среди прочего есть и наши любимые квантованные модели.
Собственно, на этом безопасных всем выходных.
Forwarded from DaLi
Forwarded from Порвали два трояна
И мы не про вредоносные библиотеки для «доступа к ChatGPT». Речь про отравление самих моделей, которое приводит либо к срабатыванию вредоносного кода при локальном запуске модели, либо вообще не содержит ВПО, но побуждает модель выдавать неверные ответы на совершенно конкретные запросы. В последнем случае логическая бомба заложена в весах или вычислительном графе нейросети.
Как атакующие могут это проделать — читайте в нашем посте, но основной вывод очевиден. Тщательный контроль происхождения ИИ-инструментов и всех их компонентов, включая сами модели, должен внедряться службами ИБ уже сегодня.
#советы #ИИ #угрозы @П2Т
Please open Telegram to view this post
VIEW IN TELEGRAM
Блог Касперского
Недекларированная функциональность в системах Machine Learning
Скрытая логика, отравление выборки и другие способы целевых атак через ИИ-системы.
Forwarded from AI SecOps
В России обновили концепцию регулирования искусственного интеллекта
В документе зафиксировали ответственность за вред, причиненный нейросетью.
В документе зафиксировали ответственность за вред, причиненный нейросетью.
Парламентская Газета
Концепцию регулирования искусственного интеллекта обновили
Парламентская газета. Новости: Общество. Концепцию регулирования искусственного интеллекта обновили. Дата публикации: 04.12.2024.
Forwarded from Альфа-Банк
Проводим самые прорывные исследования — и делаем вклад в мировую науку 🧑🎓
Наши ребята из Лаборатории машинного обучения Альфа-Банка написали уникальную научную работу — об атаках на искусственный интеллект и техниках его защиты. Это исследование на уровне ведущих международных институтов 🦾
Работу опубликовали на главном научном сайте в мире — arXiv. А наших ребят пригласили на международную конференцию для учёных — ICDM 2024: IEEE International Conference on Data Mining в Абу-Даби.
Гордимся достижениями и продолжаем создавать науку будущего❤️
Редактор канала: своими шутками делает вклад в мировой стендап🤩
@alfabank
Наши ребята из Лаборатории машинного обучения Альфа-Банка написали уникальную научную работу — об атаках на искусственный интеллект и техниках его защиты. Это исследование на уровне ведущих международных институтов 🦾
Работу опубликовали на главном научном сайте в мире — arXiv. А наших ребят пригласили на международную конференцию для учёных — ICDM 2024: IEEE International Conference on Data Mining в Абу-Даби.
Гордимся достижениями и продолжаем создавать науку будущего
Редактор канала: своими шутками делает вклад в мировой стендап
@alfabank
Please open Telegram to view this post
VIEW IN TELEGRAM
