⚙️ Разработчику удалось выполнить промт-инъекцию ChatGPT с помощью плагина и ролика на YouTube

Разработчик под никнеймом wunderwuzzi и автор канала Embrace The Red рассказал о том, как ему удалось выполнить промт-инъекцию ChatGPT с помощью плагина для выделения главного из видео и ролика на YouTube.

У инженера получилось передать чат-боту инструкцию через субтитры и добиться её выполнения.
В конце марта в ChatGPT появилась поддержка плагинов, которые расширяют возможности чат-бота.
К примеру, с помощью VoxScript пользователь может передать ChatGPT ссылку на видеоролик и попросить составить конспект с самой важной информацией. Разработчик использовал этот плагин для выполнения промт-инъекции.
https://habr.com/ru/news/735806/
...
Это особый вид инъекций, который не очень похож на привычные.
Суть промт-инъекций в том, чтобы с помощью запроса получить от ИИ особый ответ, который изначально не был предусмотрен разработчиками.
Конкретно в этом примере безобидный результат, но в некоторых случаях промт-инъекции позволяют обходить цензуру модели.

На Хабре есть пара статей на эту тему:

Применяем «колдовство» prompt injection против Гендальфа

Можно ли решить проблему prompt injection?

Ученые нашли способ автоматизировать создание вредоносных запросов для ИИ чат-ботов
https://xakep.ru/2023/08/02/adversarial-attacks-on-aligned-language-models/
...

"https://xkcd.com/327/"
https://habr.com/ru/news/735806/#:~:text=https%3A//xkcd.com/327/

https://gandalf.lakera.ai/ нынче обязательно к прохождению.

Microsoft запретила пользователям Windows 10/11 удалять приложение Windows Backup, так как это часть системы
https://habr.com/ru/news/764890/

AI доступный каждому разработчику
https://habr.com/ru/articles/751626/

LlamaIndex: создаем AI-бота без боли и страданий
https://habr.com/ru/articles/751714/

В ChatGPT появилась поддержка плагинов, которые расширяют возможности чат-бота.
https://habr.com/ru/news/724432/

ChatGPT уже не тот? Тестируем 10 плагинов для чтения URL и грустим
https://habr.com/ru/articles/751376/
...

Множественные личности ChatGPT
https://habr.com/ru/companies/alfa/articles/718138/

Используй ChatGPT правильно, или проблема контекста в больших языковых моделях
https://habr.com/ru/companies/bimeister/articles/760974/

Банально о банальном — ещё одна статья о том, как правильно использовать ChatGPT если вы не программист, а копирайтер
https://habr.com/ru/articles/762940/
...

Microsoft запретит активировать новые установки Windows старыми ключами
https://xakep.ru/2023/10/02/old-windows-keys/

Ответы ИИ чат-бота Bing Chat содержат вредоносную рекламу
https://xakep.ru/2023/09/29/bing-chat-malvertising/

Фишеры угоняют Telegram-аккаунты блогеров
https://xakep.ru/2023/09/29/tg-bloggers/

Сервисы для выдачи виртуальных мобильных номеров будут блокировать с 1 сентября 2024 года
https://xakep.ru/2023/09/19/def-numbers/

Информацию об обходе блокировок могут запретить с 1 марта 2024 года
https://xakep.ru/2023/09/20/infomation-ban/

Хакерский тестер. Собираем индикатор ЭПС своими руками
https://xakep.ru/2023/09/18/diy-esr-tester/

Не кринж, а база. Выбираем базу данных для своего проекта

Зачем вообще выбирать базу данных?
Почему нельзя просто взять ту, с которой уже работал, и использовать ее?
Часто это оправданный выбор, но для чего же тогда создано почти 500 разных СУБД?

Давай попробуем разобраться вместе, чем они отличаются и когда нужны.
https://xakep.ru/2023/09/07/choosing-database/

Продажи Windows в РФ сократились на 78% в первой половине 2023 года
https://xakep.ru/2023/08/31/windows-russia/

«Сбер»: мошенники вовлекают в свои схемы сразу нескольких родственников
https://xakep.ru/2023/08/28/family-scam/

FACCT обнаружила более 2000 фишинговых сайтов для кражи аккаунтов в Telegram и WhatsApp
https://xakep.ru/2023/08/25/telegram-whatsapp-attacks/

Как провести свое первое security-исследование. Колонка Дениса Макрушина
https://xakep.ru/2023/08/24/your-first-research/

Сканирование уязвимостей. Глава из книги «Kali Linux. Тестирование на проникновение и безопасность»

Сканирование уязвимостей — процесс выявления и анализа критических недостатков безопасности в целевой среде.
Иногда эту операцию называют оценкой уязвимости.

Сканирование уязвимостей — одна из основных задач программы выявления и устранения этих недостатков.
С его помощью можно проанализировать все элементы управления безопасностью ИТ-инфраструктуры.
https://xakep.ru/2020/10/01/kali-linux-chapter6/

Читайте также:

Kali Linux 2023.3 получила девять новых инструментов
https://xakep.ru/2023/08/24/kali-linux-2023-3/

Ранее: Вышла Kali Linux 2023.2 с 13 новыми инструментами и образом HyperV
https://xakep.ru/2023/06/01/kali-linux-2023-2/

Чтобы начать использование Kali Linux 2023.2, можно, например, обновить текущую установку, выбрав нужную платформу или напрямую загрузить с официального сайта образы ISO.

В гостях у Дани. Павел Жовнер о проблемах разработки, новом маркетплейсе и следующем Flipper

Павел Жовнер с командой разработчиков создали знаменитый хакерский мультитул Flipper Zero.
Его производство и распространение были сопряжены с массой сложностей и волнительных моментов.

В этом интервью Павел рассказал Дане Шеповалову о том, как это было, и сделал два важных анонса: о запуске магазина приложений для Flipper и начале работы над старшей моделью — Flipper One.
https://xakep.ru/2023/07/12/flipper-interview/

У Flipper Zero появился собственный магазин приложений
https://xakep.ru/2023/07/25/flipper-apps/

Альтернативные прошивки Flipper Zero. Выбираем апгрейд для твоего «Флиппера»

Flipper Zero — «хакерский мультитул», о котором ты уже наверняка наслышан. Возможно даже успел раздобыть устройство и самостоятельно поразвлекаться с ним.
В этой статье мы поговорим о прошивках, которые не только позволят вывести баловство на новый уровень, но и помогут использовать Flipper при реальных физических пентестах.
https://xakep.ru/2023/07/21/flipper-zero-firmwarez/

Ласты для дельфина. Что могут внешние модули для Flipper Zero

Flipper Zero называют хакерским мультитулом, а хакеры — это люди, которые любят во всем покопаться сами.
Разработчики об этом прекрасно знали и приложили к «Флипперу» его полные схемы, исходный код прошивки и приложений и весь необходимый инструментарий.

Сообщество это оценило и стало создавать не только программы, но и кастомные модули для Flipper Zero.
О них и поговорим сегодня.
https://xakep.ru/2023/08/22/flipper-zero-modules/
...

Энтузиаст портировал актуальную версию Chrome в Windows 7
https://xakep.ru/2023/08/10/chrome-for-windows-7/

Топ взлома. Составляем рейтинг самых популярных хакерских техник

Техники кибератак совершенствуются год от года.
Если ты интересуешься информационной безопасностью или трудишься в этой сфере, важно быть в курсе, каким арсеналом пользуются современные киберпреступники.
Сегодня поговорим о самых популярных в последние годы техниках и средствах хакеров.
https://xakep.ru/2023/08/09/top-attacks/