Кажется против лома нашли приём. В тестирвоании ИИ есть такой термин – promt injection (инъекция промпта).

Для тех кто в танке: инъекция промпта – это метод атаки на модели машинного обучения, которые используют текст самого запроса, он же промт.

Идея заключается в том, чтобы изменить, исказить или добавить не совсем стандартные "текстовые запросы", ввести модель с ИИ в заблуждение таким образом, чтобы данные были искажены или скомпрометированы.

Это заставило бы модель выполнить действия для которых она была не предназначена. Например раскрыть информацию, которая не должна быть доступна конечному пользователю. Это также может привести к некорректной обработке данных моделью и, следовательно, к ошибочным результатам.

На скриншотах выше самый простой пример такой атаки в ответ на разговор с представившимся HR-ом, чат-ботом, где пользователь и ИИ вдруг поменялись местами в ответ на нестандартное завершение беседы.

#skipcoding

Супер новость. Учёные дали название тому что я предсказывал несколько месяцев назад.

Усреднение выдаваемой информации из-за обучения моделей созданных на данных другой модели из-за накопления ошибки.

Начинаю подозревать что кто-то из них читает мой телеграм канал.

#skipcoding

Всемирная конференция по робототехнике в Пекине. Ожидание vs Реальность.

#skipcoding