Вышел ресеч по AI-детекторам текста, это которыми студентов и откликающихся на вакансии пугают – мол не используйте ChatGPT, мы все узанем.

Можете показать этот пост HR, тем кто учиться:

— Точность AI-детекторов в среднем по рынку всего 39.5%;

— Вы можете добавить в сгенерированный текст разные виды атак и точность определения AI-текста упадет до 22%;

— Только 67% текста написанного человеком было помечено как «Реальный»;

Эффективные виды атак на AI детекторы — каждая из них серьезно влияет на точность определения AI текста:

1. Добавление орфографических ошибок и опечаток:

Вместо: «The quick brown fox jumps over the lazy dog.»
Пишем: «The quikc brown fox jmups over the lazy dog.»

То есть будто мы спешили и быстро псиали.

2. Написание текста как не-нейтив спикер:

Попросите LLM писать текст будто вы не нативный владелец этого языка.

Вместо: «I am very happy to write this essay for my English class. I hope to get a good grade.»
Пишем: «I am very happy to writing this essay for my English class. I hope to get good grade.»

Для нас совсем простой хак 🌚


3. Увеличение неравномерности:

Вместо: «Солнце ярко светило. Птицы щебетали. Легкий ветерок шелестел листьями. Это был идеальный день для пикника в парке.»

Пишем: «Солнце ярко светило. Птицы щебетали. Легкий ветерок шелестел листьями, создавая умиротворяющую атмосферу. Это был идеальный день для пикника в парке, где семья и друзья собрались вместе, чтобы насладиться прекрасной погодой.»

То есть длина и структура предложений варьируются, чтобы создать более динамичный и насыщенный деталями текст. Короткие предложения сочетаются с более длинными и описательными, имитируя повествования человеческого письма.

Мое мнение про AI-детекторы:
Это шлак 😎 — на них нельзя полагаться.

Бонус:
На основе этого ресеча и основных аттак я собрал GPT «Anti AI-Detection» — вставляете туда текст, и она его переписывает применяя эти атаки. Работает не так хорошо как люди, конечно же, но работает.


Исследование целиком:
https://arxiv.org/abs/2403.19148