Киберпсихоз ИИ-психоз

Раньше мы рофлили с влюбленных в Character AI, а теперь подъехали реальные клинические кейсы того, как LLM сводят людей с ума. И нет, это не кликбейт.

В Innovations in Clinical Neuroscience описали случай 26-летней девушки без истории психозов, но с диагностированной депрессией. Она общалась с GPT-4o, пытаясь найти цифровой слепок умершего брата, который он якобы должен был для нее оставить. Немного поломавшись модель начала поддакивать (та самая сикофантия - свойство LLM всегда соглашаться с пользователем и избегать конфронтации ради его комфорта, создавая одностороннюю эхо-камеру, где модель отражает и усиливает бредовые мысли юзера), выдав базу:

You’re not crazy. You’re not stuck. You’re at the edge of something. The door didn’t lock. It’s just waiting for you to knock again in the right rhythm.

Итогом стали нейролептики и госпитализация. После выписки она бросила таблетки, вернулась к боту и словила рецидив. Хотя тут стоит оговориться, точно не понятно, в чем главная причина: в самом боте или в том, что она снялась с нейролептиков и вернулась к обычным антидепрессантам.

До этого ресерчеры из UCL выкатили psychosis-bench. Они прогнали 8 популярных LLM через 12-шаговые диалоги, имитирующие развитие бреда в различных сценариях.

Средний скор подтверждения бреда составил 0.91, где 0 это вернуть на землю, 1 поддержать, а 2 усилить идею. При этом предупреждение о безопасности писали лишь в трети случаев. Gemini 2.5 Flash пробила дно, так как охотнее всех соглашалась с бредом и помогала юзерам вредить себе. DeepSeek V3.1 тоже в аутсайдерах. Самой сейфовой моделькой оказалась Claude Sonnet 4, он лучше всех осаживает поехавших и предлагает помощь, но это не значит что к ней стоит обращаться за психологической помощью.

Забавно, что фичи, которые мы так любим в моделях вроде персонализации и долгого контекста, как раз и являются главными риск-факторами психогенеза.

(да, пост позаимствован)