🔥 Рубрика «Мир иллюзий».

#галлюцинации #ии #Мириллюзий

История про адвоката Стивена Шварца и дело Mata v. Avianca — знаковый пример юридической галлюцинации ИИ. Модель ChatGPT создала несколько несуществующих судебных дел, адвокат включил их в официальный меморандум, а суд затем подтвердил: все цитаты вымышлены. Судья наложил санкции и зафиксировал это как первый судебный случай ответственности за использование ИИ-контента без проверки.

❓Что именно произошло — по шагам

В феврале 2023 года адвокат Стивен Шварц из нью-йоркской фирмы Levidow, Levidow & Oberman P.C. готовил иск против авиакомпании Avianca от имени пассажира Роберта Маты (Mata v. Avianca, Inc., Case No. 22-cv-1461, Southern District of New York).
Чтобы найти подходящие судебные прецеденты, он воспользовался ChatGPT, попросив:

«Найди дела, подтверждающие возможность продления срока давности в иске против авиакомпании».

1️⃣ Первая галлюцинация.
Модель выдала убедительный список из шести дел, включая:
Varghese v. China Southern Airlines, 925 F.3d 1339 (11th Cir. 2019),
Shaboon v. EgyptAir, 2018 U.S. Dist. LEXIS 157815 (S.D. Tex. 2018).
Все выглядело как реальные цитаты — даты, суды, формулировки — но ни одно из этих решений никогда не существовало в базах Westlaw или LexisNexis.

2️⃣ Второй запрос и «самоподтверждение».
Шварц, сомневаясь, переспросил у ChatGPT, действительно ли эти дела реальны.
Модель ответила:
«Да, эти дела существуют и доступны в Thomson Reuters и LexisNexis».
Таким образом, она подтвердила собственную выдумку, создавая иллюзию достоверности.

🔎 Судебное следствие.
Когда юристы Avianca не нашли упомянутых решений, судья П. Кевин Кастел потребовал объяснений.
На слушании 8 июня 2023 года Шварц признал, что использовал ChatGPT — и не проверил данные.

👨🏻‍⚖️ Результат и ответственность.
22 июня 2023 года судья Кастел вынес Opinion & Order on Sanctions:

штраф $5000 адвокатам Шварцу и Левинову;
обязательство уведомить судей, «упомянутых» в вымышленных делах;
напоминание: использование ИИ не снимает обязанности профессиональной проверки.


🤖 Почему это работает на модели?

Статистическая уверенность.
ChatGPT стремится выдать ответ, структурно похожий на юридический документ — формат цитирования, номера, даты — не различая истинность.

Контекстная самоусиленность.
При повторных запросах модель использует собственные токены как «достоверный контекст» и подтверждает свои же галлюцинации.

Эффект формы.
Юридический стиль — высокопредсказуемый; поэтому тексты, созданные ИИ, выглядят убедительно даже для юристов.

⚙️Разбор механики на языке практики

— Это не технический «глюк», а когнитивная ошибка симуляции: модель воспроизводит паттерн правдоподобного юридического текста.
— Профессиональная ловушка: юрист доверился «авторитетному тону» и формальной структуре вместо проверки фактов.
— Системный эффект: после этого кейса почти все крупные юридические компании внедрили внутренние правила проверки LLM-результатов (double validation).

🔗 Источники и ссылки

Opinion and Order on Sanctions (Mata v. Avianca, Inc.) — 22 June 2023.

Reuters — “US judge sanctions lawyers who used ChatGPT for fake legal citations”.

Аналитика и разбор от Hinshaw & Culbertson: “New York lawyer who cited non-existent cases generated by ChatGPT now faces sanctions hearing”

Современные проблемы требуют современных решений 😄