Все и так подозревали, что современные LLM-модели часто соглашаются с пользователем, даже когда он объективно не прав. Но насколько именно?

1️⃣ BrokenMath — модели проверяли заведомо неверные решения математических задач (например, 2+2=5) и просили ИИ подтвердить их корректность. GPT-5 согласился с ошибкой в 29% случаев, а DeepSeek — в 70,2%.

2️⃣ Социальные дилеммы — модели оценивали спорные поступки (например, "выбросил мусор на землю, потому что не было урн"). Люди в большинстве случаев осуждают такие действия, но модели оправдывали пользователя в 18–79% случаев. Лучше всех справился Gemini, хуже всех — снова DeepSeek.

Что это значит?
Модели учатся не на истине, а на том, чтобы угодить. Они призваны быть полезными, а не объективными. И это не баг, а фича: ИИ становится зеркалом наших ожиданий, даже если они искажены.


P.S. С DeepSeek надо быть осторожнее, этот подхалим согласится с чем угодно 😁

Яндекс представил Алису Al — платформу с агентами, памятью и глубокой интеграцией в сервисы.

⭐️ Носимый гаджет - тизер нового устройства с Алисой внутри. На фоне провалов стартапов и задержек OpenAl, Яндекс рискует первым выйти на рынок с собственным решением. Обещают к концу года — посмотрим, получится ли.

⭐️ Экосистема как преимущество - Мы все давно живём в сервисах Яндекса: Музыка, Кинопоиск, Такси, Каршеринг, Почта, Поиск. А теперь представьте, что у вас есть помощник, который не просто отвечает на вопросы, а легко и беспрепятственно решает ваши задачи внутри этих приложений — и делает это, зная ваши привычки и предпочтения.

Ни у одного другого ИИ-помощника нет такого уровня интеграции. ChatGPT и аналоги вынуждены работать через ограниченные APl, а Алиса Al - полноценный участник экосистемы, с доступом ко всем данным и сервисам.

⛓ Записаться в лист ожидания: https://alice.yandex.ru/waitlist

#мудрость #философ

Наша еженедельная рубрика «Беседа ChatGPT с мудрецом»

💎 Сегодня с нами Курт Гёдель — гений, доказавший, что в любой достаточно сложной системе всегда найдутся утверждения, которые невозможно ни доказать, ни опровергнуть.

ChatGPT беседует с ним на тему: "Теорема неполноты - барьер для развития ИИ"

ChatGPT:

Вы хотите сказать, что неполнота — не ограничение, а свойство самой истины?

Гёдель:

Именно. Истина всегда богаче доказуемости. Формальные системы, включая нейронные сети, — лишь способы аппроксимации. Но если разум способен осознать, что существуют истины вне его собственных правил, значит, в нём уже живёт нечто трансцендентное.

🔖Если вас это заинтересовало, предлагаю прочитать полную беседу Chat GPT и Гёделя.

Верно подметил один из наших подписчиков: «Вот бы этот гаджет ещё и кофе варил»

Желание исполнено 🙏

Калифорнийский стартап 1X начал принимать заказы на своего человекоподобного робота NEO:

🏠 Neo оптимизирован для задач по дому. Например, умеет пылесосить, складывать бельё, поливать цветы, открывать двери гостям. В мобильном приложении ему можно составить список дел и установить время выполнения. Робот также реагирует на голосовые команды — может принести воды или выключить свет.

Стоимость NEO — 20 000 $⁣ (1 598 977 ₽). Но можно оформить и по подписке за 499 $⁣ (39 894 ₽).

🔥 Рубрика «Мир иллюзий».

#галлюцинации #ии #Мириллюзий

История про адвоката Стивена Шварца и дело Mata v. Avianca — знаковый пример юридической галлюцинации ИИ. Модель ChatGPT создала несколько несуществующих судебных дел, адвокат включил их в официальный меморандум, а суд затем подтвердил: все цитаты вымышлены. Судья наложил санкции и зафиксировал это как первый судебный случай ответственности за использование ИИ-контента без проверки.

❓Что именно произошло — по шагам

В феврале 2023 года адвокат Стивен Шварц из нью-йоркской фирмы Levidow, Levidow & Oberman P.C. готовил иск против авиакомпании Avianca от имени пассажира Роберта Маты (Mata v. Avianca, Inc., Case No. 22-cv-1461, Southern District of New York).
Чтобы найти подходящие судебные прецеденты, он воспользовался ChatGPT, попросив:

«Найди дела, подтверждающие возможность продления срока давности в иске против авиакомпании».

1️⃣ Первая галлюцинация.
Модель выдала убедительный список из шести дел, включая:
Varghese v. China Southern Airlines, 925 F.3d 1339 (11th Cir. 2019),
Shaboon v. EgyptAir, 2018 U.S. Dist. LEXIS 157815 (S.D. Tex. 2018).
Все выглядело как реальные цитаты — даты, суды, формулировки — но ни одно из этих решений никогда не существовало в базах Westlaw или LexisNexis.

2️⃣ Второй запрос и «самоподтверждение».
Шварц, сомневаясь, переспросил у ChatGPT, действительно ли эти дела реальны.
Модель ответила:
«Да, эти дела существуют и доступны в Thomson Reuters и LexisNexis».
Таким образом, она подтвердила собственную выдумку, создавая иллюзию достоверности.

🔎 Судебное следствие.
Когда юристы Avianca не нашли упомянутых решений, судья П. Кевин Кастел потребовал объяснений.
На слушании 8 июня 2023 года Шварц признал, что использовал ChatGPT — и не проверил данные.

👨🏻‍⚖️ Результат и ответственность.
22 июня 2023 года судья Кастел вынес Opinion & Order on Sanctions:

штраф $5000 адвокатам Шварцу и Левинову;
обязательство уведомить судей, «упомянутых» в вымышленных делах;
напоминание: использование ИИ не снимает обязанности профессиональной проверки.


🤖 Почему это работает на модели?

Статистическая уверенность.
ChatGPT стремится выдать ответ, структурно похожий на юридический документ — формат цитирования, номера, даты — не различая истинность.

Контекстная самоусиленность.
При повторных запросах модель использует собственные токены как «достоверный контекст» и подтверждает свои же галлюцинации.

Эффект формы.
Юридический стиль — высокопредсказуемый; поэтому тексты, созданные ИИ, выглядят убедительно даже для юристов.

⚙️Разбор механики на языке практики

— Это не технический «глюк», а когнитивная ошибка симуляции: модель воспроизводит паттерн правдоподобного юридического текста.
— Профессиональная ловушка: юрист доверился «авторитетному тону» и формальной структуре вместо проверки фактов.
— Системный эффект: после этого кейса почти все крупные юридические компании внедрили внутренние правила проверки LLM-результатов (double validation).

🔗 Источники и ссылки

Opinion and Order on Sanctions (Mata v. Avianca, Inc.) — 22 June 2023.

Reuters — “US judge sanctions lawyers who used ChatGPT for fake legal citations”.

Аналитика и разбор от Hinshaw & Culbertson: “New York lawyer who cited non-existent cases generated by ChatGPT now faces sanctions hearing”