👩‍💻 Журналы OpenAI API: неисправленная уязвимость, ведущая к утечке данных

Исследователи по кибербезопасности из Promptarmor обнародовали отчёт, который раскрывает уязвимость в интерфейсе журналов API платформы OpenAI, позволяя, как утверждлается, эксфильтрировать чувствительные данные из ИИ-приложений и ИИ-агентов.

Проблема связана с небезопасной отрисовкой изображений Markdown в журналах API responses (рекомендованного по умолчанию) и conversationsдля ИИ-сервисов и ИИ-решений. Атака срабатывает даже в тех случаях, когда разработчики на уровне своих приложений полностью блокируют вывод изображений и вредоносный контент для конечных пользователей.

Сценарий атаки строится на косвенной внедренной инструкции в недоверенных источниках данных, например в материалах из открытых источников, которые обрабатывают большие языковые модели. Вредоносный ответ может быть корректно заблокирован внутри ИИ-сервиса и помечен для проверки, однако при открытии такого диалога в журнале API изображение Markdown автоматически загружается с домена атакующего. В результате атакующая сторона получает полный URL-запроса, в котором содержатся персональные данные и финансовая информация пользователя, включая паспортные сведения и финансовую информацию.

Уязвимость была ответственно раскрыта через платформу BugCrowd в ноябре 2025 года, однако в декабре отчет закрыли со статусом «не применимо», несмотря на воспроизводимые доказательства специалистов. Уязвимость также затрагивает Assistant Builder, Agent Builder и инструменты разработки, такие как ChatKit Playground и Starter ChatKit app, используемые для создания и тестирования ИИ-решений. Аналогичные паттерны поведения выявлены и у сторонних ИИ-сервисов, включая Perplexity, где пользовательская обратная связь может непреднамеренно запускать цепочку эксфильтрации через журналы платформы.

✋ @Russian_OSINT

🏴‍☠️Пиратские библиотеки книг как источник обучения ИИ-моделей

Руководитель компании Fairly Trained Эд Ньютон-Рекс пишет в 🦆, что ему стало любопытно, сколько Anna’s Archive берёт с разработчиков ИИ за доступ к своей огромной библиотеке 🏴‍☠️пиратских произведений для обучения моделей. Он под видом покупателя написал им, представившись заинтересованным лицом.

Если верить его словам, то Anna’s Archive предложили ему высокоскоростной доступ ко всей коллекции, включающей более 60 миллионов книг, всего за $200 000 (разумеется, с оплатой в криптовалюте). Примечательно, что в письме такую сумму аккуратно называют донатом/пожертвованием.

Это та же группа, которая недавно похитила весь музыкальный каталог Spotify, так что можно ожидать, что и он будет доступен для состоятельных клиентов.

Именно к этой коллекции, как утверждается, 🖥 NVIDIA получила доступ для обучения.

Обучение на пиратских произведениях широко распространено в индустрии ИИ. В своей подпитываемой жадностью гонке за лидерство на рынке ИИ эту практику взяли на вооружение некоторые из крупнейших компаний отрасли.

Когда они заявляют, что подобные действия якобы являются справедливыми, следует помнить: это не только кража сама по себе, что уже достаточно плохо, но и поддержка дальнейших краж за счёт финансирования пиратов.

Индустрии ИИ отчаянно необходим жёсткий перезапуск. Она должна отвернуться от воровства и начать платить тем людям, на чьих трудах она основывается.

— комментирует композитор и общественный деятель Эд Ньютон-Рекс.

Мегакорпорации скупают данные на чёрном рынке у теневых библиотек, используя 💴неотслеживаемую криптовалюту, чтобы создать цифрового бога.

Киберпанк 2026

— пишет monerobull.

👆🤔Слухи и обвинения в адрес NVIDIA появились на фоне судебных разбирательств. Nvidia якобы многократно копировала защищённые авторским правом книги для обучения своих больших языковых моделей, получая материалы из «теневых библиотек» (нелегальных пиратских хранилищ), в числе которых прямо названы The Pile, Bibliotik и Anna’s Archive.

✋ @Russian_OSINT

👨‍🔬🔬 Более 50 научных статей NeurIPS 2025 оказались "халтурой", содержащей 🦠галлюцинации ИИ-моделей

Январь 2026 года ознаменовался громким скандалом вокруг обнаружения более 50 научных работ с грубыми ошибками со стороны LLM на престижной конференции NeurIPS*.

NeurIPS 2025* — международная площадка, на которой обсуждаются прорывные исследования в области искусственного интеллекта, машинного обучения, статистики, оптимизации и смежных дисциплин. Проводится ежегодно с 1987 года и традиционно привлекает учёных, исследователей, инженеров, разработчиков и представителей индустрии из десятков стран.

Команда исследователей GPTZero проанализировала 4841 научную работу с прошедшей конференции NeurIPS 2025 и выявила более 100 подтвержденных случаев выдуманного цитирования в 53 уже опубликованных статьях.

Анализ команды GPTZero выявил то, что исследователи из ведущих мировых центров вроде Нью-Йоркского университета, Google DeepMind и MIT допустили публикацию сгенерированного текста с вымышленными фактами и даже не перепроверили текст на галлюцинации.

Например, в одной из работ зафиксирован рекорд из 13 галлюцинаций со ссылками на несуществующие препринты формата arXiv:2305.XXXX и авторов с шаблонными именами Firstname Lastname. Команды из UCSD и NVIDIA в своих библиографических списках на полном серьезе ссылаются на вымышленных персонажей John Smith и Jane Doe.

Ещё ИИ-модели создают правдоподобно выглядящие, но несуществующие источники путем смешивания реальных элементов. Алгоритм берет имена настоящих ученых и приписывает им работы, которые они никогда не писали, или же соединяет реальный заголовок с вымышленным списком авторов.
Третий тип ошибок связан с неверной атрибуцией реально существующих работ. ИИ-решения часто правильно указывают авторов и название исследования, но ошибаются в месте его публикации (например, указывают конференцию NeurIPS вместо ICLR) или годе выпуска. В отчете зафиксированы случаи, когда статья 2024 года цитируется как опубликованная в 2020 году. Такие ошибки сложнее всего отследить, так как сама научная работа существует, но ссылка на нее в контексте статьи является фактологически неверной.

🧹 Содержащие информационный мусор доклады были успешно презентованы аудитории в 20 000 человек в декабре 2025 года.

🤔 Алекс Цуй из GPTZero справедливо задается вопросом о том, что "если авторы не проверяют, что ИИ пишет в их статьях, то как вы можете доверять тому, что их экспериментальные результаты или данные также не сфабрикованы ИИ?".

Просто невероятно, что они прошли рецензирование!

— пишет GPTZero.

В чём безумие и возмущение исследователей?

🤦‍♂️ Научные работы уже официально обнародованы. Алекс Цуй в своем отчете прямо указывает: «К сожалению, исправлять эти статьи уже поздно — они были опубликованы и представлены 20 000 человек в декабре 2025 года».

😅 Более того, факт публикации подтверждается тем, что эти доклады с галлюцинациями больших языковых моделей успешно прошли этап рецензирования, в то время как 15 000 других заявок были отклонены. Сложившаяся ситуация ставит под сомнение не только компетентность авторов, но и надежность всей системы проверки научных знаний на NeurIPS.

Кризис рецензирования усугубляется взрывным ростом количества заявок на 220% за последние пять лет. Рецензенты просто не успевают качественно проверять достоверность каждого библиографического списка.

Исследователи даже шутливо (а может и нет) вводят новое понятие «вайб-цитирование» (Vibe Citing) по аналогии с «вайб-кодингом». Печаль, тоска, ИИтоги.

✋ @Russian_OSINT