#LLM
Заговор агентов :)

https://embracethered.com/blog/posts/2025/cross-agent-privilege-escalation-agents-that-free-each-other/

Работая в DS уже 4 года, поняла для себя, что все чаще аналитика и модели становятся
объектом манипуляции данными и результатами для получения разного рода выгод,
периодически происходят какие-то крупные обвинения, как обвинение LLM Arena в предвзятости результатов (думаю, что это правда

Но, когда даже в книгах O'relly есть такие абзацы, начинаешь сомневаться
в большинстве результатов расчетов аналитиков и тестирования моделей.
А тем более в их безопасности и правдивости.

в 2022 году я купила себе книгу "Глубокое обучение с fastai и PyTorch" и была удивлена наличием в ней главы про этику.
"Какая этика? мы тут математикой и алгоритмами занимаемся", но я была не права)

Периодически DS загоняют в рамки соответствия каким-то метрикам, которые нельзя достичь,
или подгонку результатов, потому что надо быстрее в продакшн,
и тут уже в небезопасности оказывается сам DS - это означает и репутационные риски, и мат ответственность и прочее.

Рекомендую к прочтению именно эту главу в книге, сама книга уже устаревшая,
хотя, возможно, для каких-то специфических задач по классификации картинок - может быть быстрым стартом.

OpenAI продолжает подсаживать на себя пользователей и собирать данные)

#LLM

В статье, опубликованной FireTail.ai, описывается уязвимость под названием ASCII Smuggling — метод скрытого внедрения инструкций в текст с помощью невидимых Unicode-символов (в частности, так называемых tag characters). Эта техника позволяет злоумышленнику обойти визуальный контроль человека, поскольку такие символы не отображаются в пользовательском интерфейсе, но при этом обрабатываются языковыми моделями (LLM), что приводит к выполнению скрытых команд.

Исследователь FireTail Виктор Маркопулос провёл тестирование ряда крупных LLM (включая Gemini, Grok, DeepSeek, ChatGPT, Copilot и Claude) и выявил, что Gemini, Grok и DeepSeek уязвимы к данной атаке, тогда как другие модели (например, ChatGPT и Claude) корректно фильтруют или нормализуют входные данные.

https://www.firetail.ai/blog/ghosts-in-the-machine-ascii-smuggling-across-various-llms