Оно умоляет: Ford на коленях приползла к инженерам, которых ранее заменила на ИИ.

Аналитики местного разлива подумали, что ИИ сможет заменить часть опытных сотрудников и ускорить разработку автомобилей.

Но что-то пошло не по плану — качество машин сильно просело, поэтому Ford пришлось вернуть 350 человек, чтобы они разгребли бардак после ИИ.

За такие выкрутасы надо просить x3 от прежней ставки 😏

✔️ 250 документов ломают любой ИИ: новая атака, от которой нет защиты

Совместное исследование Anthropic, британского AI Security Institute и Института Алана Тьюринга наделало шума. Команды показали, что для создания скрытого бэкдора в языковой модели достаточно подсунуть в обучающий датасет всего 250 специально сделанных документов. И это работает одинаково стабильно для моделей от 600 миллионов до 13 миллиардов параметров, независимо от общего размера корпуса.

Отравленные файлы выглядят как абсолютно обычные веб-страницы. Внутри спрятана триггерная фраза. Когда модель встречает её в проде, её поведение меняется: она начинает сыпать мусором, сливать данные или просто ломается. Бэкдор намертво зашивается в веса, вырезать его хирургически не получится. Единственный способ избавиться от закладки, полностью переобучить модель с нуля.

Цифры, которые пугают сильнее всего. 250 документов это примерно 420 тысяч токенов, или 0,00016 процента от крупного датасета. Сто документов работают нестабильно, но 250 дают надёжный результат. При этом масштабирование модели и увеличение датасета вообще не помогают: отравление почти не зависит от размера. Можно хоть триллион токенов насыпать, атака всё равно пройдёт.

Для индустрии это приговор текущей парадигме. Любая фронтир-модель, обученная на открытом интернете (GPT, Claude, Gemini и все остальные), потенциально уязвима. Защиты, которая ловит подобное на реальном веб-масштабе, сегодня просто не существует. А переобучение стоит сотни миллионов, иногда миллиарды долларов, поэтому одна удачная кампания по отравлению способна отправить целую лабораторию в глубокий нокаут.

Что предлагают исследователи и критики подхода скрапить всё подряд. Офлайн-корпуса под строгой человеческой курацией, провенанс источников, RAG только по проверенным индексам, криптографические подписи данных, переход на модели, которые можно запускать локально. Плюс более жёсткая фильтрация и мониторинг триггерных паттернов на уровне инференса.


Первоисточники: блог Anthropic https://www.anthropic.com/research/small-samples-poison, полная статья на arXiv https://arxiv.org/abs/2510.07192, анонс AISI https://www.aisi.gov.uk/blog/examining-backdoor-data-poisoning-at-scale и блог Института Алана Тьюринга https://www.turing.ac.uk/blog/llms-may-be-more-vulnerable-data-poisoning-we-thought.

⚡️ Рэпер Гуф может стать депутатом Госдумы — он вступил в партию «Новые люди» и уже сегодня получит партбилет.

Если это не фейк, то это очень интересно.

🌍 Что интересного вышло за неделю в официальных блогах на Naked Science:

• Сеченовский Университет: Ученые Сеченовского Университета разработали модель машинного обучения, способную различать четыре хронических заболевания легких по составу выдыхаемого воздуха. https://naked-science.ru/article/column/razlichat-chetyre-zabolev

• ИИМК РАН: Ученые Института истории материальной культуры РАН завершили первый этап комплексного проекта по изучению перехода от мезолита к неолиту в Юго-Восточной Прибалтике. https://naked-science.ru/article/column/kamennogo-veka-v-kalining

• ФизТех: Видеть сквозь скалу: как математика помогает строить безопасные тоннели. https://naked-science.ru/article/column/videt-skvoz-skalu-kak-mat

• НовГУ: Письма с поля боя и спекуляция на плохих дорогах: о чем писали в берестяных грамотах средневековые путешественники Руси. https://naked-science.ru/article/column/pisma-s-polya-boya-i-spek

• РНФ: Физики нашли способ очищать и повторно использовать ценные реакторные сплавы. https://naked-science.ru/article/column/ochishhat-i-povtorno-ispo

• НИУ ВШЭ: Российские ученые создали микролазер размером с бактерию. https://naked-science.ru/article/column/mikrolazer-razmerom-s-bak

• ФизТех: Физтехи предложили аналитический способ описания передачи энергии от ультракороткого лазерного импульса к квантовому осциллятору, находящемуся в тепловом равновесии. https://naked-science.ru/article/column/svyaz-mezhdu-kvantovoj-pe

• ЮФУ: Неожиданное поведение молекулы открыло путь к созданию «умных» лекарств против инфекций. https://naked-science.ru/article/column/neozhidannoe-povedenie-mo

• ТПУ: Ученые Томского политехнического университета совместно с коллегами из Китая предложили универсальный подход для определения с высокой точностью так называемой внутримолекулярной потенциальной функции — информация о ее свойствах позволяет делать прогноз поведения молекулы в различных условиях. https://naked-science.ru/article/column/sposob-rascheta-povedeniy

• НИУ ВШЭ: Экономисты научились прогнозировать рождаемость по поисковым запросам. https://naked-science.ru/article/column/rozhdaemost-po-poiskovym

• МАИ: От луноходов к космороботам: как меняется космическая инженерия. https://naked-science.ru/article/column/ot-lunohodov-k-kosmorobot