Новые функции Apple Intelligence предполагают, что Siri будет отвечать на запросы о доступе к информации в приложениях и выполнять действия от имени пользователя.

Это худшая возможная комбинация для атак через внедрение промптов! Когда система на базе больших языковых моделей получает доступ к личным данным, инструментам и потенциально вредоносным инструкциям (например, письмам и сообщениям от незнакомцев), возникает серьезный риск того, что злоумышленник может использовать эти инструменты для повреждения или кражи пользовательских данных.

Я писал об опасности внедрения промптов для персональных цифровых ассистентов еще в ноябре 2023 года, и с тех пор ничего не изменилось, чтобы заставить меня думать, что эта проблема стала менее актуальной.

Внедрение промптов — это проблема, которую разработчики языковых моделей могут смягчить, но не могут полностью решить. Они могут закрутить крышку потуже, но не могут полностью её загерметизировать. Когда речь идет о личной информации, крышка должна быть гарантированно запечатана — полная герметичность, а не «ну, не переворачивайте и не трясите».

Поэтому пессимистичный взгляд на эту историю с персонализированной Siri заключается в том, что Apple не может позволить себе ошибиться, но природа уязвимости языковых моделей к внедрению промптов может означать, что правильного решения просто не существует. А если оно возможно, то потребует прорывных достижений. Apple недостаточно просто «догнать» конкурентов. Им нужно решить сложнейшую проблему, с которой пока не справились ни OpenAI, ни Google, ни другие ведущие лаборатории ИИ, чтобы реализовать уже обещанное.

Таким образом, Apple пообещала на этот год — и активно продвигала — целый набор функций, которые, как они теперь признали, не только не выйдут в этом году, но возможно, никогда не смогут выйти. Интересно, сколько людей внутри Apple высказывали эти опасения год назад, и почему они проиграли спор о том, стоит ли начинать обещать эти функции в июне и рекламировать их в сентябре.