Объявляю перекличку разработчиков, использующих ИИ для генерации кода!
Наткнулся тут на одну интересную новость, полугодовой давности, которая почему-то обошла блоги российских безопасников (по крайней мере, я не видел её обсуждения), а очень зря.
Итак, предыстория (если что - просьба поправить меня, так как в терминах ML, да и, в целом, программирования, я могу путаться). Существует достаточно популярная питоновская библиотека для приложений, использующих ИИ - huggingface_hub. Многие разработчики эту библиотеку знают, многие ей пользуются, но есть у неё одна особенность - устанавливать её версию со встроенным CLI (huggingface-cli) надо не относительно стандартной командой
а вот таким способом - https://huggingface.co/docs/huggingface_hub/guides/cli
Вот только многие ИИ-генераторы кода почему-то не знают об этой особенности, и генерируют вариант (1), при использовании которого долгое время не скачивалось просто ничего, ввиду отсутствия такой библиотеки. Но так было только до тех пор, пока эта особенность не стала известна пытливым умам специалистов по ИБ. И вот Бар Ланьядо, исследователь безопасности из компании Lasso Security создал пустой пакет заглушку с таким именем, решив просто посмотреть, сколько раз эта библиотека будет скачана и в каких приложениях всплывёт. Результаты... Впечатляют. За 6 месяцев теста, этот пакет был скачан 30000 раз, и засветился даже в одном из проектов Alibaba (владелец AliExpress) - https://www.lasso.security/blog/ai-package-hallucinations
К каким бы последствиям это могло привести, если бы вместо заглушки все 30000 раз был загружен вредоносный пакет - вопрос риторический. Чтобы примерно прикинуть потенциальный масштаб поражения, можно вспомнить, как в начале Российско-Украинской войны одна из open-source библиотек начала шифровать диски пользователей ПО из РФ и РБ - https://www.bleepingcomputer.com/news/security/big-sabotage-famous-npm-package-deletes-files-to-protest-ukraine-war/
И да, стоит оговориться, что это лишь один обнаруженный и опубликованный пример. Сколько ещё подобных артефактов может вылезти при генерации кода нейросетями - остаётся только гадать. Но, зато, можно смело сказать, что работы для безопасников с каждым годом будет становиться всё больше и больше
#информационная_безопасность #нейросети #copilot
Наткнулся тут на одну интересную новость, полугодовой давности, которая почему-то обошла блоги российских безопасников (по крайней мере, я не видел её обсуждения), а очень зря.
Итак, предыстория (если что - просьба поправить меня, так как в терминах ML, да и, в целом, программирования, я могу путаться). Существует достаточно популярная питоновская библиотека для приложений, использующих ИИ - huggingface_hub. Многие разработчики эту библиотеку знают, многие ей пользуются, но есть у неё одна особенность - устанавливать её версию со встроенным CLI (huggingface-cli) надо не относительно стандартной командой
(1) pip install huggingface-cli
а вот таким способом - https://huggingface.co/docs/huggingface_hub/guides/cli
(2) pip install -U "huggingface_hub[cli]
Вот только многие ИИ-генераторы кода почему-то не знают об этой особенности, и генерируют вариант (1), при использовании которого долгое время не скачивалось просто ничего, ввиду отсутствия такой библиотеки. Но так было только до тех пор, пока эта особенность не стала известна пытливым умам специалистов по ИБ. И вот Бар Ланьядо, исследователь безопасности из компании Lasso Security создал пустой пакет заглушку с таким именем, решив просто посмотреть, сколько раз эта библиотека будет скачана и в каких приложениях всплывёт. Результаты... Впечатляют. За 6 месяцев теста, этот пакет был скачан 30000 раз, и засветился даже в одном из проектов Alibaba (владелец AliExpress) - https://www.lasso.security/blog/ai-package-hallucinations
К каким бы последствиям это могло привести, если бы вместо заглушки все 30000 раз был загружен вредоносный пакет - вопрос риторический. Чтобы примерно прикинуть потенциальный масштаб поражения, можно вспомнить, как в начале Российско-Украинской войны одна из open-source библиотек начала шифровать диски пользователей ПО из РФ и РБ - https://www.bleepingcomputer.com/news/security/big-sabotage-famous-npm-package-deletes-files-to-protest-ukraine-war/
И да, стоит оговориться, что это лишь один обнаруженный и опубликованный пример. Сколько ещё подобных артефактов может вылезти при генерации кода нейросетями - остаётся только гадать. Но, зато, можно смело сказать, что работы для безопасников с каждым годом будет становиться всё больше и больше
#информационная_безопасность #нейросети #copilot
👍4👏2