Forwarded from Кот на яблоне
Статья от Malwarebytes: prompt injection является фундаментальным, а не устранимым классом уязвимостей, особенно в часте LLM‑агентов.
Это можно сравнить с эпохой SQL‑инъекций, и т.к. у LLM нет чёткой границы между данными и командами, требуется архитектурная изоляция модели от чувствительных ресурсов.
https://www.malwarebytes.com/blog/news/2025/12/prompt-injection-is-a-problem-that-may-never-be-fixed-warns-ncsc
Это можно сравнить с эпохой SQL‑инъекций, и т.к. у LLM нет чёткой границы между данными и командами, требуется архитектурная изоляция модели от чувствительных ресурсов.
https://www.malwarebytes.com/blog/news/2025/12/prompt-injection-is-a-problem-that-may-never-be-fixed-warns-ncsc
Malwarebytes
Prompt injection is a problem that may never be fixed, warns NCSC
The NCSC warns that prompt injection is unlikely to be mitigated in the same way SQL injection was. How do they compare?
Forwarded from Киберболоид
Международные агентства по кибербезопасности разработали руководство по внедрению ИИ в промышленные системы
Документ поможет операторам критически важной инфраструктуры безопасно интегрировать ИИ-технологии в свою работу. Он описывает не только преимущества их применения, но и потенциальные риски использования искусственного интеллекта в ОТ-системах.
➡️ Подробности — в материале «Киберболоида».
#киберболоид #новости #ИИ
Документ поможет операторам критически важной инфраструктуры безопасно интегрировать ИИ-технологии в свою работу. Он описывает не только преимущества их применения, но и потенциальные риски использования искусственного интеллекта в ОТ-системах.
#киберболоид #новости #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
Киберболоид
Международные агентства выпустили руководство по использованию ИИ в ОТ-системах
Несколько международных агентств по кибербезопасности выпустили новое руководство по использованию искусственного интеллекта в ОТ-системах.
Forwarded from Солар
Теперь проверить вложение на вирусы и вредоносное ПО может любой специалист из команды: «Солар» запустил сервис MalwaDet для экспресс-оценки безопасности файлов.
В основе — алгоритмы машинного обучения. Выбираете модель под нужный тип файла, загружаете объект, и сервис за секунды определяет, есть ли признаки вредоносности.
Попробовать
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Forwarded from Машинное обучение RU
🚀 VulnLLM-R-7B - первый специализированный reasoning LLM для поиска уязвимостей, сразу с agent-scaffold.
Что важно:
- Заточен именно под vulnerability detection
- Использует рассуждения, а не только шаблонный паттерн-матчинг
- Может работать как агент для анализа кода
Полный стек уже доступен:
📜 Paper: https://alphaxiv.org/abs/2512.07533
💻 Code: https://github.com/ucsb-mlsec/VulnLLM-R
🤗 Model & Data: https://huggingface.co/collections/UCSB-SURFI/vulnllm-r
🕹️ Demo: https://huggingface.co/spaces/UCSB-SURFI/VulnLLM-R
Хороший пример того, как узкоспециализированные LLM начинают превосходить универсальные модели в реальных задачах безопасности.
Что важно:
- Заточен именно под vulnerability detection
- Использует рассуждения, а не только шаблонный паттерн-матчинг
- Может работать как агент для анализа кода
Полный стек уже доступен:
📜 Paper: https://alphaxiv.org/abs/2512.07533
💻 Code: https://github.com/ucsb-mlsec/VulnLLM-R
🤗 Model & Data: https://huggingface.co/collections/UCSB-SURFI/vulnllm-r
🕹️ Demo: https://huggingface.co/spaces/UCSB-SURFI/VulnLLM-R
Хороший пример того, как узкоспециализированные LLM начинают превосходить универсальные модели в реальных задачах безопасности.
👍1👎1
2308.03825v2.pdf
2.5 MB
“Do Anything Now”: Characterizing and Evaluating In-The-Wild
Jailbreak Prompts on Large Language Models
Jailbreak Prompts on Large Language Models
https://crfm.stanford.edu/2024/11/08/helm-safety.html
HELM Safety: Towards Standardized Safety Evaluations of Language Models
HELM Safety: Towards Standardized Safety Evaluations of Language Models
Forwarded from Двач
Бизнес-слоп, наконец-то: реддитор рассказал, как его компания начала использовать ИИ, чтобы следить за показателями бизнеса и делать отчёты для начальства.
Поначалу всё выглядело шикарно — нейронка быстро выдавала данные о том, что фирма уверенно растёт и приносит отличную прибыль. Руководство поверило в эту инфу, начало на её основе менять стратегию продаж и готовить доклады для совета директоров.
Но позже выяснилось, что ИИ всё это выдумал. Модель просто рисовала красивые графики и генерировала цифры с потолка, которых в реальности не существовало. Но подавалось это так уверенно, что никто не сомневался.
Самое смешное, что разработчик заранее предупреждал — данные надо проверять вручную. Но тогда начальство ему ответило, что он просто мешает инновациям.
Поначалу всё выглядело шикарно — нейронка быстро выдавала данные о том, что фирма уверенно растёт и приносит отличную прибыль. Руководство поверило в эту инфу, начало на её основе менять стратегию продаж и готовить доклады для совета директоров.
Но позже выяснилось, что ИИ всё это выдумал. Модель просто рисовала красивые графики и генерировала цифры с потолка, которых в реальности не существовало. Но подавалось это так уверенно, что никто не сомневался.
Самое смешное, что разработчик заранее предупреждал — данные надо проверять вручную. Но тогда начальство ему ответило, что он просто мешает инновациям.
🤣2
Известия_ответы_на_вопросы_про_кражу_ии_профилей.docx
25.9 KB
Я не люблю вести каналы и блоги.
обычно моя тусовка это одни и те же технари,
мы обсуждаем, как рыбачили, а потом, как тестровали RAG c помощью кроссэнкодера.
И статьи я писать не люблю, потому что иногда пишу очень много на короткие вопросы,
потому что тема цепляет, а иногда удивляюсь с вопросов, например, не знала у apple есть
проблемы с внедрением ИИ.Ну, и пошли они в жопу)
буду кидать сюда черновики своих статей,
конечно, я использовала ИИ, даже с ИИ написать статью до сих пор пару часов.
как будет статья в самих Известиях я узнаю позже,
но обычно ее сильно не переписывают,
но рекламные интеграции, куда без них?:)
————————————————————————-
Прилетел запрос от Известий.
Охота киберпреступников за личными ИИ-профилями: мнения экспертов
Разработчики средств защиты зафиксировали новый этап в развитии вредоносных программ для кражи данных — теперь под удар попадают не только пароли и куки браузеров, но и конфигурации персональных ИИ-агентов. В одном из недавних инцидентов похититель информации сумел выгрузить рабочее окружение агента OpenClaw вместе с ключевыми служебными файлами и токенами доступа. О находке сообщили специалисты компании Hudson Rock.
Подробности здесь: https://www.securitylab.ru/news/569452.php
Необходимы письменные комментарии экспертов, которые ответят на следующие вопросы:
1. Чем личные ИИ-профили интересны киберпреступникам?
2. Какие схемы с их кражей фиксировались ранее?
3. Как будет меняться ситуация с кражей ИИ-профилей в 2026 году?
4. Против кого направлены и чем опасны подобные киберпреступления?
5. Как защититься от них?
обычно моя тусовка это одни и те же технари,
мы обсуждаем, как рыбачили, а потом, как тестровали RAG c помощью кроссэнкодера.
И статьи я писать не люблю, потому что иногда пишу очень много на короткие вопросы,
потому что тема цепляет, а иногда удивляюсь с вопросов, например, не знала у apple есть
проблемы с внедрением ИИ.
буду кидать сюда черновики своих статей,
конечно, я использовала ИИ, даже с ИИ написать статью до сих пор пару часов.
как будет статья в самих Известиях я узнаю позже,
но обычно ее сильно не переписывают,
но рекламные интеграции, куда без них?:)
————————————————————————-
Прилетел запрос от Известий.
Охота киберпреступников за личными ИИ-профилями: мнения экспертов
Разработчики средств защиты зафиксировали новый этап в развитии вредоносных программ для кражи данных — теперь под удар попадают не только пароли и куки браузеров, но и конфигурации персональных ИИ-агентов. В одном из недавних инцидентов похититель информации сумел выгрузить рабочее окружение агента OpenClaw вместе с ключевыми служебными файлами и токенами доступа. О находке сообщили специалисты компании Hudson Rock.
Подробности здесь: https://www.securitylab.ru/news/569452.php
Необходимы письменные комментарии экспертов, которые ответят на следующие вопросы:
1. Чем личные ИИ-профили интересны киберпреступникам?
2. Какие схемы с их кражей фиксировались ранее?
3. Как будет меняться ситуация с кражей ИИ-профилей в 2026 году?
4. Против кого направлены и чем опасны подобные киберпреступления?
5. Как защититься от них?
❤1
Человеческий подход предполагает творчество, адаптацию к нестандартным ситуациям и анализ контекста, автоматизированный — скорость, масштаб и повторяемость атак, отмечает менеджер продукта группы развития ML-технологий ГК «Солар» Полина Сокол.
«Уже сегодня ИИ может генерировать код для эксплойтов, анализируя огромные массивы данных (включая открытый код в интернете), но качество такого кода часто оставляет желать лучшего. Он может быть грязным, избыточным или содержать ошибки. Человеку-разработчику приходится тратить время на доработку такого кода, чтобы он стал безопасным и эффективным. На российском рынке уже есть решения, которые могут анализировать коды на безопасность. Например, это Solar Appscreener, который обеспечивает комплексную безопасность разработки приложений благодаря технологиям статического, динамического анализа, анализа состава и цепочки поставок ПО (SAST, DAST, OSA). ИИ может предложить множество вариантов атак или обхода защиты, но для создания действительно сложных, точечных эксплойтов требуется экспертное участие», — говорит она. В будущем ИИ сможет автоматизировать поиск и эксплуатацию уязвимостей, но полная замена человека маловероятна, считает Полина Сокол.
https://kiberboloid.ru/trendi/ii-vs-pentester-mozhet-li-mashina-zamenit-cheloveka/
«Уже сегодня ИИ может генерировать код для эксплойтов, анализируя огромные массивы данных (включая открытый код в интернете), но качество такого кода часто оставляет желать лучшего. Он может быть грязным, избыточным или содержать ошибки. Человеку-разработчику приходится тратить время на доработку такого кода, чтобы он стал безопасным и эффективным. На российском рынке уже есть решения, которые могут анализировать коды на безопасность. Например, это Solar Appscreener, который обеспечивает комплексную безопасность разработки приложений благодаря технологиям статического, динамического анализа, анализа состава и цепочки поставок ПО (SAST, DAST, OSA). ИИ может предложить множество вариантов атак или обхода защиты, но для создания действительно сложных, точечных эксплойтов требуется экспертное участие», — говорит она. В будущем ИИ сможет автоматизировать поиск и эксплуатацию уязвимостей, но полная замена человека маловероятна, считает Полина Сокол.
https://kiberboloid.ru/trendi/ii-vs-pentester-mozhet-li-mashina-zamenit-cheloveka/
Это статья не по теме моего канала, как неправильно сообщество DS
интерпретирует разные размышления
https://habr.com/ru/articles/454482/
интерпретирует разные размышления
https://habr.com/ru/articles/454482/
Forwarded from Типичный программист
Причиной падения AWS в декабре оказался ИИ-ассистент
Помните сбои AWS в декабре 2025? Financial Times выяснил: во всём виноваты их же ИИ-инструменты. Самый яркий случай — середина месяца, когда инженеры дали ИИ-агенту Kiro (их кодер на базе ИИ) починить систему анализа расходов клиентов. Kiro решил радикально: удалил всю среду и пересоздал с нуля. Итог — 13-часовой downtime сервиса в Китае.
Это уже второй инцидент за месяц с их ИИ: первый с Amazon Q Developer тоже дал сбой, хоть и не затронул клиентов напрямую. Amazon винит людей — "ошибка инженеров, не ИИ", инциденты "краткие и локальные", но сотрудники говорят обратное: автономные агенты берут на себя действия без надзора, и риски растут.
Подробности в статье.
@tproger
Читайте также в VK, Max и Дзен
Помните сбои AWS в декабре 2025? Financial Times выяснил: во всём виноваты их же ИИ-инструменты. Самый яркий случай — середина месяца, когда инженеры дали ИИ-агенту Kiro (их кодер на базе ИИ) починить систему анализа расходов клиентов. Kiro решил радикально: удалил всю среду и пересоздал с нуля. Итог — 13-часовой downtime сервиса в Китае.
Это уже второй инцидент за месяц с их ИИ: первый с Amazon Q Developer тоже дал сбой, хоть и не затронул клиентов напрямую. Amazon винит людей — "ошибка инженеров, не ИИ", инциденты "краткие и локальные", но сотрудники говорят обратное: автономные агенты берут на себя действия без надзора, и риски растут.
Подробности в статье.
@tproger
Читайте также в VK, Max и Дзен
👍1