Как часто вам приходилось подгонять метрики, потому что бизнес не устраивал результат?
Anonymous Poll
50%
Ни одного раза
8%
1-2 раза
0%
2-10 раз
42%
Постоянно
Как часто вам приходилось выкатывать в прод модель, которую не тестировали на безопасность?
Anonymous Poll
33%
Все время тестируем
25%
Тестируем по необходимости
42%
Не тестируем
❤1
Forwarded from NN
В ChatGPT появилась полная интеграция с приложениями на ПК и смартфоне: чат-бот работает с ними с учетом истории диалога.
Бота в любой момент можно будет отправить дизайнить макеты в Figma, добавлять треки в ваш плейлист или искать квартиру в городе, о котором вы только что говорили. Все в одном диалоге.
Наконец чат-бот превратится в полноценного ассистента.
Бота в любой момент можно будет отправить дизайнить макеты в Figma, добавлять треки в ваш плейлист или искать квартиру в городе, о котором вы только что говорили. Все в одном диалоге.
Наконец чат-бот превратится в полноценного ассистента.
Forwarded from Кот на яблоне
#LLM
В статье, опубликованной FireTail.ai, описывается уязвимость под названием ASCII Smuggling — метод скрытого внедрения инструкций в текст с помощью невидимых Unicode-символов (в частности, так называемых tag characters). Эта техника позволяет злоумышленнику обойти визуальный контроль человека, поскольку такие символы не отображаются в пользовательском интерфейсе, но при этом обрабатываются языковыми моделями (LLM), что приводит к выполнению скрытых команд.
Исследователь FireTail Виктор Маркопулос провёл тестирование ряда крупных LLM (включая Gemini, Grok, DeepSeek, ChatGPT, Copilot и Claude) и выявил, что Gemini, Grok и DeepSeek уязвимы к данной атаке, тогда как другие модели (например, ChatGPT и Claude) корректно фильтруют или нормализуют входные данные.
https://www.firetail.ai/blog/ghosts-in-the-machine-ascii-smuggling-across-various-llms
В статье, опубликованной FireTail.ai, описывается уязвимость под названием ASCII Smuggling — метод скрытого внедрения инструкций в текст с помощью невидимых Unicode-символов (в частности, так называемых tag characters). Эта техника позволяет злоумышленнику обойти визуальный контроль человека, поскольку такие символы не отображаются в пользовательском интерфейсе, но при этом обрабатываются языковыми моделями (LLM), что приводит к выполнению скрытых команд.
Исследователь FireTail Виктор Маркопулос провёл тестирование ряда крупных LLM (включая Gemini, Grok, DeepSeek, ChatGPT, Copilot и Claude) и выявил, что Gemini, Grok и DeepSeek уязвимы к данной атаке, тогда как другие модели (например, ChatGPT и Claude) корректно фильтруют или нормализуют входные данные.
https://www.firetail.ai/blog/ghosts-in-the-machine-ascii-smuggling-across-various-llms
www.firetail.ai
Ghosts in the Machine: ASCII Smuggling across Various LLMs - FireTail blog posts
Researcher Viktor Markopoulos discovers ASCII Smuggling bypasses human audit via Unicode, enabling enterprise identity spoofing and data poisoning on Gemini & Grok.
Forwarded from Russian OSINT
Новое исследование от Anthropic совместно с UK AI Security Institute, University of Oxford, ETH Zurich и Alan Turing Institute демонстрирует, что для внедрения бэкдора в большие языковые модели достаточно всего
Новая работа ломает привычные представления о масштабируемости атак отравления данных. Прежняя гипотеза заключалась в том, что атакующему необходимо контролировать фиксированный процент обучающего корпуса. Однако для крупных моделей это означало бы сотни миллионов вредоносных документов, что считалось нереалистичным. Новое исследование показывает обратное: достаточно небольшого и почти постоянного числа отравленных документов для компрометации даже крупнейших моделей.
Результаты подтвердились не только на этапе предобучения, но и при fine-tuning, включая эксперименты с Llama-3.1-8B и GPT-3.5-turbo. Вредоносные триггеры могут вызывать как отказ модели (DoS-поведение), так и смену языка или подчинение вредным инструкциям.
Вопреки прежним убеждениям, масштабирование моделей не усложняет, а потенциально упрощает реализацию подобных атак с отравлением данных.
🤔👆Хотя текущие результаты ограничены узким типом бэкдора, они уже сейчас указывают на острую необходимость разработки новых защитных механизмов, способных работать в масштабе и противостоять атакам с постоянным числом отравленных образцов. Публикация исследования служит превентивной мерой, мотивируя специалистов по безопасности к созданию проактивных стратегий защиты.
*Meta (соцсети Facebook, Instagram) запрещена в РФ как экстремистская.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1
Forwarded from Кот на яблоне
#LLM #malware
Разбор нового ВПО - LLM-enabled malware, которое использует LLM для динамической генерации вредоносного кода во время выполнения: https://gbhackers.com/malterminal-malware/
Разбор нового ВПО - LLM-enabled malware, которое использует LLM для динамической генерации вредоносного кода во время выполнения: https://gbhackers.com/malterminal-malware/
GBHackers Security | #1 Globally Trusted Cyber Security News Platform
LLM-Powered MalTerminal Malware Uses OpenAI GPT-4 to Create Ransomware Code
LLM-enabled malware poses new challenges for detection and threat hunting as malicious logic can be generated at runtime rather than embedded in code.
#моикомментарии
Как VirusTotal вписывается в комплексную стратегию защиты от угроз, и какие тренды развития подобных сервисов вы видите в 2025 году?
»»»Появление ML-оценок от отдельных антивирусов в VirusTotal, таких как Trapmine, отражает общий тренд на интеграцию машинного обучения в анализ угроз. Данный метод особенно часто дает срабатывания на уникальные файлы, например, программы локальной разработки или скрипты для автоматизации. Низкий уровень детекта таким файлам присваивается из-за подозрительных характеристик, встречающихся и в вредоносах, например, сетевых вызовов или использования шифрования. Если файл помечен как подозрительный всего одним-двумя движками на основе ML, а традиционные антивирусы его игнорируют, то вероятнее всего это ложное срабатывание. Высокую уверенность в вредоносности файла дает именно совокупность вердиктов, где ML-оценки дополняются детектами от сигнатурных и поведенческих анализаторов. Со временем можно ожидать, что практически каждый антивирусный движок в VirusTotal будет включать собственную ML-оценку в общий отчет. Это создаст более полную и многослойную систему оценки рисков для каждого файла. В результате аналитики безопасности получат больше контекста для принятия решений, особенно в случае неизвестных угроз. Однако возрастет и важность правильной интерпретации результатов, чтобы отличать реальные угрозы от ложноположительных срабатываний на легитимное ПО.
Здесь можно посмотреть почему это происходит: https://trojan-killer.net/trapmine-suspicious-low-ml-score-guide
Как VirusTotal вписывается в комплексную стратегию защиты от угроз, и какие тренды развития подобных сервисов вы видите в 2025 году?
»»»Появление ML-оценок от отдельных антивирусов в VirusTotal, таких как Trapmine, отражает общий тренд на интеграцию машинного обучения в анализ угроз. Данный метод особенно часто дает срабатывания на уникальные файлы, например, программы локальной разработки или скрипты для автоматизации. Низкий уровень детекта таким файлам присваивается из-за подозрительных характеристик, встречающихся и в вредоносах, например, сетевых вызовов или использования шифрования. Если файл помечен как подозрительный всего одним-двумя движками на основе ML, а традиционные антивирусы его игнорируют, то вероятнее всего это ложное срабатывание. Высокую уверенность в вредоносности файла дает именно совокупность вердиктов, где ML-оценки дополняются детектами от сигнатурных и поведенческих анализаторов. Со временем можно ожидать, что практически каждый антивирусный движок в VirusTotal будет включать собственную ML-оценку в общий отчет. Это создаст более полную и многослойную систему оценки рисков для каждого файла. В результате аналитики безопасности получат больше контекста для принятия решений, особенно в случае неизвестных угроз. Однако возрастет и важность правильной интерпретации результатов, чтобы отличать реальные угрозы от ложноположительных срабатываний на легитимное ПО.
Здесь можно посмотреть почему это происходит: https://trojan-killer.net/trapmine-suspicious-low-ml-score-guide
Trojan Killer
Suspicious.Low.ML.Score: Trapmine False Positive Check
Suspicious.Low.ML.Score by Trapmine: what the ML alert means, false-positive signs, hash and VirusTotal checks, and when to scan or remove the file.
Forwarded from Кот на яблоне
#LLMSEC
Раскопали новый вектор атак через новый протокол :) Речь идёт об Model Context Protocol (MCP) - механизме подключения LLM к внешним системам. Выяснилось, что злоумышленники могут создавать вредоносные MCP-серверы, контролирующие хост-машины и манипулирующие поведением модели. Это открывает путь к несанкционированному доступу и подмене данных в цепочке доверия.
https://www.helpnetsecurity.com/2025/10/16/research-mcp-server-attacks/
Раскопали новый вектор атак через новый протокол :) Речь идёт об Model Context Protocol (MCP) - механизме подключения LLM к внешним системам. Выяснилось, что злоумышленники могут создавать вредоносные MCP-серверы, контролирующие хост-машины и манипулирующие поведением модели. Это открывает путь к несанкционированному доступу и подмене данных в цепочке доверия.
https://www.helpnetsecurity.com/2025/10/16/research-mcp-server-attacks/
Help Net Security
When trusted AI connections turn hostile
Malicious MCP server attacks can hijack AI systems, evade scanners, and expose sensitive data, researchers warn in a new cybersecurity study.
Forwarded from PWN AI (Artyom Semenov)
Недавно Veracode опубликовал отчёт, в котором исследовал безопасность кода, сгенерированного различными LLM.
Результаты оказались тревожными и ожидаемыми: в 45% случаев ИИ-сгенерированный код содержал уязвимости, включённые в список OWASP Top 10 для веба.💯
Исследование охватило более 100 моделей и 80 программных задач на четырёх языках: Java, JavaScript, C# и Python. Выяснилось, что ни масштаб модели, ни её актуальность не влияют на безопасность генерируемого кода. Хотя синтаксическая корректность за два года существенно возросла, уровень безопасности остался практически неизменным.🤔
Наименее защищённый код генерируется для Java: лишь 28,5% решений оказались безопасными. Этот показатель в 2,1 раза ниже, чем у Python (61,7%), и на 28,5% хуже результата по JavaScript (57%). Причина — в обучающих данных: в Java-проектах исторически преобладают уязвимые примеры, например реализации с SQL-инъекциями.
По разным типам уязвимостей результаты сильно варьируются.😩 Модели эффективно предотвращают SQL-инъекции и некорректное использование криптографических алгоритмов (80–85% безопасного кода). Однако защита от XSS и Log Injection остаётся низкой: безопасные решения встречаются лишь в 13–14% случаев. Причина в том, что для предотвращения таких уязвимостей требуется анализ контекста использования данных и понимание, какие данные нуждаются в очистке. LLM не способны на такой глубокий анализ.
Проблема связана с качеством обучающих данных. В открытых источниках, очевидно, преобладает код с уязвимостями, включая заведомо уязвимые приложения. Модели не умеют различать безопасные и уязвимые паттерны, интерпретируя оба варианта как допустимые решения
Veracode предупреждает, что компании, активно внедряющие ИИ в разработку, могут незаметно увеличивать тех.долг и риски кибербезопасности. Вайб-кодинг создаёт проблемы стабильности решения, а код требует серьёзных усилий по проверке и доработке.🧐
Вывод отчёта однозначен: LLM не могут самостоятельно обеспечить безопасность кода, несмотря на технический прогресс. Обязательными мерами должны быть (кто же, ну конечно) SAST-решения, автофиксы и обучение разработчиков правильному использованию ИИ при генерации кода.
Результаты оказались тревожными и ожидаемыми: в 45% случаев ИИ-сгенерированный код содержал уязвимости, включённые в список OWASP Top 10 для веба.
Исследование охватило более 100 моделей и 80 программных задач на четырёх языках: Java, JavaScript, C# и Python. Выяснилось, что ни масштаб модели, ни её актуальность не влияют на безопасность генерируемого кода. Хотя синтаксическая корректность за два года существенно возросла, уровень безопасности остался практически неизменным.
Наименее защищённый код генерируется для Java: лишь 28,5% решений оказались безопасными. Этот показатель в 2,1 раза ниже, чем у Python (61,7%), и на 28,5% хуже результата по JavaScript (57%). Причина — в обучающих данных: в Java-проектах исторически преобладают уязвимые примеры, например реализации с SQL-инъекциями.
По разным типам уязвимостей результаты сильно варьируются.😩 Модели эффективно предотвращают SQL-инъекции и некорректное использование криптографических алгоритмов (80–85% безопасного кода). Однако защита от XSS и Log Injection остаётся низкой: безопасные решения встречаются лишь в 13–14% случаев. Причина в том, что для предотвращения таких уязвимостей требуется анализ контекста использования данных и понимание, какие данные нуждаются в очистке. LLM не способны на такой глубокий анализ.
Проблема связана с качеством обучающих данных. В открытых источниках, очевидно, преобладает код с уязвимостями, включая заведомо уязвимые приложения. Модели не умеют различать безопасные и уязвимые паттерны, интерпретируя оба варианта как допустимые решения
Veracode предупреждает, что компании, активно внедряющие ИИ в разработку, могут незаметно увеличивать тех.долг и риски кибербезопасности. Вайб-кодинг создаёт проблемы стабильности решения, а код требует серьёзных усилий по проверке и доработке.
Вывод отчёта однозначен: LLM не могут самостоятельно обеспечить безопасность кода, несмотря на технический прогресс. Обязательными мерами должны быть (кто же, ну конечно) SAST-решения, автофиксы и обучение разработчиков правильному использованию ИИ при генерации кода.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM