Если вы выбираете средство поиска уязвимостей, то это свежее исследование от Инфосистем Джет неплохая стартовая точка.
По понятным причинам авторы не сравнивают ключевую характеристику - стоимость владения.
Можно было бы дополнительно:
1. сравнить как минимум относительную стоимость оборудования для минимально работоспособной инсталляции и инсталляции на 10000 активов на основе открытых цен любого облачного провайдера. Размеры минимальной инсталляции одного из вендоров могут вас неприятно удивить.
2. Указать принципы лицензирования - по активам, по ip, какой то функционал отдельно покупается? Несмотря на зелёные галочки в таблице может выяснится, что для этого функционала нужна доп лицензия которая сравнима по стоимости с основной. Что покупается навсегда, а что нужно будет продлять каждый год.
Входит ли в базовую лицензию техподдержка или снова доп затраты?
3. Как справедливо указывает Александр Леонов необходимо оценивать и объем/качество покрытия уязвимостей. Как минимум по объему базы уязвимостей и количество уязвимостей которые разработчики сами добавляют в базу. Последнее важно на фоне изменений принципов формирования и обогащения базы NIST NVD.
Upd: финалистов сравнения все равно надо тестировать у вас в инфраструктуре, нельзя полагаться только на функциональное и денежное сравнение.
По понятным причинам авторы не сравнивают ключевую характеристику - стоимость владения.
Можно было бы дополнительно:
1. сравнить как минимум относительную стоимость оборудования для минимально работоспособной инсталляции и инсталляции на 10000 активов на основе открытых цен любого облачного провайдера. Размеры минимальной инсталляции одного из вендоров могут вас неприятно удивить.
2. Указать принципы лицензирования - по активам, по ip, какой то функционал отдельно покупается? Несмотря на зелёные галочки в таблице может выяснится, что для этого функционала нужна доп лицензия которая сравнима по стоимости с основной. Что покупается навсегда, а что нужно будет продлять каждый год.
Входит ли в базовую лицензию техподдержка или снова доп затраты?
3. Как справедливо указывает Александр Леонов необходимо оценивать и объем/качество покрытия уязвимостей. Как минимум по объему базы уязвимостей и количество уязвимостей которые разработчики сами добавляют в базу. Последнее важно на фоне изменений принципов формирования и обогащения базы NIST NVD.
Upd: финалистов сравнения все равно надо тестировать у вас в инфраструктуре, нельзя полагаться только на функциональное и денежное сравнение.
💯1
Forwarded from Управление Уязвимостями и прочее
Инфосистемы Джет выложили "Результаты тестирования решений для управления уязвимостями" по новой версии методики (3.0). Тестировали следующие продукты:
🔸
🔸
🔸
🔸
🔸
[...] Работа была проделана, вне всяких сомнений, большая и основательная. 🔥 Но, как и в случае тестирования по первой версии методики, мне не хватает оценки качества детектирования. Большая часть этой функциональности скрывается за пунктом "Поддержка сканирования ОС: Windows Server, Windows, AlmaLinux, Ubuntu, Debian" с галочкой у всех вендоров и без каких-либо комментариев. А ведь там самое интересное, ради чего, собственно, пользователи и покупают САЗы. [...]
[ Читайте полностью в посте на сайте avleonov.ru ]
➡️Ⓜ️ MAX | @avleonovrus #JetInfosystems #Comparison #VMvendors
🔸
MaxPatrol VM v. 2.8 (27.6)🔸
SecurityVision VM v. 5.0.1773849508🔸
ScanFactory v. 7.21.9🔸
R-Vision VM v. 6.2🔸
AlphaSense v. 4.57.08.04[...] Работа была проделана, вне всяких сомнений, большая и основательная. 🔥 Но, как и в случае тестирования по первой версии методики, мне не хватает оценки качества детектирования. Большая часть этой функциональности скрывается за пунктом "Поддержка сканирования ОС: Windows Server, Windows, AlmaLinux, Ubuntu, Debian" с галочкой у всех вендоров и без каких-либо комментариев. А ведь там самое интересное, ради чего, собственно, пользователи и покупают САЗы. [...]
[ Читайте полностью в посте на сайте avleonov.ru ]
➡️Ⓜ️ MAX | @avleonovrus #JetInfosystems #Comparison #VMvendors
Вышла новая версия модели Антропик Claude 4.8.
Небольшое увеличение точности по всем бенчмаркам кроме кибербезопасности.
В этом релизе значительное внимание было уделено мерам безопасности (сейфгарды) и, по заявлению производителя, 4.7 примерно равно 4.8.
Но в новости ещё указано, что прогресс в области мер безопасности, позволяет планировать в ближайшие недели публичный релиз "моделей уровня Mythos".
Больше технических деталей возможно найти в системной карточке новой модели. Ниже я приведу пару графиков бенчей кибербезопасности из карточки модели.
Исключен из карточки популяный бенчмарк Cybench как насыщенный. Насыщенные бенчмарки это бенчмарки которые больше не показывают прогресса, передовые модели набирают в них значения близкие к 90-95%.
Добавилось в карточку 2 новых бенча кибербезопасности ExploitBench (способность писать готовые эксплойты с нуля), OSS-Fuzz (фаззинг открытого программного обеспечения).
Остались старые бенчи CyberGym (поиск уязвимостей в реальном коде открытого программного обеспечения), способность писать эксплойты для Firefox 147.
Интересен и раздел описывающий безопасность использования агентов (промты для написания вредоносного ПО, двойного применения типа разведки и т.д.) . Из общего улучшения общей безопасности в версии 4.8 выбивается такая оценка как устойчивость к промт инъекциям при написании кода с помощью инструмента от Shade. На 200 попытках с 52,5% вероятности успеха на 4.7 защищенность снизилась до 65% на версии 4.8 без режима размышления т.е. чуть меньше чем в 2/3 случаях промт инъекции оказались успешными. Сами авторы системной карточки комментируют этот регресс так - это компромис с уменьшением ложно положительных срабатываний.
Небольшое увеличение точности по всем бенчмаркам кроме кибербезопасности.
В этом релизе значительное внимание было уделено мерам безопасности (сейфгарды) и, по заявлению производителя, 4.7 примерно равно 4.8.
Но в новости ещё указано, что прогресс в области мер безопасности, позволяет планировать в ближайшие недели публичный релиз "моделей уровня Mythos".
Больше технических деталей возможно найти в системной карточке новой модели. Ниже я приведу пару графиков бенчей кибербезопасности из карточки модели.
Исключен из карточки популяный бенчмарк Cybench как насыщенный. Насыщенные бенчмарки это бенчмарки которые больше не показывают прогресса, передовые модели набирают в них значения близкие к 90-95%.
Добавилось в карточку 2 новых бенча кибербезопасности ExploitBench (способность писать готовые эксплойты с нуля), OSS-Fuzz (фаззинг открытого программного обеспечения).
Остались старые бенчи CyberGym (поиск уязвимостей в реальном коде открытого программного обеспечения), способность писать эксплойты для Firefox 147.
Интересен и раздел описывающий безопасность использования агентов (промты для написания вредоносного ПО, двойного применения типа разведки и т.д.) . Из общего улучшения общей безопасности в версии 4.8 выбивается такая оценка как устойчивость к промт инъекциям при написании кода с помощью инструмента от Shade. На 200 попытках с 52,5% вероятности успеха на 4.7 защищенность снизилась до 65% на версии 4.8 без режима размышления т.е. чуть меньше чем в 2/3 случаях промт инъекции оказались успешными. Сами авторы системной карточки комментируют этот регресс так - это компромис с уменьшением ложно положительных срабатываний.
Anthropic
Introducing Claude Opus 4.8
Our latest model, Claude Opus 4.8, is an upgrade to our Opus class of models, with stronger performance across coding, agentic tasks, and professional work, and the consistency to handle long-running work.