Forwarded from CyberSecurityTechnologies
NIST_AI_800-2.pdf
681.5 KB
#MLSecOps
#Infosec_Standards
NIST AI 800-2 (IPD):
"Practices for Automated Benchmark Evaluations of Language Models", Jan. 2026.
// This document identifies practices for conducting automated benchmark evaluations of language models and similar general-purpose AI models that output text. Evaluations of these models, often embedded into systems capable of functioning as chatbots and AI agents, are increasingly common. However, consistent practices to support the validity and reproducibility of such evaluations are only beginning to emerge. The practices presented in this document are intended to reflect best practices; where relevant, practices that are relatively less mature in ecosystem use are labeled as emerging practice
#Infosec_Standards
NIST AI 800-2 (IPD):
"Practices for Automated Benchmark Evaluations of Language Models", Jan. 2026.
// This document identifies practices for conducting automated benchmark evaluations of language models and similar general-purpose AI models that output text. Evaluations of these models, often embedded into systems capable of functioning as chatbots and AI agents, are increasingly common. However, consistent practices to support the validity and reproducibility of such evaluations are only beginning to emerge. The practices presented in this document are intended to reflect best practices; where relevant, practices that are relatively less mature in ecosystem use are labeled as emerging practice
✍2
Forwarded from Пост Лукацкого
ФСТЭК выложила проект методического документа по мероприятиям и мерам защиты информации в ГИС, ОКИИ, ИСПДн и АСУ ТП. 200 страниц без малого. Сейчас идет активная работа над ним. Поэтому не надо рассматривать его как финальный вариант, но как направление в эту сторону.
#регулирование
#регулирование
Forwarded from Пост Лукацкого
Forwarded from CodeCamp
This media is not supported in your browser
VIEW IN TELEGRAM
Киберпанк, который мы заслужили: чел собрал систему VisionClaw, которая превращает очки Ray-Ban с камерой в полноценного ИИ-агента 🤔
Зачем? Чтобы можно было покупать вещи, просто глядя на них😂
Больше не нужно доставать телефон и тыкать в экран — вы просто гуляете в очках и общаетесь с Gemini Live голосом. Система в реальном времени стримит картинку и звук через вебсокеты, а ИИ через шлюз OpenClaw получает доступ к вашим приложениям, картам и кошелькам.
Как это выглядит на практике:
— Смотрите на кроссовки прохожего и просите Gemini найти их и купить;
— Диктуете сообщения в Telegram, пока руки заняты пакетами из супермаркета;
— Ищете лучший кофе поблизости, а нейронка нашептывает маршрут прямо в ухо;
— Занимаетесь социальным сталкингом: смотрите на людей, а Gemini ищет их профили в соцсетях и пишет сообщения в духе «Привет, классные кроссовки» 😁
Если очков под рукой нет, можно потестить через обычную камеру iPhone.
Аккуратнее с людьми в очках😏
Зачем? Чтобы можно было покупать вещи, просто глядя на них
Больше не нужно доставать телефон и тыкать в экран — вы просто гуляете в очках и общаетесь с Gemini Live голосом. Система в реальном времени стримит картинку и звук через вебсокеты, а ИИ через шлюз OpenClaw получает доступ к вашим приложениям, картам и кошелькам.
Как это выглядит на практике:
— Смотрите на кроссовки прохожего и просите Gemini найти их и купить;
— Диктуете сообщения в Telegram, пока руки заняты пакетами из супермаркета;
— Ищете лучший кофе поблизости, а нейронка нашептывает маршрут прямо в ухо;
Если очков под рукой нет, можно потестить через обычную камеру iPhone.
Аккуратнее с людьми в очках
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Анализ данных (Data analysis)
🚨 Теперь можно запускать 70B LLM на видеокарте с 4GB VRAM
AirLLM буквально выбивает почву из аргумента “для больших моделей нужно дорогое железо”.
Фреймворк позволяет запускать модели размером до 70B параметров даже на GPU с 4GB видеопамяти.
Как это возможно?
Вместо загрузки всей модели в память сразу, AirLLM:
- подгружает модель по слоям
- выполняет вычисления
- освобождает память
- переходит к следующему слою
Фактически, это потоковая обработка модели.
Более того, авторы показывают запуск Llama 3.1 405B на 8GB VRAM.
Что это даёт разработчикам:
- не требуется квантование по умолчанию
- можно запускать Llama, Qwen, Mistral, Mixtral локально
- работает на Linux, Windows и macOS
- не нужен сервер с огромным GPU
Это сдвигает барьер входа для локального LLM-разработки и экспериментов.
AirLLM полностью open source - можно использовать, изучать и встраивать в свои пайплайны.
https://github.com/0xSojalSec/airllm
AirLLM буквально выбивает почву из аргумента “для больших моделей нужно дорогое железо”.
Фреймворк позволяет запускать модели размером до 70B параметров даже на GPU с 4GB видеопамяти.
Как это возможно?
Вместо загрузки всей модели в память сразу, AirLLM:
- подгружает модель по слоям
- выполняет вычисления
- освобождает память
- переходит к следующему слою
Фактически, это потоковая обработка модели.
Более того, авторы показывают запуск Llama 3.1 405B на 8GB VRAM.
Что это даёт разработчикам:
- не требуется квантование по умолчанию
- можно запускать Llama, Qwen, Mistral, Mixtral локально
- работает на Linux, Windows и macOS
- не нужен сервер с огромным GPU
Это сдвигает барьер входа для локального LLM-разработки и экспериментов.
AirLLM полностью open source - можно использовать, изучать и встраивать в свои пайплайны.
https://github.com/0xSojalSec/airllm
❤1👍1
Forwarded from Love. Death. Transformers.
На заметку: Сбер показал технический отчет Green-VLA, посвященный развитию физического искусственного интеллекта. На основе этой модели был как раз построен робот Грин, который на AI Journey в прошедшем ноябре более 10 часов (!) провел, передвигаясь по конференции, общаясь со зрителями и танцуя.
В общем, вполне логично, что материал занял первое место на портале Hugging Face среди всех статей дня.
В общем, вполне логично, что материал занял первое место на портале Hugging Face среди всех статей дня.
Forwarded from Секреты DARPA и ЦРУ | DARPA&CIA
Соединенные Штаты и Китай официально воздержались от подписания новой «Совместной декларации об ответственном использовании ИИ в военных целях». Документ, подготовленный по инициативе ряда европейских стран и правозащитных организаций, был призван установить строгие границы для применения полностью автономных летальных систем, требуя обязательного участия человека при принятии решений о применении силы.
И Вашингтон, и Пекин заявили, что жесткие ограничения могут подорвать их национальную безопасность перед лицом быстро меняющихся угроз. Они опасаются, что подписание документа свяжет им руки, в то время как негосударственные акторы или третьи страны продолжат бесконтрольные разработки.
Дипломаты отметили, что в тексте декларации отсутствуют четкие технические критерии того, что считать «значимым человеческим контролем». США настаивают на том, что их существующие внутренние директивы уже обеспечивают этический надзор, и дополнительные международные слои регулирования избыточны.
Эксперты предупреждают, что это решение де-факто легитимизирует новый виток гонки вооружений. Теперь акцент смещается с запрета автономного оружия на создание систем противодействия ему, что, вероятно, приведет к ускоренному внедрению роевых технологий дронов и автоматизированных систем киберзащиты уже к концу 2026 года.
🔒 DARPA&CIA
И Вашингтон, и Пекин заявили, что жесткие ограничения могут подорвать их национальную безопасность перед лицом быстро меняющихся угроз. Они опасаются, что подписание документа свяжет им руки, в то время как негосударственные акторы или третьи страны продолжат бесконтрольные разработки.
Дипломаты отметили, что в тексте декларации отсутствуют четкие технические критерии того, что считать «значимым человеческим контролем». США настаивают на том, что их существующие внутренние директивы уже обеспечивают этический надзор, и дополнительные международные слои регулирования избыточны.
Эксперты предупреждают, что это решение де-факто легитимизирует новый виток гонки вооружений. Теперь акцент смещается с запрета автономного оружия на создание систем противодействия ему, что, вероятно, приведет к ускоренному внедрению роевых технологий дронов и автоматизированных систем киберзащиты уже к концу 2026 года.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
Promptomatix — это платформа на основе искусственного интеллекта, предназначенная для автоматизации и оптимизации подсказок для больших языковых моделей (LLM).
Она обеспечивает структурированный подход к оптимизации подсказок, гарантируя согласованность, экономическую эффективность и высокое качество результатов, а также сокращая количество проб и ошибок, которые обычно связаны с разработкой подсказок вручную.
🐱 GitHub
Она обеспечивает структурированный подход к оптимизации подсказок, гарантируя согласованность, экономическую эффективность и высокое качество результатов, а также сокращая количество проб и ошибок, которые обычно связаны с разработкой подсказок вручную.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CyberSecurityTechnologies
LLM_TamperBench.pdf
10.9 MB
#MLSecOps
"TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering", Feb. 2026.
]-> Toolkit to benchmark the tamper-resistance of LLMs
// As increasingly capable open-weight LLMs are deployed, improving their tamper resistance against unsafe modifications, whether accidental or intentional, becomes critical to minimize risks. Varied data sets, metrics, and tampering configurations make it difficult to compare safety, utility, and robustness across different models and defenses. We introduce TamperBench, the first unified framework to systematically evaluate the tamper resistance of LLMs
"TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering", Feb. 2026.
]-> Toolkit to benchmark the tamper-resistance of LLMs
// As increasingly capable open-weight LLMs are deployed, improving their tamper resistance against unsafe modifications, whether accidental or intentional, becomes critical to minimize risks. Varied data sets, metrics, and tampering configurations make it difficult to compare safety, utility, and robustness across different models and defenses. We introduce TamperBench, the first unified framework to systematically evaluate the tamper resistance of LLMs
Forwarded from База знаний AI
ИСП РАН может стать ведущим участником единой системы сертификационного аудита для русскоязычных ИИ-моделей
Выбор Института системного программирования им. В.П. Иванникова РАН объясняется технической экспертизой организации. Платформа для сертификации может быть создана в рамках Исследовательского центра доверенного искусственного интеллекта ИСП РАН.
Новая система будет оценивать соответствие нейросетей техническим и нормативно-этическим стандартам. Модели проверят на уязвимости, устойчивость к атакам, на отсутствие манипулятивных алгоритмов.
Аудит затронет все этапы жизненного цикла продукта, в том числе разработку и эксплуатацию. В первую очередь планируется проверить решения для государственного сектора и объектов критической информационной инфраструктуры. Также будет изучаться работа ИИ в высокорисковых сферах, таких как медицина и финансы.
🔗Источник: https://iz.ru/2038342/2026-02-06/isp-ran-mozhet-zaniatsia-sertifikatciei-tekhnologii-iskusstvennogo-intellekta-v-rf
Выбор Института системного программирования им. В.П. Иванникова РАН объясняется технической экспертизой организации. Платформа для сертификации может быть создана в рамках Исследовательского центра доверенного искусственного интеллекта ИСП РАН.
Новая система будет оценивать соответствие нейросетей техническим и нормативно-этическим стандартам. Модели проверят на уязвимости, устойчивость к атакам, на отсутствие манипулятивных алгоритмов.
Аудит затронет все этапы жизненного цикла продукта, в том числе разработку и эксплуатацию. В первую очередь планируется проверить решения для государственного сектора и объектов критической информационной инфраструктуры. Также будет изучаться работа ИИ в высокорисковых сферах, таких как медицина и финансы.
🔗Источник: https://iz.ru/2038342/2026-02-06/isp-ran-mozhet-zaniatsia-sertifikatciei-tekhnologii-iskusstvennogo-intellekta-v-rf
🔥1
Forwarded from Анализ данных (Data analysis)
⚡️ X-Coder - новый мощный релиз для код-LLM от IIGroup.
Команда выложила полноценный стек для обучения моделей программированию: синтетические датасеты, RL-выравнивание и готовые модели с сильным логическим мышлением.
Что внутри:
— X-Coder-SFT-376k - большой синтетический датасет (376K примеров), сгенерированный с помощью GPT-o3-mini и DeepSeek-R1
— X-Coder-RL-40k - набор для RL-дообучения, сфокусированный на логике, проверке решений и качестве рассуждений
— X-Coder-8B - модели на базе Qwen3 с упором на reasoning и задачи программирования
Главная идея —-полностью синтетическая эволюция данных: масштабирование качества без ручной разметки. Такой подход уже становится стандартом для обучения сильных coding-моделей.
Полезно, если вы:
• обучаете собственные code-LLM
• исследуете synthetic data + RLHF/RLAIF
• работаете с Qwen-экосистемой или агентами для программирования
Модели и датасеты:
https://modelscope.cn/datasets/IIGroup/X-Coder-SFT-376k
https://modelscope.cn/datasets/IIGroup/X-Coder-RL-40k
https://modelscope.cn/models/IIGroup/X-Coder-SFT-Qwen3-8B
#LLM #CodeAI #Qwen3 #DeepSeek #AI #Coding
Команда выложила полноценный стек для обучения моделей программированию: синтетические датасеты, RL-выравнивание и готовые модели с сильным логическим мышлением.
Что внутри:
— X-Coder-SFT-376k - большой синтетический датасет (376K примеров), сгенерированный с помощью GPT-o3-mini и DeepSeek-R1
— X-Coder-RL-40k - набор для RL-дообучения, сфокусированный на логике, проверке решений и качестве рассуждений
— X-Coder-8B - модели на базе Qwen3 с упором на reasoning и задачи программирования
Главная идея —-полностью синтетическая эволюция данных: масштабирование качества без ручной разметки. Такой подход уже становится стандартом для обучения сильных coding-моделей.
Полезно, если вы:
• обучаете собственные code-LLM
• исследуете synthetic data + RLHF/RLAIF
• работаете с Qwen-экосистемой или агентами для программирования
Модели и датасеты:
https://modelscope.cn/datasets/IIGroup/X-Coder-SFT-376k
https://modelscope.cn/datasets/IIGroup/X-Coder-RL-40k
https://modelscope.cn/models/IIGroup/X-Coder-SFT-Qwen3-8B
#LLM #CodeAI #Qwen3 #DeepSeek #AI #Coding
Forwarded from CyberSecurityTechnologies
LLM-Generated_Phishing_Detect.pdf
8 MB
#Research
#Threat_Research
#Malware_analysis
"SoK: Exposing the Generation and Detection Gaps in LLM-Generated Phishing Through Examination of Generation Methods, Content Characteristics, and Countermeasures", Nov. 2025.
// This study presents a nine-stage taxonomy detailing how attackers exploit LLMs to generate phishing content while bypassing safety guardrails. Findings indicate that these AI-generated threats effectively evade detection by leveraging human cognitive manipulation, highlighting a critical asymmetry where offensive tactics evolve dynamically compared to reactive, static defenses
#Threat_Research
#Malware_analysis
"SoK: Exposing the Generation and Detection Gaps in LLM-Generated Phishing Through Examination of Generation Methods, Content Characteristics, and Countermeasures", Nov. 2025.
// This study presents a nine-stage taxonomy detailing how attackers exploit LLMs to generate phishing content while bypassing safety guardrails. Findings indicate that these AI-generated threats effectively evade detection by leveraging human cognitive manipulation, highlighting a critical asymmetry where offensive tactics evolve dynamically compared to reactive, static defenses
Forwarded from Russian OSINT
Я нашел универсальный метод взлома Opus 4.6, который настолько мощный, что позволяет генерировать целые наборы данных по любой категории вредоносных действий.
У нас есть всё: от синтеза аналогов фентанила до кампаний по дезинформации на выборах, от оружия, напечатанного на 3D-принтере, до🥷 компрометации критической инфраструктуры. 🙃
Эти результаты поразительно подробны и содержат практические рекомендации! Например, рецепт метамфетамина включает в себя конкретные инструкции о том, как обойти ограничения на покупку безрецептурных лекарств, чтобы приобрести достаточное количество прекурсора для рецепта 😱
— делится печальными результатами jailbreak-тестов
С безопасностью даже у топовых компаний по-прежнему проблемы. Guardrails не держат оборону должным образом.
👆Примечательно, что на прошлой неделе Axios писали: Opus 4.6 обнаружила более 500 уязвимостей нулевого дня (zero-day).
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecHub
OWASP Vendor Evaluation Criteria for AI Red Teaming Providers & Tooling v1.0
https://genai.owasp.org/resource/owasp-vendor-evaluation-criteria-for-ai-red-teaming-providers-tooling-v1-0/
https://genai.owasp.org/resource/owasp-vendor-evaluation-criteria-for-ai-red-teaming-providers-tooling-v1-0/
Forwarded from CyberSecurityTechnologies
Eliciting_Unsafe_Unintended_Behaviors.pdf
2.3 MB
#AIOps
#Research
"When Benign Inputs Lead to Severe Harms:
Eliciting Unsafe Unintended Behaviors of Computer-Use Agents", Feb. 2026.
]-> AutoElicit Datasets
]-> Code
// The first conceptual and methodological framework for studying unintended behaviors of CUAs: unsafe actions that emerge inadvertently from benign inputs during typical user interactions
#Research
"When Benign Inputs Lead to Severe Harms:
Eliciting Unsafe Unintended Behaviors of Computer-Use Agents", Feb. 2026.
]-> AutoElicit Datasets
]-> Code
// The first conceptual and methodological framework for studying unintended behaviors of CUAs: unsafe actions that emerge inadvertently from benign inputs during typical user interactions