Forwarded from CyberSecurityTechnologies
Safety_in_Embodied_AI.pdf
12.8 MB
#AIOps
#Research
"Safety in Embodied AI:
A Survey of Risks, Attacks, and Defenses", Mar. 2026.
// This survey provides a comprehensive and structured review of safety research in embodied AI, examining attacks and defenses across the full embodied pipeline, from perception and cognition to planning, action and interaction, and agentic system. This review synthesizes insights from over 400 papers spanning adversarial, backdoor, jailbreak, and hardware-level attacks; attack detection, safe training and robust inference; and risk-aware human-agent interaction
#Research
"Safety in Embodied AI:
A Survey of Risks, Attacks, and Defenses", Mar. 2026.
// This survey provides a comprehensive and structured review of safety research in embodied AI, examining attacks and defenses across the full embodied pipeline, from perception and cognition to planning, action and interaction, and agentic system. This review synthesizes insights from over 400 papers spanning adversarial, backdoor, jailbreak, and hardware-level attacks; attack detection, safe training and robust inference; and risk-aware human-agent interaction
Forwarded from GitHub Community
RuVector — это бесплатная векторная база данных с открытым исходным кодом, которая становится умнее с каждым запросом.
В отличие от статических баз данных, она обучается на основе использования через слои GNN, запускает LLM локально без облачных затрат, поддерживает графовые запросы, как Neo4j, масштабируется свободно по узлам и развертывается как один самозапускающийся файл (запуск за 125 мс).
🐱 GitHub
В отличие от статических баз данных, она обучается на основе использования через слои GNN, запускает LLM локально без облачных затрат, поддерживает графовые запросы, как Neo4j, масштабируется свободно по узлам и развертывается как один самозапускающийся файл (запуск за 125 мс).
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
Agent Skills for Context Engineering — обширный набор навыков для разработки контекстов, многоагентных архитектур и производственных агентных систем.
Используйте при создании, оптимизации или отладке агентных систем, требующих эффективного управления контекстом.
🐱 GitHub
Используйте при создании, оптимизации или отладке агентных систем, требующих эффективного управления контекстом.
Please open Telegram to view this post
VIEW IN TELEGRAM
⭐️ GoCloud 2026
Все записи конференции GoCloud 2026, доклады очень ценные, презентована масса уникальных разработок, представлены замечательные тренды и прогнозы развития ИИ-агентов.
Радует, что несколько раз упомянута и отечественная разработка HiveTrace, которая эффективно зарекомендовала себя как одна из лучших защитных систем для LLMs, RAGs и ИИ-агентов. Ребята рассказывают интересно и доступным языком, очень рекомендую посмотреть хотя бы часть этих ярких выступлений.
Ссылка на доклады конференции (доступны онлайн бесплатно): https://cloud.ru/gocloud
Архитектор MLSecOps и AI Governance
Николай Павлов
Все записи конференции GoCloud 2026, доклады очень ценные, презентована масса уникальных разработок, представлены замечательные тренды и прогнозы развития ИИ-агентов.
Радует, что несколько раз упомянута и отечественная разработка HiveTrace, которая эффективно зарекомендовала себя как одна из лучших защитных систем для LLMs, RAGs и ИИ-агентов. Ребята рассказывают интересно и доступным языком, очень рекомендую посмотреть хотя бы часть этих ярких выступлений.
Ссылка на доклады конференции (доступны онлайн бесплатно): https://cloud.ru/gocloud
Архитектор MLSecOps и AI Governance
Николай Павлов
🔥2
Forwarded from Machine learning Interview
Это reasoning-LLM, специально обученный искать уязвимости так, как это делает пентестер.
Главная особенность:
Модель не просто ищет подозрительные паттерны.
Она рассуждает по потокам данных и логике выполнения, чтобы понять, где именно возникает риск.
Что умеет VulnLLM-R-7B:
— Анализирует data flow и control flow, а не только синтаксис
— Проводит пошаговый разбор уязвимости
— Объясняет почему код опасен простым языком
— Работает с реальными сценариями, а не только с учебными примерами
По результатам тестов:
— Показывает state-of-the-art на наборах PrimeVul и Juliet
— Обходит CodeQL, традиционные статические анализаторы и даже крупные коммерческие LLM
— При этом модель компактная — всего 7B параметров, быстрее и дешевле в использовании
Безопасность кода постепенно переходит от «поиска шаблонов» к логическому анализу поведения программы.
И небольшие специализированные модели начинают выигрывать у больших универсальных.
Модель: huggingface.co/UCSB-SURFI/VulnLLM-R-7B
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Forwarded from Kantor.AI
Костя Пчелин из AIRI выложил новую версию своей книги по RL. Я бегло посмотрел часть про PPO, DPO, KTO, GRPO в современных языковых моделях и мне понравилось. На предмет мелких огрехов честно скажу, что еще не присматривался, но видно, что сделано с душой, а это важно. Так что рекомендую :)
❤🔥2
Forwarded from ИИ в горах | обучение машинному обучению
main_ru.pdf
2 MB
Обновленная исправленная версия перевода книги на русском языке, скоро будет в печати
🏔 Сообщество ML-энтузиастов и AI в горах
Телеграм: @mountainai_info
Сайт: https://mountainai.tech
🏔 Сообщество ML-энтузиастов и AI в горах
Телеграм: @mountainai_info
Сайт: https://mountainai.tech
❤🔥2
Forwarded from AI Security Lab
Открыли в open-source GLiNER Guard — компактную модель для модерации LLM-запросов и защиты персональных данных.
Отличие GLiNER Guard от других Guard моделей:
Вместо тяжёлых, дорогих — других guardrai-моделей — быстрый энкодер, который за один проход и проверяет unsafe-запросы, находит персональные данные (имена, адреса, телефоны, email и другое, что нельзя скармливать LLM), и работает как первый фильтр перед большими моделями.
Что ещё в релизе:
Вместе с моделью выпустили PII-Bench — бенчмарк для оценки качества поиска персональных данных. Тоже в открытом доступе.
Где забрать:
Тех репорт: https://arxiv.org/abs/2605.05277
Модели: https://huggingface.co/collections/hivetrace/gliner-guard-v1
Бенчмарк: https://huggingface.co/datasets/hivetrace/pii-bench
👤 Автор: Богдан Минко, ML Engineer в HiveTrace, магистрант AI Talent Hub, ITMO University & AI Security Lab
👤 Редакция: Сабрина Садиех, R&D Lead в HiveTrace, магистрантка HSE.
⚡️ - автору за open-source
❤️ - сохраняю, буду тестировать
Отличие GLiNER Guard от других Guard моделей:
Вместо тяжёлых, дорогих — других guardrai-моделей — быстрый энкодер, который за один проход и проверяет unsafe-запросы, находит персональные данные (имена, адреса, телефоны, email и другое, что нельзя скармливать LLM), и работает как первый фильтр перед большими моделями.
Что ещё в релизе:
Вместе с моделью выпустили PII-Bench — бенчмарк для оценки качества поиска персональных данных. Тоже в открытом доступе.
Где забрать:
Тех репорт: https://arxiv.org/abs/2605.05277
Модели: https://huggingface.co/collections/hivetrace/gliner-guard-v1
Бенчмарк: https://huggingface.co/datasets/hivetrace/pii-bench
⚡️ - автору за open-source
❤️ - сохраняю, буду тестировать
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from CodeCamp
Пу-пу-пу: хакеры использовали ИИ, чтобы найти уязвимость и подготовить массовую атаку 😳
Google заявила, что остановила группу из Северной Кореи, которая с помощью ИИ нашла уязвимость нулевого дня и подготовила эксплойт под массовое заражение. И это первый зафиксированный случай, когда ИИ отдали поиск дыр и их масштабную эксплуатацию. Хоть атаку успели остановить, сам факт поражает.
Под ударом был «популярный открытый веб-инструмент системного администрирования» — больше подробностей не сообщают.
В Google говорят, что это «верхушка айсберга» и дальнейший вайбхакинг будет хуже. Готовимся🥲
Google заявила, что остановила группу из Северной Кореи, которая с помощью ИИ нашла уязвимость нулевого дня и подготовила эксплойт под массовое заражение. И это первый зафиксированный случай, когда ИИ отдали поиск дыр и их масштабную эксплуатацию. Хоть атаку успели остановить, сам факт поражает.
Под ударом был «популярный открытый веб-инструмент системного администрирования» — больше подробностей не сообщают.
В Google говорят, что это «верхушка айсберга» и дальнейший вайбхакинг будет хуже. Готовимся
Please open Telegram to view this post
VIEW IN TELEGRAM
🥱1
Forwarded from Пост Лукацкого
Подсмотрел у Шнайера ссылку на интереcное исследование, в котором демонстрируется, как LLM можно использовать как инструмент текстовой стеганографии, то есть прятать один осмысленный текст внутри другого осмысленного текста, причем той же длины в токенах.
Авторы показывают предложенный ими протокол Calgacus. Он позволяет взять исходный текст, например политическую критику, и спрятать его внутри совсем другого текста, например рецепта, похвалы политическому лидеру, отзыва на игру и т.п. Получатель, зная секретный ключ/промпт и точную модель, может восстановить исходный текст. Человек, который просто читает "наружный" текст, видит вполне связный и правдоподобный текст.
Механика такая:
6️⃣ Берем текст, который надо спрятать.
2️⃣ Прогоняем его через LLM и для каждого следующего токена смотрим не сам токен, а его ранг в распределении вероятностей модели. Например, этот токен был 1-м наиболее вероятным, следующий – 69-м, следующий – 77-м и т.д.
3️⃣ Потом задаем модели другой секретный промпт, например, "напиши программу обучения по тематике ИИ для "бумажного" ИБшника длительностью 8 недель".
4️⃣ Но при генерации выбираем не случайный токен и не самый вероятный, а токен с тем же рангом: 1-й, потом 69-й, потом 77-й и т.д.
5️⃣ В итоге получается другой текст, но последовательность рангов в нем кодирует исходный текст.
То есть это не "невидимые символы", не трюки с "белым на белом", не аккростих и не классическая подмена букв. Это более глубокая история – смысловой наружный текст строится так, чтобы его вероятностная структура несла скрытое сообщение. Авторы утверждают, что для этого достаточно даже относительно скромных открытых моделей на 8 миллиардов параметров, а кодирование/декодирование текста размером с введение к статье может выполняться локально на ноутбуке за секунды.
Очень интересная история в контексте расширения цензуры, контроля, блокировок и иных притеснений в Интернете. Причем использовать ее могут как диссиденты и всяческие "экстремисты", инсайдеры, сливающие корпоративные данные, а также разработчики вредоносного ПО для реализации C2-коммуникаций🤔
#стеганография #ии
Авторы показывают предложенный ими протокол Calgacus. Он позволяет взять исходный текст, например политическую критику, и спрятать его внутри совсем другого текста, например рецепта, похвалы политическому лидеру, отзыва на игру и т.п. Получатель, зная секретный ключ/промпт и точную модель, может восстановить исходный текст. Человек, который просто читает "наружный" текст, видит вполне связный и правдоподобный текст.
Механика такая:
То есть это не "невидимые символы", не трюки с "белым на белом", не аккростих и не классическая подмена букв. Это более глубокая история – смысловой наружный текст строится так, чтобы его вероятностная структура несла скрытое сообщение. Авторы утверждают, что для этого достаточно даже относительно скромных открытых моделей на 8 миллиардов параметров, а кодирование/декодирование текста размером с введение к статье может выполняться локально на ноутбуке за секунды.
Очень интересная история в контексте расширения цензуры, контроля, блокировок и иных притеснений в Интернете. Причем использовать ее могут как диссиденты и всяческие "экстремисты", инсайдеры, сливающие корпоративные данные, а также разработчики вредоносного ПО для реализации C2-коммуникаций
#стеганография #ии
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from VP Cybersecurity Brief
Шойтов Александр Михайлович, заместитель министра цифрового развития, связи и массовых коммуникаций РФ поделился довольно любопытными результатами бенчмарков моделей ИИ и общими подходами по оценке моделей.
#форум_доверенный_ИИ
#форум_доверенный_ИИ
Forwarded from VP Cybersecurity Brief
Аветисян Арутюн Ишханович, директор Института системного программирования РАН анонсировал разработанные совместно с Яндекс средства защиты ИИ с помощью средств цифрового водяного знака. Планируется выложить эти средства в открытый доступ.
#форум_доверенный_ИИ
#форум_доверенный_ИИ
⚡1
Forwarded from CyberSecurityTechnologies
AISMM_2026.pdf
8.9 MB
#AIOps
#MLSecOps
#Whitepaper
"AI Security Maturity Model:
A Practical Framework for Building a Mature AI Security Program", May 2026.
// This framework was developed in alignment with the OWASP AI Exchange and the OWASP Agentic Top 10, incorporating SANS's formal partnership with OWASP on AI security standards, and maps to NIST AI RMF, ISO 42001, and CSA AICM. It is the connective tissue between what the broader security community has agreed upon and what your team actually implements in day-to-day practice
#MLSecOps
#Whitepaper
"AI Security Maturity Model:
A Practical Framework for Building a Mature AI Security Program", May 2026.
// This framework was developed in alignment with the OWASP AI Exchange and the OWASP Agentic Top 10, incorporating SANS's formal partnership with OWASP on AI security standards, and maps to NIST AI RMF, ISO 42001, and CSA AICM. It is the connective tissue between what the broader security community has agreed upon and what your team actually implements in day-to-day practice
Forwarded from Машинное обучение RU
У AI-агентов есть старая проблема: каждый новый запуск начинается почти с нуля. Чтобы агент «помнил» контекст, приходится снова скармливать ему историю, правила, предпочтения и детали проекта. Это быстро сжигает токены и замедляет работу.
GrayMatter решает это как легкий слой persistent memory для агентов.Идея простая: агент сохраняет важные факты в локальное хранилище, а перед новой задачей достает только релевантный контекст.
Не всю историю подряд, а именно то, что нужно сейчас.
Не нужен Docker, база данных, облако или отдельный аккаунт. Один бинарник, локальное хранение, офлайн-режим.
Можно использовать и как обычную Go-библиотеку:
Remember сохраняет факт, Recall достает нужную память по запросу.Есть TUI-дашборд, где видно, сколько фактов сохранено, как часто они используются, сколько памяти занимает store и как работает recall.
https://github.com/angelnicolasc/graymatter
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecHub
Software Bill of Materials for AI - Minimum Elements - https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/SBOM-for-AI_minimum-elements.pdf
❤2
Forwarded from GitHub Community
MalwareSourceCode — cборник исходного кода вредоносных программ для различных платформ, написанных на разных языках программирования.
🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CyberSecurityTechnologies
Applying_CIS_Controls_AI_Workflows.pdf
1.1 MB
#Whitepaper
"Applying CIS Controls to AI Workflows", Apr. 2026.
// This research provides guidance on using the CIS Controls in conjunction with AI-specific frameworks to build a robust information security program
"Applying CIS Controls to AI Workflows", Apr. 2026.
// This research provides guidance on using the CIS Controls in conjunction with AI-specific frameworks to build a robust information security program