PWNAI: Артём Семёнов о том, почему AI — это не SkyNet, а уязвимая система
#подкаст #chatgpt #llm #claude #deepseek #qwen #mistral

В этом выпуске подкаста «Обсуждаем Похек» мы погружаемся в мир безопасности искусственного интеллекта вместе с Артёмом Семёновым, автором популярного телеграм-канала PWNAI @pwnai. Узнайте, как выглядит AI Security изнутри: от практического применения OWASP Top 10 для LLM до глубоких дискуссий о будущем AI и его социальных последствиях. Артём делится своим опытом в области MLSecOps, раскрывая реальные кейсы атак на нейросети через prompt injection и jailbreaking, и объясняет, почему бесконечное масштабирование вычислительных мощностей — это технологический тупик.

Разбираем практические аспекты безопасности AI: как проводить Red Teaming для нейросетевых моделей, какие уязвимости скрываются в архитектуре современных LLM, и почему «отравление» обучающих данных может стать главной угрозой. Обсуждаем, как меняется ландшафт киберугроз с развитием AI, какие навыки необходимы современному AI Security Engineer, и как противостоять новым видам атак. Особое внимание уделяется фреймворку OWASP, который становится стандартом для защиты AI-приложений, и философским вопросам о пределах развития искусственного интеллекта.

Этот выпуск будет полезен AI Security Engineers, AI/LLM Engineers, специалистам по Red Team и пентесту, а также исследователям безопасности, которые хотят понять, как защищать AI-системы от современных и будущих киберугроз и какие фундаментальные ограничения есть у технологии.

🔗Ссылки:
💬 Слушать в Telegram
📹 YouTube
📺 RuTube
💙 VK Видео
🎵 Apple Podcasts
🎵 Яндекс.Музыка
🔤 Mave

Обязательно смотрите/слушайте до конца!

P.s. натыкайте на этот пост много 😪, чтобы Артём высыпался перед подкастами)

🌚 @poxek_ai

OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня
#owasp #top10 #agent #ai #agenti

Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.

Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.

Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.

🔗Моя статейка

🌚 @poxek_ai

OWASP AI Testing Guide. Разбираем полную классификацию атак на нейросети

Следом вышла ещё одна моя статья, но на этот раз на Xakep.ru

Моя пре­дыду­щая статья выз­вала инте­рес, и мно­гие захоте­ли уви­деть пол­ный и все­объ­емлю­щий обзор уяз­вимос­тей, опи­сан­ных в OWASP AI Testing Guide v1. Что ж, вы про­сили — я сде­лал. Рас­смот­рим все четыре катего­рии: уяз­вимос­ти при­ложе­ний (APP), моделей (MOD), инфраструк­туры (INF) и дан­ных (DAT).

При­готовь­ся, матери­ал объ­емный, но я пос­тарал­ся сде­лать его мак­сималь­но струк­туриро­ван­ным и полез­ным как для нович­ков, так и для опыт­ных спе­циалис­тов по безопас­ности.

Содержание статьи

Что такое OWASP AI Testing Guide и зачем он нужен?
Категория 1: AI Application Testing (AITG-APP)
AITG-APP-01: прямая инъекция промпта (Direct Prompt Injection)
AITG-APP-02: косвенная инъекция промпта (Indirect Prompt Injection)
AITG-APP-03: утечка конфиденциальных данных (Sensitive Data Leak)
AITG-APP-04: утечка входных данных (Input Leakage)
AITG-APP-05: небезопасные выходные данные (Unsafe Outputs)
AITG-APP-06: ограничения агентского поведения (Agentic Behavior Limits)
AITG-APP-07: раскрытие промпта (Prompt Disclosure)
AITG-APP-08: манипуляция вложениями (Embedding Manipulation)
AITG-APP-09: извлечение модели (Model Extraction)
AITG-APP-10: предвзятость контента (Content Bias)
AITG-APP-11: галлюцинации (Hallucinations)
AITG-APP-12: токсичные выходные данные (Toxic Output)
AITG-APP-13: чрезмерное доверие к ИИ (Over-Reliance on AI)
AITG-APP-14: объяснимость и интерпретируемость (Explainability and Interpretability)
Категория 2: AI Model Testing (AITG-MOD)
AITG-MOD -01: атаки уклонения (Evasion Attacks)
AITG-MOD-02: отравление модели во время выполнения (Runtime Model Poisoning)
AITG-MOD-03: отравление обучающих наборов (Poisoned Training Sets)
AITG-MOD-04: атака на определение принадлежности (Membership Inference)
AITG-MOD-05: атаки инверсии (Inversion Attacks)
AITG-MOD-06: устойчивость к новым данным (Robustness to New Data)
AITG-MOD-07: соответствие целям (Goal Alignment)
Категория 3: AI Infrastructure Testing (AITG-INF)
AITG-INF-01: вмешательство в цепочку поставок (Supply Chain Tampering)
AITG-INF-02: истощение ресурсов (Resource Exhaustion)
AITG-INF-03: нарушение границ плагинов (Plugin Boundary Violations)
AITG-INF-04: неправомерное использование возможностей (Capability Misuse)
AITG-INF-05: отравление при дообучении (Fine-tuning Poisoning)
AITG-INF-06: кража модели на этапе разработки (Dev-Time Model Theft)
Категория 4: AI Data Testing (AITG-DAT)
AITG-DAT-01: раскрытие обучающих данных (Training Data Exposure)
AITG-DAT-02: эксфильтрация данных во время выполнения (Runtime Exfiltration)
AITG-DAT-03: разнообразие и охват набора данных (Dataset Diversity & Coverage)
AITG-DAT-04: вредоносное содержимое в данных (Harmful in Data)
AITG-DAT-05: минимизация данных и согласие (Data Minimization & Consent)
Заключение

🔗Моя статейка Ксакеп

🌚 @poxek_ai

Розыгрыш 7 дней триал подписки Claude Code

В недавней обнове Claude Code от Anthropic появилось возможность дать 3 инвайт ссылки, которые дают 7 дней подписки для тех, у кого не было подписки. Будет быстрый конкурс с подпиской на канал @poxek_ai

Конкурс будет до завтра 15:20

🌚 @poxek_ai

🎉 Результаты розыгрыша:

🏆 Победители:
1. Tembulat B. (@tembitt)
2. Владислав (@choose_name)
3. Seva (@advxrsary)

Всем прислал инвайт ссылки

✔️Проверить результаты

16 место по LMArena в категории Coding — LongCat-Flash

На мой взгляд это примечательная модель, потому что на 13 месте находится kimi-k2-thinking-turbo на 1 триллион параметров, а LongCat-Flash показывает примерно похожие результаты на вдовое меньших размерах.

➡️Кратко об особенностях модели
1. В отличие от классических моделей, LongCat-Flash использует механизм, который определяет "важность" каждого токена. Для обработки она активирует разное количество параметров (от 18,6 до 31,3 млрд, в среднем ~27 млрд) в зависимости от контекста, экономя ресурсы на простых задачах.
2. Архитектура ScMoE (Shortcut-connected MoE): Разработчики внедрили специальные "короткие соединения" в архитектуру, что позволяет выполнять вычисления и передачу данных параллельно.
3. Специализация на агентах: Процесс обучения (включая контекстное окно 128k) был специально построен так, чтобы модель лучше справлялась с "агентными" задачами: использованием внешних инструментов, сложным планированием и взаимодействием со средой.

Расширенный технический отчёт.pdf

🔗Источник

🌚 @poxek_ai

Инструмент недели. Prompt Optimizer

Официальный инструмент OpenAI для оптимизации промптов под модель GPT-5 помогает автоматически улучшать ваши промпты, чтобы модель лучше понимала задачу и давала более точные, структурированные и полезные ответы.

Где применять
💋 когда результаты ИИ не такие, как вы ожидаете;
💋 при сложных запросах (аналитика, код, длинные инструкции);
💋 если вы делаете автоматизацию задач и хотите минимизировать ошибки;
💋 разработчикам и маркетологам, которые создают ботов, генераторы контента и AI-сервисы без особого понимания что к чему.

Почему многие о нём не знают
🌧 он появился недавно вместе с GPT-5 и пока мало упоминается в массовых гайдах;
🌧 многие пользователи просто пишут запросы в чат гпт, не зная, что есть специальный режим для оптимизации промптов (просто задаешь в запросе prompt mode);
🌧 OpenAI почти не делает маркетинга для developer-инструментов

Почему это полезно даже тем, кто “и так умеет писать промпты”
🤦‍♂️ GPT-5 иначе интерпретирует инструкции, чем предыдущие модели;
🤦‍♂️ оптимизатор учитывает внутренние бюст прэктисис OpenAI, которые не описаны в документации;
🤦‍♂️ снижает вариативность ответов;
🤦‍♂️ хорошо работает для продакшена, где важна повторяемость.

Всё!
🐥