Похек AI
521 subscribers
27 photos
2 videos
9 files
43 links
All materials published on the channel are for educational and informational purposes only.

AI is not second brain, when you don't use your main brain

Чат: @poxek_chat
Основной канал: @poxek
Download Telegram
MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей
#ML #mlsecops #ai #devsecops #appsec

Таким образом, мировая тенденция однозначна – большинство компаний либо уже интегрировали ИИ в свои процессы, либо активно тестируют и изучают технологии для дальнейшего внедрения. Поскольку внедрение на уровне компаний неизбежно влечет за собой использование этих технологий сотрудниками, уже никто не будет спорить, что ИИ-инструменты стали нормой для большинства специалистов.

Но возникает новый, критически важный вопрос: сколько компаний уже используют MLSecOps?

Здесь статистика еще более призрачна. Если DevSecOps – это уже устоявшийся термин с формирующимся рынком (объем мирового рынка DevSecOps в 2024 году оценивался в $5,89 млрд, по данным отчета Data Bridge Market Research), то с MLSecOps ситуация иная. MLSecOps – это, по сути, применение тех же принципов безопасности к уникальному жизненному циклу моделей машинного обучения. Спрос на специалистов, которые могут закрыть этот пробел, растет взрывными темпами. Но, судя по всему, компаний с выстроенным, зрелым MLSecOps-процессом пока единицы.

🔗Источник

🌚 @poxek_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥52
Пара прикольных мыслей:

Разработчики обвиняют нейронки, что они плохо пишут код и выбирают неоптимальные технологии. А вы сами разве лучше пишите код?) Когда это разработчики стали писать код без ошибок и всегда с правильной архитектурой?)

ИИ заменит пентестеров!! Пока что люди максимум переизобрели script-kiddie, создав AI-kiddie

Если писать промпт: Бро, сделай приложение, которое будет приносить деньги. Ток безопасно и без ошибок, спс! То какого вообще результата можно ожидать? Правильно, никакого. Правило: нет ТЗ, что делать ХЗ - актуально как никогда
7👍11
Selective GradienT Masking (SGTM): Локализация знаний для удаления возможностей в LLM

Исследователи представили улучшенный вариант Gradient Routing, названный Selective GradienT Masking (SGTM), который позволяет локализовать «опасные» знания в выделенном подмножестве параметров модели во время обучения. Это позволяет в дальнейшем удалить эти возможности, не влияя на общую производительность модели. SGTM использует маскирование градиентов, чтобы примеры из целевого домена обновляли только свои выделенные параметры. Техника продемонстрировала лучшую устойчивость к ошибкам маркировки данных и оказалась в семь раз более устойчивой к состязательной донастройке по сравнению с другими методами, что делает ее прорывным дополнением к существующим мерам безопасности LLM.

Не самое новое исследование, но решил что это интересный взгляд на защиту через умное отупливание модели

https://arxiv.org/abs/2512.05648
🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Кажется в следующем году в мои финансовые расходы на "ведение бизнеса" войдет лицензия на Caido 🤑

Все больше и больше вижу решений и возможностей от комьюнити. И все меньше вижу подобного со стороны PortSwigger. Только Джеймс периодически рассказывает об очередной desync attacks схемке или об очередном обновлении Turbo Intruder.

Вот отличный пример по использованию Strix. И по мотивам этого примера даже был доклад на последнем NahamCon от Джастина Гарднера.
👍1🔥1
Евгений Кокуйкин: AI security в России, готовы ли мы?
#подкаст #ai #aisecurity

В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России.
Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI.

Этот выпуск будет полезен:
➡️AI Security Engineers и LLM Engineers
➡️Специалистам по Red Team и пентесту
➡️Руководителям компаний, внедряющим AI
➡️Исследователям безопасности
➡️Разработчикам, которые хотят понять, как защищать AI-системы от современных киберугроз
➡️Всем, кто интересуется будущим AI в России и мире

🔗Ссылки:
💬 Слушать в Telegram
📹 YouTube
📺 RuTube
💙 VK Видео
🎵 Apple Podcasts
🎵 Яндекс.Музыка
🔤 Mave

AI Security Lab ИТМО
Личный канал Евгения

Обязательно смотрите/слушайте до конца!

P.s. пишите в комментариях, кого пригласить в следующий раз

🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч
Please open Telegram to view this post
VIEW IN TELEGRAM
4
⚡️ Anthropic выпустили BLOOM - одно из самых важных исследований про безопасность ИИ за последнее время.

Если коротко:
BLOOM это попытка встроить безопасность и контроль в саму основу ИИ, а не латать проблемы постфактум.

Вот суть простыми словами.

1) Безопасность не фильтр, а часть архитектуры

Сегодня безопасность ИИ часто выглядит так:
- модель обучили
- потом добавили ограничения и фильтры

Anthropic говорит прямо:
так не работает в долгую.

В BLOOM безопасность должна:
- закладываться на этапе обучения
- быть частью внутренней структуры модели
- масштабироваться вместе с ростом возможностей ИИ

2) Надёжность важнее «умных ответов»

Модель должна:
- не только отвечать
- но и понимать, когда она не уверена
- уметь корректно отказывать
- не галлюцинировать в критических ситуациях

Проще говоря:
лучше честное «я не знаю», чем уверенная ошибка.

3) Контроль остаётся у людей

BLOOM подчёркивает:
- пользователи должны понимать, как ИИ принимает решения
- должно быть ясно, где проходят границы ответственности
- контроль и управление не опция, а обязательное требование

ИИ не должен быть «чёрным ящиком», который невозможно остановить или скорректировать.

4) Оценка рисков должна происходить системно, а не реактивно


Anthropic предлагает смотреть на риски ИИ:
- заранее
- на нескольких уровнях сразу
- техническом
- социальном
- экономическом

Не «исправлять, когда что-то сломалось»,
а предсказывать, где и почему может сломаться.

BLOOM - это не про очередную модель и не про рост бенчмарков. Это про смену подхода:
- от «быстрее и мощнее»
- к «надёжнее, предсказуемее и управляемее»

Главная мысль:
если ИИ становится мощнее человека, безопасность должна расти быстрее, чем его интеллект.

И именно этим Anthropic предлагает заниматься уже сейчас.

https://www.anthropic.com/research/bloom
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
8👍5👎1🔥1
Claude 2x usage available from 12:00am PST December 25 through 11:59pm PST December 31.
🔥3
Спасибо за 2^9 подписчиков!
125🔥1
В видео AI Trends 2026: Quantum, Agentic AI & Smarter Automation авторы выделяют 8 ключевых трендов в области искусственного интеллекта на 2026 год:
* Multi-Agent Orchestration (Оркестрация мульти-агентов): Вместо одного универсального агента будут использоваться команды специализированных агентов (планировщики, исполнители, критики), работающие сообща под управлением оркестраторов. Это повысит надежность и позволит проверять результаты работы друг друга.
* Digital Labor Workforce (Цифровая рабочая сила): Автономные цифровые работники, способные интерпретировать мультимодальные данные, выполнять последовательности действий (workflow) и интегрироваться в бизнес-системы. Важную роль здесь играет контроль человеком (human-in-the-loop) для надзора и корректировании.
* Physical AI (Физический ИИ): Модели, которые не просто генерируют текст или картинки, а понимают физический мир (гравитацию, свойства объектов) и могут взаимодействовать с ним через роботов. Обучение таких моделей часто происходит в симуляциях ("World Foundation Models").
* Social Computing (Социальные вычисления): Создание "ткани" взаимодействия между людьми и агентами, где они понимают намерения и контекст друг друга, образуя своего рода коллективный разум (swarm computing).
* Verifiable AI (Проверяемый ИИ): В связи с вступлением в силу EU AI Act, критически важным станет аудит и прозрачность ИИ-систем. Это включает документацию, маркировку синтетического контента и отслеживание происхождения данных (data lineage).
* Quantum Utility Everywhere (Квантовая полезность повсюду): Гибридные квантово-классические системы начнут решать реальные задачи оптимизации, симуляции и принятия решений, которые ранее были недоступны для классических компьютеров.
* Reasoning at the Edge (Рассуждения на периферии): Маленькие модели (Small Language Models), работающие локально на устройствах, научатся "думать" (reasoning) подобно большим моделям. Это достигается за счет дистилляции знаний из крупных моделей в более компактные.
* Amorphous Hybrid Computing (Аморфные гибридные вычисления): Слияние различных архитектур моделей (трансформеры + state space models) и типов вычислительного железа (CPU, GPU, TPU, QPU, нейроморфные чипы) в единую гибкую среду, где задачи автоматически распределяются на наиболее подходящее оборудование.

#️⃣gemini-3-pro
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
За последние два года OpenAI потеряла половину своей доли enterprise рынка

Menlo опубликовали свой ежегодный отчет об ИИ-рынке. Они насчитали, что с 2023 доля OpenAI на рынке LLM API драматично упала с 50 до 27 процентов.

В лидеры сейчас выбились Anthropic, у них 40% рынка (хотя в 2023 было почти в три раза меньше). Дальше OpenAI со своими оставшимися 27%, и на третьем месте Google (~21).

🔵
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2