1_Влад_Попов_От_ChatGPT_к_Своей_LLM.pdf
1.3 MB
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей
#ML #mlsecops #ai #devsecops #appsec
Таким образом, мировая тенденция однозначна – большинство компаний либо уже интегрировали ИИ в свои процессы, либо активно тестируют и изучают технологии для дальнейшего внедрения. Поскольку внедрение на уровне компаний неизбежно влечет за собой использование этих технологий сотрудниками, уже никто не будет спорить, что ИИ-инструменты стали нормой для большинства специалистов.
Но возникает новый, критически важный вопрос: сколько компаний уже используют MLSecOps?
Здесь статистика еще более призрачна. Если DevSecOps – это уже устоявшийся термин с формирующимся рынком (объем мирового рынка DevSecOps в 2024 году оценивался в $5,89 млрд, по данным отчета Data Bridge Market Research), то с MLSecOps ситуация иная. MLSecOps – это, по сути, применение тех же принципов безопасности к уникальному жизненному циклу моделей машинного обучения. Спрос на специалистов, которые могут закрыть этот пробел, растет взрывными темпами. Но, судя по всему, компаний с выстроенным, зрелым MLSecOps-процессом пока единицы.
🔗 Источник
🌚 @poxek_ai
#ML #mlsecops #ai #devsecops #appsec
Таким образом, мировая тенденция однозначна – большинство компаний либо уже интегрировали ИИ в свои процессы, либо активно тестируют и изучают технологии для дальнейшего внедрения. Поскольку внедрение на уровне компаний неизбежно влечет за собой использование этих технологий сотрудниками, уже никто не будет спорить, что ИИ-инструменты стали нормой для большинства специалистов.
Но возникает новый, критически важный вопрос: сколько компаний уже используют MLSecOps?
Здесь статистика еще более призрачна. Если DevSecOps – это уже устоявшийся термин с формирующимся рынком (объем мирового рынка DevSecOps в 2024 году оценивался в $5,89 млрд, по данным отчета Data Bridge Market Research), то с MLSecOps ситуация иная. MLSecOps – это, по сути, применение тех же принципов безопасности к уникальному жизненному циклу моделей машинного обучения. Спрос на специалистов, которые могут закрыть этот пробел, растет взрывными темпами. Но, судя по всему, компаний с выстроенным, зрелым MLSecOps-процессом пока единицы.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5 2
Пара прикольных мыслей:
Разработчики обвиняют нейронки, что они плохо пишут код и выбирают неоптимальные технологии. А вы сами разве лучше пишите код?) Когда это разработчики стали писать код без ошибок и всегда с правильной архитектурой?)
ИИ заменит пентестеров!! Пока что люди максимум переизобрели script-kiddie, создав AI-kiddie
Если писать промпт:
Разработчики обвиняют нейронки, что они плохо пишут код и выбирают неоптимальные технологии. А вы сами разве лучше пишите код?) Когда это разработчики стали писать код без ошибок и всегда с правильной архитектурой?)
ИИ заменит пентестеров!! Пока что люди максимум переизобрели script-kiddie, создав AI-kiddie
Если писать промпт:
Бро, сделай приложение, которое будет приносить деньги. Ток безопасно и без ошибок, спс! То какого вообще результата можно ожидать? Правильно, никакого. Правило: нет ТЗ, что делать ХЗ - актуально как никогда❤7👍1 1
Forwarded from MLSecOps | AI Governance
⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F
yandex.cloud
Защита безопасности данных искусственного интеллекта (ИИ) | Security AI Framework
Узнайте, как разработать стратегию безопасности в сфере искусственного интеллекта при помощи Security AI Framework
✔Методология безопасности AI-SAFE ✔Широкая база угроз ИИ-системам ✔Оценка рисков для ИИ и рекомендации защиты
✔Методология безопасности AI-SAFE ✔Широкая база угроз ИИ-системам ✔Оценка рисков для ИИ и рекомендации защиты
🔥1
Selective GradienT Masking (SGTM): Локализация знаний для удаления возможностей в LLM
Исследователи представили улучшенный вариант Gradient Routing, названный Selective GradienT Masking (SGTM), который позволяет локализовать «опасные» знания в выделенном подмножестве параметров модели во время обучения. Это позволяет в дальнейшем удалить эти возможности, не влияя на общую производительность модели. SGTM использует маскирование градиентов, чтобы примеры из целевого домена обновляли только свои выделенные параметры. Техника продемонстрировала лучшую устойчивость к ошибкам маркировки данных и оказалась в семь раз более устойчивой к состязательной донастройке по сравнению с другими методами, что делает ее прорывным дополнением к существующим мерам безопасности LLM.
Не самое новое исследование, но решил что это интересный взгляд на защиту через умное отупливание модели
https://arxiv.org/abs/2512.05648
Исследователи представили улучшенный вариант Gradient Routing, названный Selective GradienT Masking (SGTM), который позволяет локализовать «опасные» знания в выделенном подмножестве параметров модели во время обучения. Это позволяет в дальнейшем удалить эти возможности, не влияя на общую производительность модели. SGTM использует маскирование градиентов, чтобы примеры из целевого домена обновляли только свои выделенные параметры. Техника продемонстрировала лучшую устойчивость к ошибкам маркировки данных и оказалась в семь раз более устойчивой к состязательной донастройке по сравнению с другими методами, что делает ее прорывным дополнением к существующим мерам безопасности LLM.
Не самое новое исследование, но решил что это интересный взгляд на защиту через умное отупливание модели
https://arxiv.org/abs/2512.05648
arXiv.org
Beyond Data Filtering: Knowledge Localization for Capability...
Large Language Models increasingly possess capabilities that carry dual-use risks. While data filtering has emerged as a pretraining-time mitigation, it faces significant challenges: labeling...
🔥1
Forwarded from Поросёнок Пётр
This media is not supported in your browser
VIEW IN TELEGRAM
Кажется в следующем году в мои финансовые расходы на "ведение бизнеса" войдет лицензия на Caido 🤑
Все больше и больше вижу решений и возможностей от комьюнити. И все меньше вижу подобного со стороны PortSwigger. Только Джеймс периодически рассказывает об очередной desync attacks схемке или об очередном обновлении Turbo Intruder.
Вот отличный пример по использованию Strix. И по мотивам этого примера даже был доклад на последнем NahamCon от Джастина Гарднера.
Все больше и больше вижу решений и возможностей от комьюнити. И все меньше вижу подобного со стороны PortSwigger. Только Джеймс периодически рассказывает об очередной desync attacks схемке или об очередном обновлении Turbo Intruder.
Вот отличный пример по использованию Strix. И по мотивам этого примера даже был доклад на последнем NahamCon от Джастина Гарднера.
👍1🔥1
Немного математики на тему vRAM
https://habr.com/ru/articles/979092/
https://habr.com/ru/articles/979092/
Хабр
Сколько VRAM нужно для нейросетей?
Этот пост будет полезен людям, кто хочет разобраться в локальных моделях, особенно использующим их, как инструмент в создании контента, арта и дизайна (контекст нейросетей - image и video). Так же...
🔥2
Евгений Кокуйкин: AI security в России, готовы ли мы?
#подкаст #ai #aisecurity
В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России.
Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI.
Этот выпуск будет полезен:
➡️ AI Security Engineers и LLM Engineers
➡️ Специалистам по Red Team и пентесту
➡️ Руководителям компаний, внедряющим AI
➡️ Исследователям безопасности
➡️ Разработчикам, которые хотят понять, как защищать AI-системы от современных киберугроз
➡️ Всем, кто интересуется будущим AI в России и мире
🔗 Ссылки:
💬 Слушать в Telegram
📹 YouTube
📺 RuTube
💙 VK Видео
🎵 Apple Podcasts
🎵 Яндекс.Музыка
🔤 Mave
AI Security Lab ИТМО
Личный канал Евгения
Обязательно смотрите/слушайте до конца!
P.s. пишите в комментариях, кого пригласить в следующий раз
🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч
#подкаст #ai #aisecurity
В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России.
Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI.
Этот выпуск будет полезен:
AI Security Lab ИТМО
Личный канал Евгения
Обязательно смотрите/слушайте до конца!
P.s. пишите в комментариях, кого пригласить в следующий раз
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Forwarded from Анализ данных (Data analysis)
Если коротко:
BLOOM это попытка встроить безопасность и контроль в саму основу ИИ, а не латать проблемы постфактум.
Вот суть простыми словами.
1) Безопасность не фильтр, а часть архитектуры
Сегодня безопасность ИИ часто выглядит так:
- модель обучили
- потом добавили ограничения и фильтры
Anthropic говорит прямо:
так не работает в долгую.
В BLOOM безопасность должна:
- закладываться на этапе обучения
- быть частью внутренней структуры модели
- масштабироваться вместе с ростом возможностей ИИ
2) Надёжность важнее «умных ответов»
Модель должна:
- не только отвечать
- но и понимать, когда она не уверена
- уметь корректно отказывать
- не галлюцинировать в критических ситуациях
Проще говоря:
лучше честное «я не знаю», чем уверенная ошибка.
3) Контроль остаётся у людей
BLOOM подчёркивает:
- пользователи должны понимать, как ИИ принимает решения
- должно быть ясно, где проходят границы ответственности
- контроль и управление не опция, а обязательное требование
ИИ не должен быть «чёрным ящиком», который невозможно остановить или скорректировать.
4) Оценка рисков должна происходить системно, а не реактивно
Anthropic предлагает смотреть на риски ИИ:
- заранее
- на нескольких уровнях сразу
- техническом
- социальном
- экономическом
Не «исправлять, когда что-то сломалось»,
а предсказывать, где и почему может сломаться.
BLOOM - это не про очередную модель и не про рост бенчмарков. Это про смену подхода:
- от «быстрее и мощнее»
- к «надёжнее, предсказуемее и управляемее»
Главная мысль:
если ИИ становится мощнее человека, безопасность должна расти быстрее, чем его интеллект.
И именно этим Anthropic предлагает заниматься уже сейчас.
https://www.anthropic.com/research/bloom
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
AI будет триажить
AI будет атаковать
Claude 2x usage available from 12:00am PST December 25 through 11:59pm PST December 31.
🔥3
В видео AI Trends 2026: Quantum, Agentic AI & Smarter Automation авторы выделяют 8 ключевых трендов в области искусственного интеллекта на 2026 год:
* Multi-Agent Orchestration (Оркестрация мульти-агентов): Вместо одного универсального агента будут использоваться команды специализированных агентов (планировщики, исполнители, критики), работающие сообща под управлением оркестраторов. Это повысит надежность и позволит проверять результаты работы друг друга.
* Digital Labor Workforce (Цифровая рабочая сила): Автономные цифровые работники, способные интерпретировать мультимодальные данные, выполнять последовательности действий (workflow) и интегрироваться в бизнес-системы. Важную роль здесь играет контроль человеком (human-in-the-loop) для надзора и корректировании.
* Physical AI (Физический ИИ): Модели, которые не просто генерируют текст или картинки, а понимают физический мир (гравитацию, свойства объектов) и могут взаимодействовать с ним через роботов. Обучение таких моделей часто происходит в симуляциях ("World Foundation Models").
* Social Computing (Социальные вычисления): Создание "ткани" взаимодействия между людьми и агентами, где они понимают намерения и контекст друг друга, образуя своего рода коллективный разум (swarm computing).
* Verifiable AI (Проверяемый ИИ): В связи с вступлением в силу EU AI Act, критически важным станет аудит и прозрачность ИИ-систем. Это включает документацию, маркировку синтетического контента и отслеживание происхождения данных (data lineage).
* Quantum Utility Everywhere (Квантовая полезность повсюду): Гибридные квантово-классические системы начнут решать реальные задачи оптимизации, симуляции и принятия решений, которые ранее были недоступны для классических компьютеров.
* Reasoning at the Edge (Рассуждения на периферии): Маленькие модели (Small Language Models), работающие локально на устройствах, научатся "думать" (reasoning) подобно большим моделям. Это достигается за счет дистилляции знаний из крупных моделей в более компактные.
* Amorphous Hybrid Computing (Аморфные гибридные вычисления): Слияние различных архитектур моделей (трансформеры + state space models) и типов вычислительного железа (CPU, GPU, TPU, QPU, нейроморфные чипы) в единую гибкую среду, где задачи автоматически распределяются на наиболее подходящее оборудование.
#️⃣ gemini-3-pro
* Multi-Agent Orchestration (Оркестрация мульти-агентов): Вместо одного универсального агента будут использоваться команды специализированных агентов (планировщики, исполнители, критики), работающие сообща под управлением оркестраторов. Это повысит надежность и позволит проверять результаты работы друг друга.
* Digital Labor Workforce (Цифровая рабочая сила): Автономные цифровые работники, способные интерпретировать мультимодальные данные, выполнять последовательности действий (workflow) и интегрироваться в бизнес-системы. Важную роль здесь играет контроль человеком (human-in-the-loop) для надзора и корректировании.
* Physical AI (Физический ИИ): Модели, которые не просто генерируют текст или картинки, а понимают физический мир (гравитацию, свойства объектов) и могут взаимодействовать с ним через роботов. Обучение таких моделей часто происходит в симуляциях ("World Foundation Models").
* Social Computing (Социальные вычисления): Создание "ткани" взаимодействия между людьми и агентами, где они понимают намерения и контекст друг друга, образуя своего рода коллективный разум (swarm computing).
* Verifiable AI (Проверяемый ИИ): В связи с вступлением в силу EU AI Act, критически важным станет аудит и прозрачность ИИ-систем. Это включает документацию, маркировку синтетического контента и отслеживание происхождения данных (data lineage).
* Quantum Utility Everywhere (Квантовая полезность повсюду): Гибридные квантово-классические системы начнут решать реальные задачи оптимизации, симуляции и принятия решений, которые ранее были недоступны для классических компьютеров.
* Reasoning at the Edge (Рассуждения на периферии): Маленькие модели (Small Language Models), работающие локально на устройствах, научатся "думать" (reasoning) подобно большим моделям. Это достигается за счет дистилляции знаний из крупных моделей в более компактные.
* Amorphous Hybrid Computing (Аморфные гибридные вычисления): Слияние различных архитектур моделей (трансформеры + state space models) и типов вычислительного железа (CPU, GPU, TPU, QPU, нейроморфные чипы) в единую гибкую среду, где задачи автоматически распределяются на наиболее подходящее оборудование.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
AI Trends 2026: Quantum, Agentic AI & Smarter Automation
Ready to become a certified watsonx AI Assistant Engineer v1 - Professional? Register now and use code IBMTechYT20 for 20% off of your exam → https://ibm.biz/BdbTDQ
Learn more about AI Trends Shaping the Next 10 Years here → https://ibm.biz/BdbTDT
What…
Learn more about AI Trends Shaping the Next 10 Years here → https://ibm.biz/BdbTDT
What…
Forwarded from Data Secrets
За последние два года OpenAI потеряла половину своей доли enterprise рынка
Menlo опубликовали свой ежегодный отчет об ИИ-рынке. Они насчитали, что с 2023 доля OpenAI на рынке LLM API драматично упала с 50 до 27 процентов.
В лидеры сейчас выбились Anthropic, у них 40% рынка (хотя в 2023 было почти в три раза меньше). Дальше OpenAI со своими оставшимися 27%, и на третьем месте Google (~21).
🔵
Menlo опубликовали свой ежегодный отчет об ИИ-рынке. Они насчитали, что с 2023 доля OpenAI на рынке LLM API драматично упала с 50 до 27 процентов.
В лидеры сейчас выбились Anthropic, у них 40% рынка (хотя в 2023 было почти в три раза меньше). Дальше OpenAI со своими оставшимися 27%, и на третьем месте Google (~21).
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2