Хабр / ML & AI
472 subscribers
5.42K links
Telegram-канал, где вы можете найти публикации из RSS-фидов тематических хабов "Машинное обучение" и "Искусственный интеллект" портала Хабр.

Данный канал не является официальным представительством платформы Хабр.

Администратор - @evilfreelancer
Download Telegram
Неправильные ML-библиотеки, обфускация и кража аккаунтов Телеграм. Очищаем PyPI от вредоносных библиотек

Мы, команда Threat Intelligence экспертного центра безопасности Positive Technologies, в рамках недавнего автоматизированного аудита проектов, размещенных в главном репозитории Python-кода, нашли 28 вредоносных пакетов, которые уже много месяцев вредили пользователям. В совокупности они были скачаны 59 000 раз.

Отчет о перечисленных ниже проектах был передан команде Python Package Index (PyPI), благодаря чему проекты были удалены.

Посмотреть наши находки

#python #опенсорс #открытое_программное_обеспечение #вредоносное_по #cybersecurity #pypi #троян #открытый_код #devsecops | @habr_ai
Новые инструменты в руках разработчика и эксперта: операция «Импортозамещение»

Привет, друзья! На прошлой неделе мы взяли обратный отсчет и в ожидании боя Курантов начали знакомить вас с трендами кибербеза и ИТ и делиться прогнозами на будущее. В прошлый раз поговорили про рынок российской кибербезопасности и с какими объективными трудностями он столкнулся. Это при том, что количество угроз никуда не делось, а, напротив, даже увеличилось, и задача отрасли стала еще более трудоемкой. В этот раз поговорим, о том, как рынок выходит из сложившегося положения, какие новые технологии уже работают в кибербезе и дружат ли с ними разработчики, а какие планируется внедрить.  

Читать далее

#разработка #новые_технологии #импортозамещение #ml #devsecops #ai #linux #llm #yandex_cloud #docker | @habr_ai
Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты

На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии.

Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости.

Что внутри:

Как применять Infrastructure-as-Code для ML-кластеров и не оставлять открытые порты;

Зачем даже маленькой команде нужен Feature Store и как избежать training-serving skew;

Где прячутся CVE в ML-библиотеках и как их ловить до релиза;

Канареечный деплой с авто-откатом по метрикам и разумными порогами;

мониторинг дрейфа данных и качества модели в реальном времени;

Чек-лист DevSecOps: от тега в Model Registry до регулярных Model Review.

Материал поможет выстроить MLOps-процесс, устойчивый к атакам и сбоям, не превращая релизы моделей в ночной марафон. Читать далее

#mlsecops #mlops #devsecops #ai_security #ai_safety #безопасная_разработка_ml #жизненный_цикл_ml_модели #kubernetes_ml | @habr_ai
Как я устал тестировать LLM-системы вручную и написал универсальный сканер уязвимостей

Полгода назад я работал над внедрением RAG-системы в крупной финансовой компании. Задача была типичная: построить корпоративного чат-бота, который мог бы отвечать на вопросы сотрудников по внутренним документам. Казалось бы, что может пойти не так? Берем готовую LLM, подключаем к базе знаний, добавляем немного магии с векторным поиском — и готово.

Но когда я начал тестировать систему перед продакшеном, обнаружил, что наш "умный" ассистент превращается в болтливого предателя при правильно сформулированных вопросах. Читать далее

#devsecops #машинное_обучение #rag #информационная_безопасность #искуственный_интеллект #devops #python #llm #большая_языковая_модель | @habr_ai
Секретные ингредиенты безопасной разработки: исследуем способы точного и быстрого поиска секретов

Точно и быстро искать секрет в коде — тривиальная задача, если знаешь конкретный формат секрета и осуществляешь поиск в своём проекте. Задача становится сложнее, если твой скоуп включает несколько проектов или один большой корпоративный монорепозиторий. И эта же задача становится вызовом, если область поиска — платформа для разработчиков, а формат твоего секрета — недетерминирован.

Меня зовут Денис Макрушин, и вместе с Андреем Кулешовым @akuleshov7и Алексеем Тройниковым @atroynikov в этом году мы сделали POC платформы для безопасной разработки в рамках команды SourceCraft. Сегодня поговорим о функциональности поиска секретов. Наша appsec‑платформа состоит из двух групп инструментов: анализаторы, которые требуют точной настройки, и слой управления, который отвечает за обработку результатов и интеграцию с инфраструктурой.

В этом материале пройдём стадию discovery для анализатора секретов: посмотрим на актуальные инструменты поиска секретов, их ограничения и определим направления для повышения трёх ключевых параметров Secret Sсanning: точность, полнота и скорость. Читать далее

#secrets_management #git #devsecops #секреты | @habr_ai
За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров

Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram прилетают сообщения "СРОЧНО! Хакеры взломали бота!" — понимаешь, что без брони в бой идти нельзя. Читать далее

#devsecops #машинное_обучение #rag #информационная_безопасность #искуственный_интеллект #devops #python #llm #mlsecops | @habr_ai