Основные этапы MLOps

Процесс разработки и внедрения моделей машинного обучения в промышленную среду состоит из нескольких ключевых этапов: постановка задачи, разработка модели и её последующее сопровождение. Каждый из этапов предполагает использование специфических подходов и инструментов.

1. Постановка задачи

На этом этапе определяются:

✅ Бизнес-требования и критерии успеха внедрения.
✅ Метрики качества модели в зависимости от типа задачи:
✅ Классификация: Accuracy, Precision, Recall, F1-score, AUC-ROC.
✅ Регрессия: RMSE, MAE, R².
✅ Рекомендательные системы: Hit Rate, NDCG.
✅ Анализ доступных данных, включая их объём, качество и потенциальные ограничения (регуляторные требования или hardware-ограничения).

2. Разработка модели

Этап включает:

✅ Предобработку данных: очистку, нормализацию, работу с пропусками и выбросами.
✅ Feature Engineering: генерацию и отбор признаков (например, с помощью PCA, feature importance из деревьев или автоэнкодеров).
✅ Обучение и валидацию моделей: подбор алгоритмов, кросс-валидацию, оптимизацию гиперпараметров (GridSearch, Optuna, HyperOpt).

Инструменты:

✅ Классические ML: Scikit-learn, XGBoost, LightGBM, CatBoost.
✅ Глубокое обучение: TensorFlow, PyTorch, Keras.
✅ AutoML: H2O.ai, AutoGluon, TPOT.
✅ Экспериментирование: MLflow, Weights & Biases (W&B), Neptune.ai.

3. MLOps: внедрение и эксплуатация моделей

После разработки модель необходимо развернуть в production-среде, обеспечить её мониторинг и поддержку. Ключевые задачи:

Деплой моделей:

✅REST API: FastAPI, Flask.
✅ Сервисы для ML: TensorFlow Serving, TorchServe, ONNX Runtime.
✅ Kubernetes-решения: Seldon Core, KServe, BentoML.
✅ Демо-интерфейсы: Streamlit, Gradio.

Оркестрация и управление пайплайнами:

✅ Airflow, Prefect, Argo Workflows, Metaflow.
✅ Хранение данных и признаков:
✅ Delta Lake, Hopsworks, Feast (Feature Store).

Мониторинг:

✅ Метрик и логирования: Prometheus + Grafana, ELK Stack.
✅ Дрейфа данных: Evidently AI, WhyLogs, Arize AI.
✅ Трассировки: OpenTelemetry, DVC.

CI/CD для ML:

✅ GitHub Actions, GitLab CI, Jenkins.

MLOps обеспечивает непрерывную интеграцию моделей в production, автоматизирует их обновление и гарантирует стабильность работы в реальных условиях. Это критически важный этап, связывающий Data Science и инженерные практики.

#MLOps

🎙🎙🎙🎙 Принято в работу! | Елизавета Дудко и Вячеслав Муравьев Т-Банк Bug-Bounty
#подкаст #tbank #тбанк #багбаунти #bugbounty

В этом выпуске Сергей Зыбнев (@poxek) беседует с экспертами триажа уязвимостей из Т-Банк:
➡️Елизавета Дудко — Руководитель Т-Банк Bug-Bounty
➡️Вячеслав Муравьев — Триажер Т-Банк Bug-Bounty

Подкаст будет интересен:
➡️Специалистам по кибербезопасности
➡️Компаниям, которые собираются выйти на багбаунти
➡️Всем, кто хочет узнать больше о bugbounty, за какие баги много платят
➡️Тем кто хочет получить промокод на выплаты в Т-Банке

В этом подкасте мы обсудили:
➡️Процесс триажа в Т-Банк
➡️Как формируются выплаты
➡️Почему команда триажа это не просто ИБ техподдержка со стороны вендора
➡️Что у триажеров тоже есть сердце и они любят понятные отчёты
➡️Пару слов о Т-Банк CTF
➡️О привлечении новых багхантеров
➡️Раскрытие отчётов

Ссылки:
💬 Слушать в Telegram
📹 YouTube
📺 RuTube
💙 VK Видео
🎵 Apple Podcasts
🎵 Яндекс.Музыка
🔤 Mave

Обязательно смотрите до конца! Подписывайтесь и погружайтесь в мир триажа уязвимостей!

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK | 🌚 Мерч (sold out)

Пентест провайдера. Как цепочка классических багов привела к полной компрометации
#RCE #pathtraversal #killchain

В этой статье автор поделится исто­рией одно­го из выпол­ненных мной про­ектов, который показал, что даже в наше вре­мя встре­чают­ся прос­тые и базовые уяз­вимос­ти, гра­мот­ное сочета­ние которых может при­вес­ти к RCE.

Суть про­екта зак­лючалась в тес­тирова­нии срав­нитель­но скром­ного сег­мента внеш­ней инфраструк­туры заказ­чика — на стар­те было пре­дос­тавле­но все­го девять IP-адре­сов. Ско­уп, конеч­но, неболь­шой, но, как показы­вает прак­тика, даже это­го быва­ет дос­таточ­но для весь­ма инте­рес­ных находок. Так про­изош­ло и здесь!

В область тес­тирова­ния вхо­дила кор­поратив­ная ERP-сис­тема, при­чем это был даже не вен­дор­ский про­дукт, а внут­ренняя раз­работ­ка. Самопис­ные решения (еще и для внут­ренне­го исполь­зования) осо­бен­но инте­рес­ны тем, что к ним могут предъ­являть­ся гораз­до менее стро­гие тре­бова­ния по безопас­ности. Веро­ятность того, что такие сис­темы про­ходят регуляр­ный пен­тест, тем более мала. Собс­твен­но, о зах­вате этой сис­темы я сегод­ня и рас­ска­жу.

🔓 Читать далее

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK | 🌚 Мерч

🔎 Эксперты Curator обнаружили крупнейший DDoS-ботнет — 4,6 миллиона устройств

16 мая специалисты Curator зафиксировали и нейтрализовали масштабную DDoS-атаку, в которой использовался огромный ботнет — крупнейший за всю историю наблюдений. Он включал 4,6 млн устройств — это в разы превышает рекорды прошлых лет: для сравнения, в 2023 году — 136 тыс. устройств, а в 2024 — 227 тыс.

Атака проходила в несколько этапов:

⚡️ На первом этапе — чуть больше 2 млн устройств
⚡️ На втором — еще 1,5 млн
⚡️ На третьем — дополнительно 1 млн устройств, всего 4,6 млн

С данным ботнетом эксперты компании Curator уже сталкивались ранее в этом году — тогда его размер составлял 1,33 млн устройств. Сейчас он вырос более чем втрое, что свидетельствует о его активном развитии и повышении угрозы.

🌍 География ботнета:

🇧🇷 Бразилия — 1,37 млн устройств
🇺🇸 США — 555 тыс.
🇻🇳 Вьетнам — 362 тыс.
🇮🇳 Индия — 135 тыс.
🇦🇷 Аргентина — 127 тыс.

Такой ботнет обладает потенциалом генерировать десятки миллионов запросов в секунду. Подобная нагрузка может запросто вывести из строя любой онлайн-ресурс. Не каждый провайдер DDoS-защиты сможет с ней справиться.

👉 Оставайтесь на шаг впереди угроз — следите за новостями и аналитикой в канале Curator

Реклама: ООО "ЭЙЧ-ЭЛЬ-ЭЛЬ", ИНН 7704773923

Reverse Engineer Android Apps for API Keys
#android #reverse #RE #mobile #pentest #API

Статья с pwn.guide посвящена основам реверс-инжиниринга и цифровой криминалистики (форензики) приложений под Android. В ней рассматриваются ключевые этапы анализа мобильных приложений, важные инструменты и практические советы для начинающих и опытных специалистов по информационной безопасности.

➡️Основные моменты статьи:
➡️Описывается структура Android-приложений (APK-файлов), их компоненты и способы упаковки.
➡️Даётся обзор инструментов для реверса и форензики Android, включая такие популярные решения, как Apktool, Androguard, jadx, а также специализированные forensic-утилиты вроде androick и backhack.
➡️Пошагово разбирается процесс декомпиляции APK-файла, извлечения ресурсов, анализа манифеста и кода, поиска уязвимостей и вредоносных функций.
➡️Приводятся советы по анализу разрешений, трекеров и подозрительных библиотек, а также по выявлению признаков компрометации или вредоносной активности.
➡️Рассматриваются методы динамического анализа, включая запуск приложения на эмуляторе, мониторинг сетевых запросов и взаимодействие с файловой системой.

Даются рекомендации по автоматизации анализа с помощью скриптов и интеграции различных инструментов.

➡️Необходимый тулинг
Android Studio — For running and testing APKs.
ADB — For interacting with Android devices or emulators.
APKTool — For decompiling and recompiling APKs.
JADX — For decompiling APKs to Java source code.
HTTP Toolkit — For intercepting and analyzing HTTP/HTTPS traffic.

Кому будет полезна статья:
Материал рассчитан на специалистов по кибербезопасности, исследователей вредоносных программ, а также всех, кто интересуется анализом безопасности мобильных приложений Android.

🔗 Читать далее

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK | 🌚 Мерч

Всем привет! Долго думал над этой темой. Мой канал - это сообщество, что я смог объединить вокруг одной идеи, а это было нелегко подружить множество маленьких интровертиков в большую кампанию людей, которая будет каждый день заходить на канал и читать посты, а более смелые еще и общаются в чате.

Канал веду в соло 4 года, от чего начал уставать последнее время. Скорее не так... У меня банально закончились идеи о чем еще написать, поэтому я прошу помощи у вас.

Если у вас есть какие-то классные темы, но вам не хватает мотивации их дописать или внешней критики, вы не знаете куда выложить, думаете что её не заметят и любые другие отмазки, чтобы не поделиться своими знаниями, то я предлагаю свой канал в качестве площадки для публикации контента. Я знаю, что у меня есть множество талантливых и трудолюбивых подписчиков, которые имеют идеи для контента, но сами его не пишут по различным причинам. Собственно это тот самый шанс, чтобы круто самореализоваться)

Win2Win:
1. Вы получаете огласку, как специалиста. Вы можете поделиться своим мнением, ресерчем, может какой-то интересной идеей. Это отличная возможность засветится. В мое время такого не было)
2. Я получаю помощь в развитии и поддержке канала.

Первоначально я ищу людей, которые также горят схожими идеями в прокачке ИБ сообщества в России. Мне не интересно работать с айтишными контент менеджерами, SMM или людьми, которые нагенерят мне идей или контента через нейросети (я это и без вас могу сделать). Если мы с вами сработаемся в перспективе, то я с радостью буду вам платить.

Канал развивался всегда с ходом моих интересов. Думаю пришло время попробовать для себя что-то новое - делегирование) и посмотреть, что из этого выйдет.

Банальные правила по идеям для статей: никаких гайдов, как за 5 минут взломать ватсап/вк, гайд как взламывать wifi со смартфона и т.д. Если это очевидный материал, который уже лет 20 есть в интернете, то такое не интересует. За спам или какие-то блечерские истории, буду выдавать бан. Уважайте свое и мое время)

Писать @szybnev

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK | 🌚 Мерч