Коммит, который все сломал

Вот история о том, как крошечное изменение в зависимостях устроило тихий ужас в мире pandas.

🐼В репозитории pandas-dev/pandas есть коммит 9cd5e55. Его цель — перевести сборку на NumPy 2.0 rc. На первый взгляд это инфраструктурное обновление, но именно оно стало причиной обсуждения в issue «Potential regression induced by commit 9cd5e55».

В диффе почти нет изменений кода. Просто вместо зависимостей на numpy>=1.22.4 и numpy 1.26.* появились ссылки на numpy>=2.0.0rc1. Однако такие минимальные изменения могут повлиять на весь стек. NumPy 2.0 rc изменяет работу ufunc, диспетчеризацию и представление типов. Для pandas это означает потенциальные регрессии в groupby, value_counts, индексации, конвертациях и строках на базе pyarrow.

Чтобы почувствовать разницу, достаточно замерить выполнение нескольких операций. На pandas 2.2.1 и numpy 1.26.4 операции value_counts или groupby.mean отрабатывают стабильно. На pandas с numpy 2.0 rc результаты могут быть медленнее или вести себя иначе. Похожая история возникала и с соседним коммитом 924f246, где изменения в форматировании вывода неожиданно ломали тесты.

🫚 Корень проблемы прост. Обновление зависимости без изменения кода библиотеки влечёт изменение поведения самой библиотеки. Ловить такие ситуации можно через тесты производительности, прогон матрицы версий зависимостей и использование git bisect для отслеживания первых проблемных версий.

👀 История этого коммита хорошо показывает, как один на вид безобидный шаг в сторону новой версии NumPy может вызвать регрессии во всей экосистеме. NumPy 2.0 — это как новый сосед, который переставил всю мебель в вашей квартире и искренне недоумевает, почему вы не рады. А git bisect — ваш личный юрист, когда надо найти того единственного виноватого в коммитах.

Инструмент недели. Optuna — автоматический тюнинг гиперпараметров

😰 Подбирать гиперпараметры вручную — квест. Сидишь в ноутбуке, крутишь learning rate туда-сюда, меняешь регуляризации, ждёшь … и всё ради того, чтобы «а вдруг заработает лучше».
Optuna снимает эту боль. Он сам перебирает параметры с умом. Использует современные алгоритмы оптимизации, чтобы быстрее прийти к рабочему сочетанию (TPE (Tree-structured Parzen Estimator) – основной алгоритм Optuna. Это байесовская оптимизация, где строятся вероятностные модели распределений «хороших» и «плохих» гиперпараметров, а новые кандидаты выбираются так, чтобы чаще пробовать _promising regions_ (- рука не поднимается переводить термин. Может, надо побольше про такие алгоритмы?)). И что круто — работает почти со всеми популярными ML-фреймворками (PyTorch, TensorFlow, XGBoost, LightGBM и даже scikit-learn).

🍒 Плюс он не просто подбирает числа в фоне. Можно сразу смотреть красивые графики, отслеживать, как идут эксперименты, запускать несколько прогонов параллельно и даже подключать всё это в продакшен, если проект вырос до серьёзных масштабов.

Конечно, у Optuna есть конкуренты — например, Ray Tune для распределённых задач или MLflow, который тащит на себе весь ML-процесс от логирования до деплоя. Но Optuna берёт именно простотой и удобством. Если вы на МЛ-старте, то это та самая точка сходимости на кривой код-польза - "минимум кода/максимум пользы".
Чем полезен:
- Ускоряет эксперименты.
- Легко подключается к ML-проекту.
- Визуализации (optuna.visualization) помогают понять, какие параметры реально важны.
- Используется и в исследовательских проектах, и в продакшне.

Коротко про ближайших "конкурентов":

- Optuna. Удобство + визуализации + гибкость.
- Ray Tune. Если нужно масштабировать на кластеры.
- MLflow. Для end-to-end ML-процессов. Есть еще и ClearML, но вообще это все немного другая история. Более глобальная что ли.
- Hyperopt / skopt. Тоже рабочие варианты, может, позже остановимся поподробнее. Менее удобный интерфейс.

Как быстро найти секреты и токены в чужом репозитории

Иногда попадается репозиторий, где авторы по невнимательности оставили что-то лишнее — API-ключи, токены или пароли. Проверить это можно буквально за пару минут.

👉 Самый быстрый способ — поиск по истории Git с помощью trufflehog или gitleaks.
Инструмент пробежится по истории коммитов и выдаст все подозрительные строки (от AWS-токенов до приватных ключей).
Оба инструмента поддерживают кастомные правила (regex) и умеют проверять не только открытые репозитории, но и приватные (если есть доступ).

⚡️ Лайфхак: если нужно быстро — можно даже без установки:

git clone https://github.com/username/repo.git
cd repo
grep -r "api_key" .

Используйте это этичнo — для своих проектов или при аудитах по согласию. Находить секреты в чужом коде без разрешения ≠ good practice.

🤖🔥⚡️CVE-2025-50733
1. 📌 NextChat под атакой, XSS через AI-ответы — теперь ваш чат может шпионить за вами!

2. ✍️ Представьте, что вы просто болтаете с AI, а он — оп, и подсовывает вам вредоносный HTML прямо в интерфейс. Всё из-за того, что NextChat рендерит ответы бота в iframe с «allow-scripts» и без нормальной чистки кода. Итог — злоумышленник может вытащить ваши API-ключи, сессии и вообще всё, что плохо лежит в localStorage. Так что, ребята, не доверяйте даже своему любимому боту — он может быть не так уж и безобиден!

Подробнее про дыру — тут .

Ошибка в проде. Альтернативная история SQL-инъекции в ML-проекте

🙈 Когда работаешь с ML-кодом, думаешь про модели, данные и метрики. А вот про безопасность — не всегда. И иногда это выливается в забавные (и не очень) истории. А вот как одна «безобидная» строчка SQL внезапно открывает дверь ко всем экспериментам и моделям проекта.

Мини-история

В OSS-трекере экспериментов добавили поиск по имени 💁. Быстро, «наколенке», через f-string — и поехали на прод. Дальше кто-то закинул в параметр имени "' OR '1'='1", и эндпоинт радостно вернул все записи. Классический SQLi.

def find_experiment(name: str):
    # ⚠️  конкатенация параметра прямо в SQL
    query = f"SELECT * FROM experiments WHERE name = '{name}'"  # <---уязвимость здесь
    return cursor.execute(query).fetchall()

Как нужно было

python
python
def find_experiment(name: str):
    return cursor.execute(
        "SELECT * FROM experiments WHERE name = ?",
        (name,)
    ).fetchall()

К чему это приводит (по OWASP и практике)
- вытащить и массово слить данные (эксперименты, метрики, привязанные токены/секреты);
- менять или удалять записи (ломая историю экспериментов и артефактов);
- эскалировать привилегии и в отдельных конфигурациях захватывать контроль над БД/сервисом.

Почему это не «теория»

JFrog последовательно показывает, что open-source ML-стек и MLOps-платформы нередко уязвимы. начиная с серверной части и до клиентов и пайплайнов. Их серия исследований фиксирует десятки багов в популярных ML-проектах и сервисах вокруг них — отличный разбор attack-surface и ошибок реализации. Вы все еще не настороже? Тогда злоумышленники идут к вам🧍🏻‍♂️🫵🚶🏻‍♂️‍➡️🚶🏻‍♂️‍➡️🚶🏻‍♂️‍➡️

Что делать прямо сегодня? Ваши варианты. Я начну
1.
2.
3.
4. Негативные тесты. Пробуем "' OR '1'='1" и прочие пэйлоады.

Practical NLP без воды, только репозитории

Practical Natural Language Processing: A Comprehensive Guide to Building Real-World NLP Systems (O’Reilly, 2020) — практическое руководство по построению продакшн-NLP: от постановки задачи и сбора данных до оценки, деплоя и MLOps. Книга полезная, сокращает разрыв между академическими методами и реальными продуктами, показывает trade-offs и типовые пайплайны для задач классификации, извлечения информации, чат-ботов и прикладных доменов (соцсети, e-commerce/retail, здравоохранение, финансы, право). Но читать ее некогда да и интереснее, конечно ,

💀 наличие нотубуков для моментального практического погружения:

* practical-nlp/practical-nlp-code — официальный код к книге. Отличная отправная точка для воспроизведения примеров. Заимствуй с умом, помни про особенности датасета и предварительного анализа данных!
* practical-nlp/practical-nlp-figures — цветные иллюстрации из книги (то, чего часто не хватает в печатной версии).
* nishkalavallabhi/practicalnlp — «глава-за-главой» ноутбуки от соавтора; удобные кнопки для запуска в Colab/nbviewer. Хорошая альтернатива основному репо, если хотите быстро потыкать примеры.

🛠️ Инструмент недели. SpaCy - промышленный NLP

💫 Если нужен продакшен-уровень NLP на Python, spaCy - осознанный выбор. Это бесплатная open-source библиотека под MIT-лицензией, рассчитанная именно на боевое применение. Из коробки идут предобученные пайплайны, поддержка токенизации и обучения для 70+ языков и вагон готовых моделей (на которых как минимум можно прокачать насмотренность, и как максимум - свои тулы по поиску уязвимостей).

🧠 Библиотека сочетает очень высокую скорость с нейросетевыми компонентами для разметки частей речи, синтаксического анализа, распознавания сущностей, классификации текста и других задач. Можно обучать мультизадачные пайплайны с предобученными трансформерами вроде BERT, а продакшен-цикл закрывается удобной упаковкой моделей, деплоем и управлением рабочими процессами. Есть визуализаторы синтаксиса и NER, поддержка своих компонентов и атрибутов, а также подключение кастомных моделей на PyTorch или TensorFlow. В генерацию «с нуля» spaCy не целится — это про обработку и извлечение информации из больших массивов текста — зато в роли надёжного кирпича для RAG (родненький, куда без него), извлечения данных из документов (пу-пу-пу, тут и поиск сенситив дата, на заметку!), логов и тикетов, пред-/пост-обработки вокруг LLM справляется.

Короткий пример на русском

Представь новость: «В 2025 году OpenAI открыла офис в Берлине».

NER автоматически извлекает из текста даты, организации и локации. Выделяет именно куски текста (spans, спаны) и подписывает их типами — DATE, ORG, LOC. Дальше это превращается в поля в базе: date=2025, org=OpenAI, city=Берлин. Нужен другой домен? В тексте «Вендор X выпустил v1.2.3 для продукта Y» NER даёт ORG/PRODUCT, а простым правилом добавляешь VERSION — и вот у тебя структура для отчёта или поиска. Смысл в том, что при любом «плавающем» языке — письма, заявки, коммиты, новости — ты перестаёшь писать хрупкие регексы и получаешь стабильные поля «кто/что/где/когда».

И так, загружаем среднего размера русскую модель, запускаем пайплайн и извлекаем сущности; в ответе - географические названия и организация.

import spacy, sys
print("spaCy:", spacy.__version__)
print("python:", sys.executable)

nlp = spacy.load("ru_core_news_md")  # можно начать и с ru_core_news_sm
print("pipe:", nlp.pipe_names)

doc = nlp("Москва — столица России. В 2025 году OpenAI открыла офис в Берлине.")
print("ents:", [(e.text, e.label_) for e in doc.ents])

Вывод у меня сейчас такой (проверяй):

spaCy: 3.7.6
python: /Users/okmlai/anaconda3/bin/python
pipe: ['tok2vec', 'morphologizer', 'parser', 'attribute_ruler', 'lemmatizer', 'ner']
ents: [('Москва', 'LOC'), ('России', 'LOC'), ('OpenAI', 'ORG'), ('Берлине', 'LOC')]

Установка занимает минуту:

pip install -U spacy
python -m spacy download ru_core_news_md

Если увидите предупреждение о несовместимости версии модели и библиотеки, просто обновите spaCy до 3.8.0 и перекачайте модель теми же командами — это уберёт лишний шум и синхронизирует компоненты.


#ИнструментНедели #spaCy #NLP #RAG #MLOps #DataEngineering

CVE-2025-54886
📌 Загружаешь ML-модель, а получаешь троянского коня 🐴
✍️ В библиотеке skops до версии 0.13.0 можно ненароком запустить чужой код прямо при загрузке модели — всё из-за того, что функция Card.get_model тихо переключается на небезопасный joblib, если формат файла ей не понравился. Так что если вы думали, что ML-модели — это только про данные и предсказания, то вот вам сюрприз! Иногда они ещё и запускают что-то лишнее. Обновляйтесь, пока не поздно!

Netron - рентген для ML-моделей. Почему должен быть в вашем тулбоксе? 🧰

🩻Netron - это быстрый кроссплатформенный визуализатор графов ИИ-моделей. Показывает структуру вычислительного графа, входы/выходы узлов, формы тензоров, типы данных и атрибуты слоёв. Работает прямо в браузере на netron.app или как настольное приложение.

Граф скажет больше, чем 1000 логов. Удобно для дебага экспорта (ONNX/TorchScript/TFLite/Core ML), ревью архитектуры и «почему всё рушится на shape (N, ?)».

Пройдемся по графу с приложенного рисунка (пример на feastconv_Opset16.onnx - графовой нейронной сети, использующей современный механизм внимания (FeaStConv) для анализа данных, представленных в виде графов.) (вообще ONNX Model Zoo - курируемая коллекция предобученных моделей в формате ONNX из популярных репозиториев (timm, torchvision, transformers), распространяемых через Git LFS. Есть валидированные модели для CV, NLP, генеративки и графовых задач, с тестовыми данными и коротким кодом для проверки. Точно полезно для тестирования соственных тулов, почекать на безопасность, может что-то дообучить и тд)).

🎫Входы:
— x: 2708×1433 - признаки узлов
— edge_index: 2×2708 - список рёбер (src/dst)

⛓️‍💥Ключевые цепочки:
— Подготовка рёбер: Gather(indices=0/1) > Equal > Not > NonZero - формируем маску (напр., без self-loops) и позиции активных рёбер. Дальше ConstantOfShape/Expand/Tile/Concat - выравнивание форм для широковещания.
— Сообщения/классификация узлов: MatMul(1433×7) > Add >Softmax - линейная проекция признаков x и нормализация по классам (7). Reshape вокруг - приведение осей к нужной форме перед агрегацией.
— Агрегация по графу: ScatterElements - «рассыпаем» сообщения по целевым узлам согласно edge_index. ReduceSum - суммируем вклад соседей; Div - нормализация (аналог degree-norm). В самом конце Add(B=7) - смещение для логитов.

Что можно легко проверить:
— Совпадают ли формы до/после MatMul (должно быть …×1433 → …×7)?
— Есть ли избыточные Reshape/Transpose вокруг Softmax?
— Корректно ли собирается shape через Shape/Gather/Concat (без необъяснимых констант)?
— ScatterElements принимает индексы нужной размерности (иначе легко получить какую-то мешанину)?

Что можно улучшить?
1. Срезать «лес» формо-операций. Много Reshape/Squeeze/Unsqueeze/Expand/Tile/Concat. 👉 onnx-simplifier (с динамикой входов) - выкидывает лишнее и ускоряет.
2. Tile > Broadcasting. Там, где стоит Tile + Concat/Expand, сформировать тензор с размерностью 1 и положиться на широковещание - меньше памяти и копирований.

5 сценариев, где Netron реально спасает
1. Shape-баг после экспорта
Открыл > клик по проблемному узлу > сразу видно, где «сломалась» размерность (например, N×D вместо N×7). Часто причиной оказываются лишние Reshape/Transpose - Netron их выдаёт наглядно.
2. Проверка логитов и классов Быстро понять, сколько классов на выходе: найди Softmax/последний MatMul и посмотри форму выхода (например, …×7).
3. Валидация динамических осей
4. Оптимизация/понимание «лишних» операций
Если видишь «лес» из Reshape/Squeeze/Unsqueeze/Expand, это сигнал упрощать пайплайн до экспорта (или пропустить через onnx-simplifier)! В примере наглядно показан такой косяк в модели.
5. Ревью архитектуры и документация. Не знаешь, как пояснить руководителю за модель?)
Скрин графа - понятная диаграмма для коллег/мануала. Особенно удобно сравнивать две версии модели «глазами».

🚀 KAN - архитектура нейросетей, которая не стала «убийцей MLP»

В 2024 году на волне интереса к интерпретируемому ИИ появилась новая архитектура - Kolmogorov–Arnold Networks (KAN). Она основана на теореме Колмогорова–Арнольда, которая заключается в том, что любую сложную многомерную функцию можно разложить на комбинацию одномерных.
Вместо фиксированных функций активации (ReLU, sigmoid и т.д.) внутри нейронов, как в MLP, в KAN функции активации становятся обучаемыми и помещаются на рёбрах сети. Для их параметризации используются B-сплайны - кусочно-гладкие полиномы, которые позволяют локально и гибко менять форму функций.

➕ Что это даёт
- меньше чувствительность к «проклятию размерности» (curse of dimensionality - экспоненциальный рост сложности при увеличении числа признаков),
- меньше параметров при сопоставимой точности,
- интерпретируемость - из сети можно извлекать символьные формулы, а не «чёрный ящик».

➖ Минусы
- медленное обучение,
- пока мало практических кейсов,
- проблемы с функциями, имеющими много резких изменений и особенностей (разрывы, резкие пики) (фрактальные функции).

Почему KAN недооценили?
KAN вышел в то же время, когда всё внимание сообществa было приковано к битве гигантов LLM (GPT, Claude, LLaMA). В итоге идея компактной, прозрачной нейросети оказалась в тени больших языковых моделей. Но потенциал у KAN есть - особенно там, где важна объяснимость и эффективность.

Как попробовать самим?
- научные исследования (математика, физика, биология), системы управления, оптимизация,
- задачи с высокоразмерными данными,
- интерпретируемые модели в финтехе, иб или медицине,
- быстрые прототипы идей - на GitHub уже есть библиотека PyKAN.

Кейс использования из практики. Как мы использовали KAN для реверс-инжиниринга электропривода.

Так как KAN не только аппроксимирует функцию (как MLP), но и позволяет восстановить её в аналитическом виде - через символьные формулы, по датасету с входами/выходами системы управления электропривода (ток, напряжение, момент, скорость, углы, управляющие сигналы и тд), KAN "выучил" функциональные зависимости между этими параметрами.

На выходе получили не только модель 🧠, которая предсказывает поведение системы, но и читаемую формулу, приближающую реальные уравнения электропривода. Фактически, мы провели реверс-инжиниринг математической модели по сырым данным.

🤪 То есть:
1. Подаешь данные системы управления
2. Обучаешь KAN
3. Извлекаешь приближенную математическую модель (аналоги дифференциальных уравнений динамики электропривода).

🍓Можно потренироваться на синтетике, сгенерил данные по формулам, а потом формулы восстановил обратно. Там глядишь и опишешь уже рынок биткоина =) Practice makes perfect!

Помимо того, что это очень ценно именно в инженерных задачах (электроприводы, мехатроника, робототехника), где важна физическая интерпретация, а не просто «чёрный ящик», данный подход может использоваться злоумышленниками для подготовки атак на системы управления сложными техническими системами, да и в целом на КИИ: системы управления энергосетями, промышленные станки и транспорт. Это еще раз подчеркивает, что интерпретируемость - это не только прояснение моделей, но и потенциальные риски.

Transformers под прицелом

Библиотека Hugging Face Transformers стала основным инструментом для работы с моделями NLP и генеративными сетями. Но вместе с ростом популярности растёт и внимание исследователей безопасности. За последние годы в проекте обнаружили несколько уязвимостей, которые могут серьёзно повлиять на продакшн-сервисы.

Рассмотрим одну из последних найденных уязвимостей, CVE-2025-3777 - подмена домена. В модуле image_utils.py до версии 4.52.1 использовалась проверка URL через startswith(). Это позволяло обойти фильтр:

https://youtube.com@attacker.com/video.png

Функция считала, что ресурс загружается с youtube.com, но фактически трафик уходил на attacker.com. Такой вектор открывает дорогу к подмене данных и дальнейшей эксплуатации.
Кейс
API скачивает ютьюб превью, но реальный хост — у злоумышленника. Подмена данных или доставка малвари.

Группу следующих уязвимостей рассмотрим на примере CVE-2024-11394 и GHSA-37q5-v5qm-c9v8 - RCE через десериализацию. В HF несколько раз находили RCE уязвимости, связанные с загрузкой чекпоинтов. В случае CVE-2024-11394 злоумышленник мог встроить произвольный пейлоад в артефакт Trax. Достаточно, чтобы разработчик открыл файл - и код выполнится. В GHSA-37q5-v5qm-c9v8 проблема была в использовании pickle.load() внутри load_repo_checkpoint(). Итог тот же - RCE при загрузке неподписанного чекпоинта.
Именно поэтому HF ввёл поддержку формата safetensors как безопасной альтернативы pickle.
Кейс
Загружается pickle-файл, внутри - Python payload и как следствие RCE.

Еще одна группа уязвимостей на примере CVE-2025-5197 - ReDoS в токенизации. В 2024–2025 годах несколько CVE были связаны с Regular Expression Denial of Service. Токенизаторы содержали regex-паттерны с экспоненциальным бэктрекингом. Достаточно отправить специально подготовленный текст, и один запрос загрузит CPU на 100%, вызвав отказ в обслуживании.
В боевых условиях это превращается в простой DoS-эксплойт против inference API.
Кейс
Злоумышленник шлёт длинную строку с «ядовитым» паттерном, регэкс зависает, инференс падает.

Отдельная история - опция trust_remote_code как supply chain vector. Она нужна для кастомных моделей, позволяя загрузить и выполнить код из репозитория (modeling_*.py, processing_*.py). Это удобно, но фактически означает supply chain attack surface. Любой вредоносный код в модели выполнится на вашей машине с правами процесса.
Кейс
Кастомная модель с вредоносом modeling.py запускает произвольный код при from_pretrained().

6 шагов безопасного ML-прода (дополним до 12, следи за обновлениями)
1. Только safetensors (safe_serialization=True), блокировка pickle.
2. Pin по commit SHA при from_pretrained() и snapshot_download().
3. trust_remote_code=False по умолчанию, исключения - только через allowlist + sandbox.
4. Resource limits - таймауты препроцессинга, лимиты на длину ввода, rate limiting для API.
5. CI/CD защита - запрет на *.pickle, автоматический сканинг артефактов, quarantine для новых моделей.
6. Регулярные апдейты.

⚡️ JAXFORMER - фундамент для доменных LLM от Salesforce

JAXFORMER - это не просто ещё одна ML-библиотека. Это движок от Salesforce, созданный специально для того, чтобы обучать огромные языковые модели на кластерах TPU v4.
Если коротко - он решает главную боль всех, кто работает с LLM:

как «распихать» миллиарды параметров модели по куче устройств так, чтобы она реально обучалась, а не падала с OOM.

🔧 В чём магия
1. Использует мощь pjit из JAX для одновременного распределения данных, модели и состояния оптимизатора по всем устройствам. Больше не нужно выбирать между Data и Model Parallelism - здесь это есть из коробки.
2. Оптимизация под TPU. JAXFORMER вытягивает максимум производительности и эффективности на железе Google - синхронизация и обмен градиентами работают почти «на лету».
3. Именно на JAXFORMER были обучены все модели семейства CodeGen (от 350M до 16B параметров) - первая open-source альтернатива Codex.

🚀 Почему это актуально в 2025?
Тренд сместился с гигантских универсальных моделей на компактные, умные и доменные LLM:
🍓 Ваш ассистент, который знает вашу кодобазу и ваши API.
🍓 Ваша модель, обученная на внутренней документации и специфичных данных.

Яркий кейс - Einstein for Developers
Тот же CodeGen, дообученный на экосистеме Salesforce (Apex, API), превратился в AI-помощника прямо в VS Code. Копайлот, который предлагает решения, учитывающие текущую бизнес-логику, работает гораздо лучше универсального.

👉 В эпоху специализированного AI JAXFORMER - тот инструмент, который позволяет строить вашего собственного копайлота. Он даёт компаниям и исследователям возможность делать то, что раньше мог лишь бигтех:
- обучать большие модели,
- адаптировать их под свою область,
- и при этом сохранять полный контроль над данными.

Это не про то, чтобы догнать GPT 🤡. Это про то, чтобы обогнать всех в своей нише, создав AI-эксперта, который знает подложку бизнеса изнутри.

#LLM #JAX #TPU #AI #Salesforce #Copilot #ModelTraining #GenAI

CVE-2025-57818

✍️ Firecrawl до версии 2.0.1 позволял авторизованным пользователям настраивать вебхуки так, что они могли стучаться в любые внутренние сервисы компании. В результате пользователь мог задать, например:

http://127.0.0.1:2379/
http://metadata.google.internal/computeMetadata/v1/
http://intranet.corp.local/

То есть вместо обычного вебхука на внешний сервис Firecrawl начинал «стучаться» во внутренние ресурсы инфраструктуры — от etcd до облачных метаданных. На практике это значит, что Firecrawl превращается в прокси к приватным сервисам, до которых извне не добраться!

Уязвимость в Firecrawl на первый взгляд выглядит «обычным» SSRF, но есть важный нюанс. Firecrawl - это ML-парсер, изначально задумывавшийся для автоматического сбора и структурирования веб-контента. В нормальной эксплуатации модель обрабатывает текст и данные извне, однако благодаря SSRF-багу этот «умный парсер» превращается в инструмент разведки внутренней инфраструктуры.

🥺 Именно комбинация ML-модуля (обработка входных сайтов) и гибких вебхуков (интеграция с внешними сервисами) делает уязвимость опаснее. И вместо того чтобы парсить публичные сайты, система по просьбе пользователя начинает ходить в приватные ресурсы компании. По сути, ML-компонент становится троянским конём не по своей воле — его инфраструктура используется в атаках на внутренние сервисы, хотя сам по себе ML-код к багу отношения не имеет.

🫨 Вектор атаки
– Атакующий должен иметь авторизованный доступ к Firecrawl (не аноним!).
– После этого он настраивает webhook URL и Firecrawl выполняет запрос от имени своего сервера.
– Возможные последствия - доступ к внутренним API, метаданным облака, сервисам администрирования.

⚠️ tl;dr
До версии 2.0.1 Firecrawl можно было превратить из ML-парсера в прокси для внутренних сервисов — классический SSRF.

Автоматизированная оценка рисков утечки данных из ML-моделей 🔍

Исследователи из CTC и USMA представили конвейер для анализа атак инверсии. Model Inversion Attack позволяет восстанавливать чувствительные данные из обученной сети, угрожая приватности (классика - MI-Face 🤦‍♀️).

Конвейер использует Vision Language Models (CLIP, BLIP2, InstructBLIP), чтобы автоматически оценивать качество реконструированных изображений. Вводятся 4 метрики:
1️⃣ Quality Loss — насколько картинка «шумная» по сравнению с оригиналом
2️⃣ Feature Loss - сходство признаков по эмбедингам.
3️⃣ Label Loss - вероятность совпадения класса.
4️⃣ Model Stealing Loss - риск, что извлечённая модель копирует поведение оригинала.

Все метрики агрегируются в WCAL (Weighted Composite Accuracy Loss). Риск считается низким при <55%, средним 55–65%, высоким >65%.
Эксперименты показали следующее. VGG16 течёт данными сильнее, чем ResNet50, а GMI-атаки (GAN-based) эффективнее простых Feature Visualization (Lucent для PyTorch). Fine-tuning VLM и GAN на специфичных доменах (например, военная техника Military Vehicles dataset) повышает точность оценки риска.

📈Для тестов использовали датасеты STL-10 и Military Vehicles; модели — VGG16, MobileNetV2, ResNet50.

📌 Хороший обзор теории model inversion: OWASP/NIST, StartupDefense.

💭 Моё мнение
Главный инсайт - приватность в ML-моделях дырявая по умолчанию. Один хороший GMI-атакующий вытащит из VGG16 куда больше, чем мы привыкли думать. WCAL как индикатор риска - это мощный шаг, так ккк теперь утечки можно мерить не на глаз.
Но вывод в целом тревожный, если твоя модель тренируется на чувствительных данных и ты не проверяешь её на инверсию, считай, что эти данные уже наполовину скомпрометированы.

🔥 Критическая уязвимость в Local Deep Research (CVE-2025-57806)

До версии 1.0.0 все API-ключи (OpenAI, Anthropic и др.) хранились в SQLite без шифрования.
➡️ Доступ к серверу = кража ключей.

🔴 Риск!
Любой, кто получал доступ к серверу или контейнеру, мог скопировать базу и похитить ключи - для последующего использования или продажи.

⚠️ В версии 1.0.0 брешь закрыли - ключи теперь шифруются и хранятся безопасно.

📎 Ссылки: Release, PR, Advisory.

P.S.
✨ Почему стоит обратить внимание на Local Deep Research? Это self-hosted AI-ассистент, который ищет в вебе и ваших документах, собирает факты и превращает их в структурированный отчёт. Удобен для аналитиков (обзоры рынка), исследователей (подбор материалов) и разработчиков (разбор кода). Или если сами запутались в том, что наресечили в папке "диплом" или "доклад".

✅ Теперь инструмент не только удобный, но и безопасный 🤭. Если раньше сомневались (правильно делали, интуиция) - сейчас самое время попробовать.

#CVE #AI #безопасность #уязвимость #LocalDeepResearch

Где пентест-агенты работают, а где пока что нужен человек

Сегодня пентест-агенты умеют выполнять часть задач хакера, но не все. По данным Veracode, до 40% кода, написанного ИИ, содержит уязвимости - и это подталкивает индустрию к поиску автоматизированных решений для аудита. На этом фоне появляются пентест-агенты - системы, призванные автоматизировать процесс поиска уязвимостей. Правда, и сами они опираются на модели, которые порой генерируют небезопасный код. Упс 😁

Где помогают и где буксуют?

Один из простых и наглядных примеров - HackSynth. Агент работает по циклу планирование ➡️ выполнение ➡️анализ. Планировщик придумывает, что делать, а саммаризатор фильтрует шум из логов. Всё аккуратно, пошагово, но линейно.

Другой подход показала MAPTA. Тут есть Координатор, который строит общую стратегию и распределяет её между несколькими агентами, а агент-валидатор проверяет эксплойты - по сути как команда пентестеров с руководителем. Благодаря этому снижается количество false-positive, а риск того, что инфраструктура ляжет спать – минимален.
Результаты MAPTA:
✅ 100% успеха в SSRF и мисконфигурациях
✅ 83% - в broken authorization
❌ 0% - в blind SQL injection

НО! Симуляция ≠ реальная сеть. GAP Framework пробует метод Real-to-Sim-to-Real, чтобы сократить разрыв. LLM забывается на длинных сессиях, придумывает IP и требует строгой изоляции...
Чтобы снизить риски, применяют промпты с чёткой ролью, few-shot и chain-of-thought. Но даже так модели способны выдавать нерелевантные шаги и/или ошибочные команды.

Как агент думает

На практике агент работает довольно просто: он видит топологию сети, сервисы и учётки; может сканировать, эксплуатировать уязвимости, подбирать пароли и перемещаться по сети; получает бонус за успешные шаги и штраф за ошибки или обнаружение.
Чаще всего используют алгоритмы вроде PPO (Proximal Policy Optimization) и иерархические подходы: стратегический уровень решает, какую цель атаковать, тактический - как именно это сделать.

Для обучения создаются среды вроде PenGym, где подключаются реальные инструменты (Nmap, Metasploit). Эффективность проверяют на CTF-платформах или бенчмарках: PicoCTF, OverTheWire, XBOW. Низкая стоимость успешных атак (7 центов по данным MAPTA) показывает экономическую эффективность агентов в рутинных задачах, однако это не означает, что они подходят для всех сценариев.

Если по-простому
Агенты - это ускоритель пентеста, а не замена пентестеру. Они снимают рутину (сканы, переборы, типовые атаки), а человеку оставляют главное - анализ сложных уязвимостей.
Иначе говоря, пока агенты делают «скучное», человек остаётся в роли арбитра.
#ai #aiagent #pentest