Superset. Три интересные уязвимости в репозитории для анализа данных.
Анализировать данные приятно, а вот отдавать их кому попало — не очень 🫤. Поэтому ниже — 3 уязвимости (задокументированные) в Superset, которые показывают, почему иногда стоит не просто строить красивые графики, но и проверять, кто их видит.
1) Auth bypass из-за дефолтного
Если при установке не меняли стандартный
2) Утечка паролей к БД через REST API (CVE-2023-30776)
Пользователь с определёнными правами мог вытащить сохранённые пароли подключений к БД, обратившись к конкретному API-методу. Исправлено в 2.1.0 CVE-2023-30776 Detail - NVD, CVEs fixed by release - Apache Superset
3) SSRF через импорт датасетов (CVE-2023-25504)
При определённых правах можно было инициировать запросы от имени сервера к внутренним ресурсам (SSRF) через функционал импорта наборов данных. Закрыто в 2.1.0 CVE-2023-25504 Detail - NVD, CVEs fixed by release - Apache Superset
🤦♀️ Даже зрелые data-инструменты страдают от “человеческих” ошибок. Дефолтные ключи, избыточные API-права и SSRF — это не баги в графиках, это уже открытые двери в твой data-центр. А данные - валюта 21 века. Поэтому вот заодно и ссылочка на документацию.
Анализировать данные приятно, а вот отдавать их кому попало — не очень 🫤. Поэтому ниже — 3 уязвимости (задокументированные) в Superset, которые показывают, почему иногда стоит не просто строить красивые графики, но и проверять, кто их видит.
1) Auth bypass из-за дефолтного
SECRET_KEY (CVE-2023-27524)Если при установке не меняли стандартный
SECRET_KEY, злоумышленник может подписывать cookies и получить доступ к ресурсу. Исправлено, рекомендация — всегда менять ключ и проверять конфиг CVE-2023-27524 Detail - NVD, CVEs fixed by release - Apache Superset, horizon3ai/CVE-2023-27524 - Apache Superset Auth Bypass. Уязвимость (эксплоит) связана с тем, что Superset использует Flask, где безопасность сессий зависит от криптографической стойкости этого ключа. По данным исследований, более 70% экземпляров Superset в 2021 году использовали дефолтный ключ, а в 2023 году — около 67%. 2) Утечка паролей к БД через REST API (CVE-2023-30776)
Пользователь с определёнными правами мог вытащить сохранённые пароли подключений к БД, обратившись к конкретному API-методу. Исправлено в 2.1.0 CVE-2023-30776 Detail - NVD, CVEs fixed by release - Apache Superset
3) SSRF через импорт датасетов (CVE-2023-25504)
При определённых правах можно было инициировать запросы от имени сервера к внутренним ресурсам (SSRF) через функционал импорта наборов данных. Закрыто в 2.1.0 CVE-2023-25504 Detail - NVD, CVEs fixed by release - Apache Superset
🤦♀️ Даже зрелые data-инструменты страдают от “человеческих” ошибок. Дефолтные ключи, избыточные API-права и SSRF — это не баги в графиках, это уже открытые двери в твой data-центр. А данные - валюта 21 века. Поэтому вот заодно и ссылочка на документацию.
9❤7👍4⚡3
Коммит, который все сломал
Вот история о том, как крошечное изменение в зависимостях устроило тихий ужас в мире pandas.
🐼В репозитории pandas-dev/pandas есть коммит 9cd5e55. Его цель — перевести сборку на NumPy 2.0 rc. На первый взгляд это инфраструктурное обновление, но именно оно стало причиной обсуждения в issue «Potential regression induced by commit 9cd5e55».
В диффе почти нет изменений кода. Просто вместо зависимостей на numpy>=1.22.4 и numpy 1.26.* появились ссылки на numpy>=2.0.0rc1. Однако такие минимальные изменения могут повлиять на весь стек. NumPy 2.0 rc изменяет работу ufunc, диспетчеризацию и представление типов. Для pandas это означает потенциальные регрессии в groupby, value_counts, индексации, конвертациях и строках на базе pyarrow.
Чтобы почувствовать разницу, достаточно замерить выполнение нескольких операций. На pandas 2.2.1 и numpy 1.26.4 операции value_counts или groupby.mean отрабатывают стабильно. На pandas с numpy 2.0 rc результаты могут быть медленнее или вести себя иначе. Похожая история возникала и с соседним коммитом 924f246, где изменения в форматировании вывода неожиданно ломали тесты.
🫚 Корень проблемы прост. Обновление зависимости без изменения кода библиотеки влечёт изменение поведения самой библиотеки. Ловить такие ситуации можно через тесты производительности, прогон матрицы версий зависимостей и использование git bisect для отслеживания первых проблемных версий.
👀 История этого коммита хорошо показывает, как один на вид безобидный шаг в сторону новой версии NumPy может вызвать регрессии во всей экосистеме. NumPy 2.0 — это как новый сосед, который переставил всю мебель в вашей квартире и искренне недоумевает, почему вы не рады. А git bisect — ваш личный юрист, когда надо найти того единственного виноватого в коммитах.
Вот история о том, как крошечное изменение в зависимостях устроило тихий ужас в мире pandas.
🐼В репозитории pandas-dev/pandas есть коммит 9cd5e55. Его цель — перевести сборку на NumPy 2.0 rc. На первый взгляд это инфраструктурное обновление, но именно оно стало причиной обсуждения в issue «Potential regression induced by commit 9cd5e55».
В диффе почти нет изменений кода. Просто вместо зависимостей на numpy>=1.22.4 и numpy 1.26.* появились ссылки на numpy>=2.0.0rc1. Однако такие минимальные изменения могут повлиять на весь стек. NumPy 2.0 rc изменяет работу ufunc, диспетчеризацию и представление типов. Для pandas это означает потенциальные регрессии в groupby, value_counts, индексации, конвертациях и строках на базе pyarrow.
Чтобы почувствовать разницу, достаточно замерить выполнение нескольких операций. На pandas 2.2.1 и numpy 1.26.4 операции value_counts или groupby.mean отрабатывают стабильно. На pandas с numpy 2.0 rc результаты могут быть медленнее или вести себя иначе. Похожая история возникала и с соседним коммитом 924f246, где изменения в форматировании вывода неожиданно ломали тесты.
🫚 Корень проблемы прост. Обновление зависимости без изменения кода библиотеки влечёт изменение поведения самой библиотеки. Ловить такие ситуации можно через тесты производительности, прогон матрицы версий зависимостей и использование git bisect для отслеживания первых проблемных версий.
👀 История этого коммита хорошо показывает, как один на вид безобидный шаг в сторону новой версии NumPy может вызвать регрессии во всей экосистеме. NumPy 2.0 — это как новый сосед, который переставил всю мебель в вашей квартире и искренне недоумевает, почему вы не рады. А git bisect — ваш личный юрист, когда надо найти того единственного виноватого в коммитах.
1👍9❤5⚡3
Инструмент недели. Optuna — автоматический тюнинг гиперпараметров
😰 Подбирать гиперпараметры вручную — квест. Сидишь в ноутбуке, крутишь learning rate туда-сюда, меняешь регуляризации, ждёшь … и всё ради того, чтобы «а вдруг заработает лучше».
Optuna снимает эту боль. Он сам перебирает параметры с умом. Использует современные алгоритмы оптимизации, чтобы быстрее прийти к рабочему сочетанию (TPE (Tree-structured Parzen Estimator) – основной алгоритм Optuna. Это байесовская оптимизация, где строятся вероятностные модели распределений «хороших» и «плохих» гиперпараметров, а новые кандидаты выбираются так, чтобы чаще пробовать _promising regions_ (- рука не поднимается переводить термин. Может, надо побольше про такие алгоритмы?)). И что круто — работает почти со всеми популярными ML-фреймворками (PyTorch, TensorFlow, XGBoost, LightGBM и даже scikit-learn).
🍒 Плюс он не просто подбирает числа в фоне. Можно сразу смотреть красивые графики, отслеживать, как идут эксперименты, запускать несколько прогонов параллельно и даже подключать всё это в продакшен, если проект вырос до серьёзных масштабов.
Конечно, у Optuna есть конкуренты — например, Ray Tune для распределённых задач или MLflow, который тащит на себе весь ML-процесс от логирования до деплоя. Но Optuna берёт именно простотой и удобством. Если вы на МЛ-старте, то это та самая точка сходимости на кривой код-польза - "минимум кода/максимум пользы".
Чем полезен:
- Ускоряет эксперименты.
- Легко подключается к ML-проекту.
- Визуализации (
- Используется и в исследовательских проектах, и в продакшне.
Коротко про ближайших "конкурентов":
- Optuna. Удобство + визуализации + гибкость.
- Ray Tune. Если нужно масштабировать на кластеры.
- MLflow. Для end-to-end ML-процессов. Есть еще и ClearML, но вообще это все немного другая история. Более глобальная что ли.
- Hyperopt / skopt. Тоже рабочие варианты, может, позже остановимся поподробнее. Менее удобный интерфейс.
😰 Подбирать гиперпараметры вручную — квест. Сидишь в ноутбуке, крутишь learning rate туда-сюда, меняешь регуляризации, ждёшь … и всё ради того, чтобы «а вдруг заработает лучше».
Optuna снимает эту боль. Он сам перебирает параметры с умом. Использует современные алгоритмы оптимизации, чтобы быстрее прийти к рабочему сочетанию (TPE (Tree-structured Parzen Estimator) – основной алгоритм Optuna. Это байесовская оптимизация, где строятся вероятностные модели распределений «хороших» и «плохих» гиперпараметров, а новые кандидаты выбираются так, чтобы чаще пробовать _promising regions_ (- рука не поднимается переводить термин. Может, надо побольше про такие алгоритмы?)). И что круто — работает почти со всеми популярными ML-фреймворками (PyTorch, TensorFlow, XGBoost, LightGBM и даже scikit-learn).
🍒 Плюс он не просто подбирает числа в фоне. Можно сразу смотреть красивые графики, отслеживать, как идут эксперименты, запускать несколько прогонов параллельно и даже подключать всё это в продакшен, если проект вырос до серьёзных масштабов.
Конечно, у Optuna есть конкуренты — например, Ray Tune для распределённых задач или MLflow, который тащит на себе весь ML-процесс от логирования до деплоя. Но Optuna берёт именно простотой и удобством. Если вы на МЛ-старте, то это та самая точка сходимости на кривой код-польза - "минимум кода/максимум пользы".
Чем полезен:
- Ускоряет эксперименты.
- Легко подключается к ML-проекту.
- Визуализации (
optuna.visualization) помогают понять, какие параметры реально важны.- Используется и в исследовательских проектах, и в продакшне.
Коротко про ближайших "конкурентов":
- Optuna. Удобство + визуализации + гибкость.
- Ray Tune. Если нужно масштабировать на кластеры.
- MLflow. Для end-to-end ML-процессов. Есть еще и ClearML, но вообще это все немного другая история. Более глобальная что ли.
- Hyperopt / skopt. Тоже рабочие варианты, может, позже остановимся поподробнее. Менее удобный интерфейс.
8❤8👍5⚡2🙏2
Как быстро найти секреты и токены в чужом репозитории
Иногда попадается репозиторий, где авторы по невнимательности оставили что-то лишнее — API-ключи, токены или пароли. Проверить это можно буквально за пару минут.
👉 Самый быстрый способ — поиск по истории Git с помощью trufflehog или gitleaks.
Инструмент пробежится по истории коммитов и выдаст все подозрительные строки (от AWS-токенов до приватных ключей).
Оба инструмента поддерживают кастомные правила (regex) и умеют проверять не только открытые репозитории, но и приватные (если есть доступ).
⚡️ Лайфхак: если нужно быстро — можно даже без установки:
Используйте это этичнo — для своих проектов или при аудитах по согласию. Находить секреты в чужом коде без разрешения ≠ good practice.
Иногда попадается репозиторий, где авторы по невнимательности оставили что-то лишнее — API-ключи, токены или пароли. Проверить это можно буквально за пару минут.
👉 Самый быстрый способ — поиск по истории Git с помощью trufflehog или gitleaks.
Инструмент пробежится по истории коммитов и выдаст все подозрительные строки (от AWS-токенов до приватных ключей).
Оба инструмента поддерживают кастомные правила (regex) и умеют проверять не только открытые репозитории, но и приватные (если есть доступ).
⚡️ Лайфхак: если нужно быстро — можно даже без установки:
git clone https://github.com/username/repo.git
cd repo
grep -r "api_key" .
Используйте это этичнo — для своих проектов или при аудитах по согласию. Находить секреты в чужом коде без разрешения ≠ good practice.
👍9❤4🤩2
🤖🔥⚡️CVE-2025-50733
1. 📌 NextChat под атакой, XSS через AI-ответы — теперь ваш чат может шпионить за вами!
2. ✍️ Представьте, что вы просто болтаете с AI, а он — оп, и подсовывает вам вредоносный HTML прямо в интерфейс. Всё из-за того, что NextChat рендерит ответы бота в iframe с «allow-scripts» и без нормальной чистки кода. Итог — злоумышленник может вытащить ваши API-ключи, сессии и вообще всё, что плохо лежит в localStorage. Так что, ребята, не доверяйте даже своему любимому боту — он может быть не так уж и безобиден!
Подробнее про дыру — тут .
1. 📌 NextChat под атакой, XSS через AI-ответы — теперь ваш чат может шпионить за вами!
2. ✍️ Представьте, что вы просто болтаете с AI, а он — оп, и подсовывает вам вредоносный HTML прямо в интерфейс. Всё из-за того, что NextChat рендерит ответы бота в iframe с «allow-scripts» и без нормальной чистки кода. Итог — злоумышленник может вытащить ваши API-ключи, сессии и вообще всё, что плохо лежит в localStorage. Так что, ребята, не доверяйте даже своему любимому боту — он может быть не так уж и безобиден!
Подробнее про дыру — тут .
7🔥10👍5🤩3🤗1
Ошибка в проде. Альтернативная история SQL-инъекции в ML-проекте
🙈 Когда работаешь с ML-кодом, думаешь про модели, данные и метрики. А вот про безопасность — не всегда. И иногда это выливается в забавные (и не очень) истории. А вот как одна «безобидная» строчка SQL внезапно открывает дверь ко всем экспериментам и моделям проекта.
Мини-история
В OSS-трекере экспериментов добавили поиск по имени 💁. Быстро, «наколенке», через f-string — и поехали на прод. Дальше кто-то закинул в параметр имени "' OR '1'='1", и эндпоинт радостно вернул все записи. Классический SQLi.
Как нужно было
К чему это приводит (по OWASP и практике)
- вытащить и массово слить данные (эксперименты, метрики, привязанные токены/секреты);
- менять или удалять записи (ломая историю экспериментов и артефактов);
- эскалировать привилегии и в отдельных конфигурациях захватывать контроль над БД/сервисом.
Почему это не «теория»
JFrog последовательно показывает, что open-source ML-стек и MLOps-платформы нередко уязвимы. начиная с серверной части и до клиентов и пайплайнов. Их серия исследований фиксирует десятки багов в популярных ML-проектах и сервисах вокруг них — отличный разбор attack-surface и ошибок реализации. Вы все еще не настороже? Тогда злоумышленники идут к вам🧍🏻♂️🫵🚶🏻♂️➡️🚶🏻♂️➡️🚶🏻♂️➡️
Что делать прямо сегодня? Ваши варианты. Я начну
1.
2.
3.
4. Негативные тесты. Пробуем "' OR '1'='1" и прочие пэйлоады.
🙈 Когда работаешь с ML-кодом, думаешь про модели, данные и метрики. А вот про безопасность — не всегда. И иногда это выливается в забавные (и не очень) истории. А вот как одна «безобидная» строчка SQL внезапно открывает дверь ко всем экспериментам и моделям проекта.
Мини-история
В OSS-трекере экспериментов добавили поиск по имени 💁. Быстро, «наколенке», через f-string — и поехали на прод. Дальше кто-то закинул в параметр имени "' OR '1'='1", и эндпоинт радостно вернул все записи. Классический SQLi.
def find_experiment(name: str):
# ⚠️ конкатенация параметра прямо в SQL
query = f"SELECT * FROM experiments WHERE name = '{name}'" # <---уязвимость здесь
return cursor.execute(query).fetchall()
Как нужно было
python
python
def find_experiment(name: str):
return cursor.execute(
"SELECT * FROM experiments WHERE name = ?",
(name,)
).fetchall()
К чему это приводит (по OWASP и практике)
- вытащить и массово слить данные (эксперименты, метрики, привязанные токены/секреты);
- менять или удалять записи (ломая историю экспериментов и артефактов);
- эскалировать привилегии и в отдельных конфигурациях захватывать контроль над БД/сервисом.
Почему это не «теория»
JFrog последовательно показывает, что open-source ML-стек и MLOps-платформы нередко уязвимы. начиная с серверной части и до клиентов и пайплайнов. Их серия исследований фиксирует десятки багов в популярных ML-проектах и сервисах вокруг них — отличный разбор attack-surface и ошибок реализации. Вы все еще не настороже? Тогда злоумышленники идут к вам🧍🏻♂️🫵🚶🏻♂️➡️🚶🏻♂️➡️🚶🏻♂️➡️
Что делать прямо сегодня? Ваши варианты. Я начну
1.
2.
3.
4. Негативные тесты. Пробуем "' OR '1'='1" и прочие пэйлоады.
cheatsheetseries.owasp.org
SQL Injection Prevention - OWASP Cheat Sheet Series
Website with the collection of all the cheat sheets of the project.
10🔥11👍6👏2
Practical NLP без воды, только репозитории
Practical Natural Language Processing: A Comprehensive Guide to Building Real-World NLP Systems (O’Reilly, 2020) — практическое руководство по построению продакшн-NLP: от постановки задачи и сбора данных до оценки, деплоя и MLOps. Книга полезная, сокращает разрыв между академическими методами и реальными продуктами, показывает trade-offs и типовые пайплайны для задач классификации, извлечения информации, чат-ботов и прикладных доменов (соцсети, e-commerce/retail, здравоохранение, финансы, право). Но читать ее некогда да и интереснее, конечно ,
💀 наличие нотубуков для моментального практического погружения:
* practical-nlp/practical-nlp-code — официальный код к книге. Отличная отправная точка для воспроизведения примеров. Заимствуй с умом, помни про особенности датасета и предварительного анализа данных!
* practical-nlp/practical-nlp-figures — цветные иллюстрации из книги (то, чего часто не хватает в печатной версии).
* nishkalavallabhi/practicalnlp — «глава-за-главой» ноутбуки от соавтора; удобные кнопки для запуска в Colab/nbviewer. Хорошая альтернатива основному репо, если хотите быстро потыкать примеры.
Practical Natural Language Processing: A Comprehensive Guide to Building Real-World NLP Systems (O’Reilly, 2020) — практическое руководство по построению продакшн-NLP: от постановки задачи и сбора данных до оценки, деплоя и MLOps. Книга полезная, сокращает разрыв между академическими методами и реальными продуктами, показывает trade-offs и типовые пайплайны для задач классификации, извлечения информации, чат-ботов и прикладных доменов (соцсети, e-commerce/retail, здравоохранение, финансы, право). Но читать ее некогда да и интереснее, конечно ,
💀 наличие нотубуков для моментального практического погружения:
* practical-nlp/practical-nlp-code — официальный код к книге. Отличная отправная точка для воспроизведения примеров. Заимствуй с умом, помни про особенности датасета и предварительного анализа данных!
* practical-nlp/practical-nlp-figures — цветные иллюстрации из книги (то, чего часто не хватает в печатной версии).
* nishkalavallabhi/practicalnlp — «глава-за-главой» ноутбуки от соавтора; удобные кнопки для запуска в Colab/nbviewer. Хорошая альтернатива основному репо, если хотите быстро потыкать примеры.
9🔥10👍4❤3🤯1
🛠️ Инструмент недели. SpaCy - промышленный NLP
💫 Если нужен продакшен-уровень NLP на Python, spaCy - осознанный выбор. Это бесплатная open-source библиотека под MIT-лицензией, рассчитанная именно на боевое применение. Из коробки идут предобученные пайплайны, поддержка токенизации и обучения для 70+ языков и вагон готовых моделей (на которых как минимум можно прокачать насмотренность, и как максимум - свои тулы по поиску уязвимостей).
🧠 Библиотека сочетает очень высокую скорость с нейросетевыми компонентами для разметки частей речи, синтаксического анализа, распознавания сущностей, классификации текста и других задач. Можно обучать мультизадачные пайплайны с предобученными трансформерами вроде BERT, а продакшен-цикл закрывается удобной упаковкой моделей, деплоем и управлением рабочими процессами. Есть визуализаторы синтаксиса и NER, поддержка своих компонентов и атрибутов, а также подключение кастомных моделей на PyTorch или TensorFlow. В генерацию «с нуля» spaCy не целится — это про обработку и извлечение информации из больших массивов текста — зато в роли надёжного кирпича для RAG (родненький, куда без него), извлечения данных из документов (пу-пу-пу, тут и поиск сенситив дата, на заметку!), логов и тикетов, пред-/пост-обработки вокруг LLM справляется.
Короткий пример на русском
Представь новость: «В 2025 году OpenAI открыла офис в Берлине».
NER автоматически извлекает из текста даты, организации и локации. Выделяет именно куски текста (spans, спаны) и подписывает их типами — DATE, ORG, LOC. Дальше это превращается в поля в базе:
И так, загружаем среднего размера русскую модель, запускаем пайплайн и извлекаем сущности; в ответе - географические названия и организация.
Вывод у меня сейчас такой (проверяй):
Установка занимает минуту:
Если увидите предупреждение о несовместимости версии модели и библиотеки, просто обновите spaCy до 3.8.0 и перекачайте модель теми же командами — это уберёт лишний шум и синхронизирует компоненты.
#ИнструментНедели #spaCy #NLP #RAG #MLOps #DataEngineering
💫 Если нужен продакшен-уровень NLP на Python, spaCy - осознанный выбор. Это бесплатная open-source библиотека под MIT-лицензией, рассчитанная именно на боевое применение. Из коробки идут предобученные пайплайны, поддержка токенизации и обучения для 70+ языков и вагон готовых моделей (на которых как минимум можно прокачать насмотренность, и как максимум - свои тулы по поиску уязвимостей).
🧠 Библиотека сочетает очень высокую скорость с нейросетевыми компонентами для разметки частей речи, синтаксического анализа, распознавания сущностей, классификации текста и других задач. Можно обучать мультизадачные пайплайны с предобученными трансформерами вроде BERT, а продакшен-цикл закрывается удобной упаковкой моделей, деплоем и управлением рабочими процессами. Есть визуализаторы синтаксиса и NER, поддержка своих компонентов и атрибутов, а также подключение кастомных моделей на PyTorch или TensorFlow. В генерацию «с нуля» spaCy не целится — это про обработку и извлечение информации из больших массивов текста — зато в роли надёжного кирпича для RAG (родненький, куда без него), извлечения данных из документов (пу-пу-пу, тут и поиск сенситив дата, на заметку!), логов и тикетов, пред-/пост-обработки вокруг LLM справляется.
Короткий пример на русском
Представь новость: «В 2025 году OpenAI открыла офис в Берлине».
NER автоматически извлекает из текста даты, организации и локации. Выделяет именно куски текста (spans, спаны) и подписывает их типами — DATE, ORG, LOC. Дальше это превращается в поля в базе:
date=2025, org=OpenAI, city=Берлин. Нужен другой домен? В тексте «Вендор X выпустил v1.2.3 для продукта Y» NER даёт ORG/PRODUCT, а простым правилом добавляешь VERSION — и вот у тебя структура для отчёта или поиска. Смысл в том, что при любом «плавающем» языке — письма, заявки, коммиты, новости — ты перестаёшь писать хрупкие регексы и получаешь стабильные поля «кто/что/где/когда».И так, загружаем среднего размера русскую модель, запускаем пайплайн и извлекаем сущности; в ответе - географические названия и организация.
import spacy, sys
print("spaCy:", spacy.__version__)
print("python:", sys.executable)
nlp = spacy.load("ru_core_news_md") # можно начать и с ru_core_news_sm
print("pipe:", nlp.pipe_names)
doc = nlp("Москва — столица России. В 2025 году OpenAI открыла офис в Берлине.")
print("ents:", [(e.text, e.label_) for e in doc.ents])
Вывод у меня сейчас такой (проверяй):
spaCy: 3.7.6
python: /Users/okmlai/anaconda3/bin/python
pipe: ['tok2vec', 'morphologizer', 'parser', 'attribute_ruler', 'lemmatizer', 'ner']
ents: [('Москва', 'LOC'), ('России', 'LOC'), ('OpenAI', 'ORG'), ('Берлине', 'LOC')]
Установка занимает минуту:
pip install -U spacy
python -m spacy download ru_core_news_md
Если увидите предупреждение о несовместимости версии модели и библиотеки, просто обновите spaCy до 3.8.0 и перекачайте модель теми же командами — это уберёт лишний шум и синхронизирует компоненты.
#ИнструментНедели #spaCy #NLP #RAG #MLOps #DataEngineering
15🔥12❤5🥰4💯3👍2
4 секрета Roboduck. Как Theori взяли AIxCC и бустанули хакеров х10 🚀🚀🚀
Что ты представляешь, когда слышишь о системе, которая способна обнаруживать уязвимости, создавать эксплоиты, а также сразу выпускать патчи, устраняющие дыры прошлого? Theori, команда участвовавшая в соревновании AI Cyber Challenge попыталась решить эту сложную задачу, представив автономную CRS(Cyber Reasoning System) - RoboDuck. В этой системе используются агенты, но не как аддон, а как основа.
Почему система оказалась эффективной и почему получилось дополнить основу революции агентов в кибербезе?
🧩Секрет № 1. Разбивайте задачу на части, как пазл.
Главная идея - не тащить все одним супер-агентом. Делим на подзадачи и даем разным агентам. Представьте лабиринт: чем он больше, тем больше тупиков, логично? А теперь, что вместо одного огромного лабиринта у вас есть серия маленьких? Шансы найти выход резко возрастают!
Для генерации Proof of Vulnerability(PoV) команда выделила три подзадачи:
1. Анализ fuzz-harness и написание кода для преобразования семантики в бинарщину.
2. Ответы на точечные вопросы по коду.
3. Отладка готового PoV, чтобы понять почему эксплоит не срабатывает.
Каждую подзадачу вёл отдельный агент, а главный агент собирал результат в цельную картину.
⚒️Секрет №2. «Не все инструменты сразу - только нужные»
В ходе разработки решения команда обнаружила, что если агенту дозволено делать абсолютно всё, начинается хаос:
1. Агент может запустить прожорливую команду, которая съест все ресурсы (грепанём по всему коду в Линуксе🙃 )
2. Контекст засоряется - фокус теряется.
3. Простые задачи вдруг начинают требовать множества шагов🤢 ..
Что сделали Theori ??? Они создали узкоспециализированные тулы: для поиска строки, для чтения фрагмента кода и для извлечения отдельных символов из кода. Плюс сами инструменты имели guardrails, которые могли сужать промпт в случае получения большого количества результатов.🤔
⛓️Секрет №3. Структурированный вывод от эксперта.
Как получить из агента не «простынь», а структурированный вывод/результат. Theori делится с нами двумя способами:
- Сперва дайте агенту схему вывода в XML и прямо попросите, чтобы он оформлял ответ в XML тегах. Модели хорошо их понимают.
- Далее создайте отдельный тул, который будет завершать работу агента, - своеобразная кнопка "Готово" с полями для заполнения😕 . Когда параметры вызова совпадают с финальным результатом — агент аккуратно завершает работу без болтовни.
🎚️Секрет №последний, 4: Подстраивайтесь под особенности моделей😮
Игнорирование факта что все LLM разные = неудача = ловить одни и те же фейлы. Команда обнаружила, что если агент делает одну и ту же ошибку, то лучше добавить в промпт запрещалку. Claude отлично следует этим запрещалкам😎 - он любит когда ему что-то запрещают. Если агент застревает, то надо попросить его «подумать иначе» и сменить стратегию.
В соревновании это выстрелило, когда агент PoVProducer не смог создать пригодный эксплоит, но правила смогли дать нужный результат.
Как пишут в Theori: "Хотя ИИ ещё не заменит хакера, он уже делает его в 10 раз эффективнее".
🧨А с этими секретами го разрабатывать агентов для своих задач!😺
Что ты представляешь, когда слышишь о системе, которая способна обнаруживать уязвимости, создавать эксплоиты, а также сразу выпускать патчи, устраняющие дыры прошлого? Theori, команда участвовавшая в соревновании AI Cyber Challenge попыталась решить эту сложную задачу, представив автономную CRS(Cyber Reasoning System) - RoboDuck. В этой системе используются агенты, но не как аддон, а как основа.
Почему система оказалась эффективной и почему получилось дополнить основу революции агентов в кибербезе?
🧩Секрет № 1. Разбивайте задачу на части, как пазл.
Главная идея - не тащить все одним супер-агентом. Делим на подзадачи и даем разным агентам. Представьте лабиринт: чем он больше, тем больше тупиков, логично? А теперь, что вместо одного огромного лабиринта у вас есть серия маленьких? Шансы найти выход резко возрастают!
Для генерации Proof of Vulnerability(PoV) команда выделила три подзадачи:
1. Анализ fuzz-harness и написание кода для преобразования семантики в бинарщину.
2. Ответы на точечные вопросы по коду.
3. Отладка готового PoV, чтобы понять почему эксплоит не срабатывает.
Каждую подзадачу вёл отдельный агент, а главный агент собирал результат в цельную картину.
⚒️Секрет №2. «Не все инструменты сразу - только нужные»
В ходе разработки решения команда обнаружила, что если агенту дозволено делать абсолютно всё, начинается хаос:
1. Агент может запустить прожорливую команду, которая съест все ресурсы (грепанём по всему коду в Линуксе
2. Контекст засоряется - фокус теряется.
3. Простые задачи вдруг начинают требовать множества шагов
Что сделали Theori ??? Они создали узкоспециализированные тулы: для поиска строки, для чтения фрагмента кода и для извлечения отдельных символов из кода. Плюс сами инструменты имели guardrails, которые могли сужать промпт в случае получения большого количества результатов.
⛓️Секрет №3. Структурированный вывод от эксперта.
Как получить из агента не «простынь», а структурированный вывод/результат. Theori делится с нами двумя способами:
- Сперва дайте агенту схему вывода в XML и прямо попросите, чтобы он оформлял ответ в XML тегах. Модели хорошо их понимают.
- Далее создайте отдельный тул, который будет завершать работу агента, - своеобразная кнопка "Готово" с полями для заполнения
🎚️Секрет №последний, 4: Подстраивайтесь под особенности моделей
Игнорирование факта что все LLM разные = неудача = ловить одни и те же фейлы. Команда обнаружила, что если агент делает одну и ту же ошибку, то лучше добавить в промпт запрещалку. Claude отлично следует этим запрещалкам
В соревновании это выстрелило, когда агент PoVProducer не смог создать пригодный эксплоит, но правила смогли дать нужный результат.
Как пишут в Theori: "Хотя ИИ ещё не заменит хакера, он уже делает его в 10 раз эффективнее".
🧨А с этими секретами го разрабатывать агентов для своих задач!
Please open Telegram to view this post
VIEW IN TELEGRAM
11❤15🔥5🥰3👍1😁1