Инструмент недели. OpenTelemetry и Langfuse для мультиагентных систем

Мультиагентка - это параллельные ветки, сложные наследованная задач, дорогие тулколлы и длинные диалоги, бессонные ночи, сонные дни, дедлайны, базы данных и невыразимая необходимость облегчить себе жизнь. И тут на помощь приходят инструменты недели! OpenTelemetry даёт сквозные распределённые трейсы, Langfuse - доменную оптику LLM (промпты, токены, стоимость, оценки). Вместе это превращает рой в наблюдаемый, управляемый и улучшаемый.

Зачем это всё?
🥇Трассировка графа, а не линейки. OTel склеивает весь DAG в один трейс, где сразу видны «узкие места», циклы и боль.
🥈Смысл LLM-вызовов. Langfuse показывает промпты/ответы, токены, стоимость, оценки, версии.
🥉Контроль бюджета и качества. A/B, эвалы, маршрутизация по моделям, быстрый откат.

Как это выглядит (См. картинки)
👌 Трейсы (OTel) mission.A vs mission.B — видно, что Audit стал короче, параллельные ветки Tool и Scout не блокируют критический путь.
👌 Generations (Langfuse) для каждого LLM-шага — input/output, usage (токены), «стоимость», метаданные агента/версии.

Как повторить за 10 минут
1. Отправляй OTLP на https://cloud.langfuse.com/api/public/otel (Basic Auth: public:secret).
2. Оборачивай шаги агентов в start_span(...).
3. Каждый LLM-вызов логируй как generation в Langfuse (input/output + usage).
4. Сравни mission.A (до) и mission.B (после) - сразу видно, где выиграли в p95 и бюджет.

Прикреплённые скрины:
🖼Traces & Costs - обзор по трекам и расходам (отчёт Langfuse).
🖼Trace latency percentiles - p50/p90/p95 по трейсам и ключевым спанам.
🖼A/B таблица - сводка по агентам (ср. латентность, токены, стоимость) до/после.
🖼Цены на модели в настройках Langfuse). По умолчанию $$$ могут быть нулями, если не настроены модели. Нужно один раз занести цены и токенайзер.


TL;DR
Мультиагентные системы живут в графах, а не в линейных цепочках. OTel склеивает граф в единый трейс, Langfuse добавляет смысл (промпты, токены, стоимость, оценки). С этим дуэтом ты:
😏 быстрее находишь «узкие места» и циклы,
😏 держишь бюджет под контролем,
😏 системно улучшаешь качество через эвалы и сравнение версий.

Инструмент недели Hound 😠

Погоняли Hound - AI-аудитор кода, который строит адаптивные графы знаний и сам планирует анализ. 😳В основе решения - динамические, агент-управляемые графы, которые адаптируются к специфике кодовой базы, эффективное разделение на "scout" (легкие модели для исследования) и "strategist" (тяжелые модели для глубокого анализа), эволюционирующие гипотезы с оценкой уверенности и накоплением доказательств и мультипровайдерная поддержка LLM (OpenAI, Anthropic, Google Gemini, xAI с унифицированным интерфейсом). 🤣 Делюсь тест-результатами с контрактом на Solidity. Тестировали на упрощённом токене ERC-20 (SimpleToken).

Что делает Hound
Строит графы знаний по коду и рассуждает поверх них.  В отличие от статических AST или CFG, эти графы создаются и управляются AI-агентами в зависимости от специфики проекта.
Работает в двух ролях, быстрого обзора и гипотез - Scout (у нас гпт-4 мини), и глубокого анализа/мышления - Strategist (гпт-4). Экономия 🤑.
И в двух режимах, широким охватом - sweep, прицельно - intuition.

Типы графов 📊
1. SystemArchitecture (базовый граф). Автоматически создается первым для общей архитектуры системы, где узлы - модули, контракты, классы, функции, а ребра - зависимости, наследование, композиция.🆒
2. Специализированные графы📈 (создаются по необходимости):
Примеры специализированных графов:
- CallGraph - граф вызовов функций
- StateMutation - мутации состояния и переменных
- AuthorizationMap - роли и права доступа
- AssetFlow - потоки активов (mint/burn/transfer)
- PermissionChecks - проверки доступа
- ExternalDeps - внешние зависимости

Что он построил
Графы (узлы/рёбра):
SystemArchitecture — 30 / 34
AuthorizationMap — 25 / 32
PermissionChecks — 20 / 22
AssetFlow — 22 / 28
ReentrancyMap — 24 / 30

Что нашёл (из коробки, без рук, только магия ллм)
✅ Reentrancy в withdraw - внешний вызов до обновления состояния.
✅ Слабый доступ в emergencyWithdraw - отсутствуют строгие проверки.
✅ Нет проверки нулевого адреса при передаче прав/transfer.
✅ Mint без лимита - неограниченная эмиссия.
⚠️ Логическая уязвимость в deposit - поверхностная проверка, риск некорректного учёта.

Как это выглядит 😠
На скринах - ReentrancyMap (функции/ивенты/переменные как узлы, рёбра - вызовы/чтения/модификации) и отчет (без подтвержденных уязвимостей, тк не хватало ручного чека).

Зачем это нужно 😳
Hound хорош там, где важна структурная картина, это мощный приоритизатор, который быстро строит карту риска и подсказывает, куда тратить человеко-часы.

Потенциальные проблемы
😖 Качество зависит от модели! Результаты сильно зависят от качества используемых LLM
😖 Детерминизм (конечно) - может приводить к непредсказуемым результатам между запусками
😖 Ложные срабатывания, так как система гипотез может генерировать ложные позитивы, требующие ручной проверки
😖 Масштабируемость для крупных проектов, зависимость от внешних LLM и потенциально высокие операционные затраты.  Запуск GPT-4 на крупной кодовой базе для построения сложных графов может стать финансово неподъемным. Да и хватит ли контекста? 🚬

#web3 #security #smartcontracts #audit #AI #Hound

Все!
☝️