Заметки LLM-энтузиаста
704 subscribers
170 photos
24 videos
1 file
207 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
🔧 Новый подход к оптимизации MCP-агентов от Anthropic

Команда Anthropic Engineering пару дней назад опубликовала интересную статью, посвященную решению двух основных проблем MCP-агентов: высокой стоимости токенов и задержек.

Суть проблемы:
Все определения инструментов загружаются в контекст заранее, а каждый промежуточный результат требует обращения к модели, даже при простом перемещении данных.

Предложенное решение:
Представить MCP-серверы как код-API в файловой структуре, дать агенту среду выполнения кода и позволить ему писать программы для взаимодействия с инструментами. Так уже некоторое время назад поступает Manus (см. заметку и более подробный интерактивный транскрипт)

Ключевые преимущества:

🔄 Прогрессивная (постепенная) загрузка инструментов
Агент исследует файловое дерево серверов по требованию, загружая только нужные определения инструментов

📊 Фильтрация данных в среде выполнения
Обработка больших датасетов непосредственно в коде. Из 10,000 строк таблицы агент видит только 5 отфильтрованных записей

⚡️ Управление потоком действий без трат токенов
Циклы, условия и обработка ошибок выполняются как код, а не цепочки отдельных вызовов инструментов

🔒 Приватные потоки данных
Промежуточные результаты остаются в среде выполнения, модель видит только то, что явно логируется

💾 Постоянные навыки и состояние
Сохранение рабочего кода как переиспользуемых функций в директории ./skills/

Сравнение с Cloudflare Code Mode:

1️⃣ Обнаружение инструментов:
• Cloudflare: загружает все TypeScript определения заранее
• Anthropic: файловая система с прогрессивным раскрытием

2️⃣ Эффективность контекста:
• Cloudflare: определения типов загружаются изначально
• Anthropic: сокращение токенов на 98.7% за счет загрузки только необходимых определений

3️⃣ Применение:
• Cloudflare: готовая инфраструктура на их платформе
• Anthropic: кастомные архитектуры агентов с акцентом на эффективность

Подход использует сильные стороны LLM (написание кода) для устранения их слабостей (управление контекстным окном).

Источники:
📖 [Оригинальная статья Anthropic]
🔗 [Cloudflare Code Mode]

Также подготовил для вас:
🌐 [Интерактивный гайд на русском языке]

@llm_notes

#mcp #anthropic #ai #agents #optimization #llm_efficiency
👍31