Media is too big
VIEW IN TELEGRAM
🧠 Контекст-инжиниринг для AI-агентов: 5 ключевых принципов
На выходных посмотрел очень интересный видео-подкаст с участием Лэнса Мартина из LangChain (автора самой популярной открытой версии Deep Research), в котором обсуждались вопросы управления контекстом в агентах - искусство давать LLM ровно тот контекст, который нужен для следующего агентного шага 🎯 Не обошлось и без сравнения моно- и мульти-агентных подходов (см. заметку)
Ниже привожу краткие тезисы, а на скрепке подготовил видео-нарезку основных тезисов с субтитрами на русском языке (8 минут).
Более полная интерактивная версия конспекта доступна по ссылке (а классический вариант конспекта здесь)
🔧 Пять столпов контекст-инжиниринга:
1️⃣ Offloading (Выгрузка)
• Не тащить всё в контекст — сохранять данные отдельно
• В историю записывать краткие сводки с возможностью подгрузки
• Экономия токенов и денег 💰
2️⃣ Context Isolation (Изоляция)
• Мультиагенты хороши для "чтения", один агент — для "письма"
• Параллельные задачи изолировать, связанные — объединять
3️⃣ Retrieval (Извлечение)
• llm.txt с качественными описаниями часто лучше сложного RAG
• Агентный поиск без индексации может превосходить векторный поиск
• Ключ успеха — хорошие описания файлов 📝
4️⃣ Reducing Context (Сжатие)
• Суммаризация на границах инструментов
• Баланс между экономией токенов и потерей информации
• Сохранять возможность восстановить исходник
5️⃣ Caching (Кеширование)
• Снижает стоимость и задержки
• Не решает проблему "context rot" от длинного контекста ⚠️
🔍 Context rot — деградация качества ответов LLM при слишком длинном контексте. Модель "теряется" в большом объёме информации и хуже понимает, что важно для текущей задачи 📉
💡 Практические инсайты:
• Работа с памятью через человека — пользователь явно сохраняет важное, система учится предпочтениям
• Горький урок AI — используй структурный подход сегодня, но будь готов отказаться от него завтра
• MCP-стандарты снижают когнитивную нагрузку
⚡️ Золотые правила:
• Избегай наивного накопления всего контекста
• Качественная суммаризация лучше агрессивного сжатия
• Простые решения часто превосходят сложные
• Фреймворки должны легко "разбираться"
Философия: "Добавляй структуру, чтобы работало сегодня, и будь готов отказаться от нее завтра" 🚀
P.S. мне также очень понравились ссылки на дополнительные материалы в описании к ролику, некоторые из них я включил в эту заметку
@llm_notes
#context_engineering #agents #langchain #langgraph #llm_optimization
На выходных посмотрел очень интересный видео-подкаст с участием Лэнса Мартина из LangChain (автора самой популярной открытой версии Deep Research), в котором обсуждались вопросы управления контекстом в агентах - искусство давать LLM ровно тот контекст, который нужен для следующего агентного шага 🎯 Не обошлось и без сравнения моно- и мульти-агентных подходов (см. заметку)
Ниже привожу краткие тезисы, а на скрепке подготовил видео-нарезку основных тезисов с субтитрами на русском языке (8 минут).
Более полная интерактивная версия конспекта доступна по ссылке (а классический вариант конспекта здесь)
🔧 Пять столпов контекст-инжиниринга:
1️⃣ Offloading (Выгрузка)
• Не тащить всё в контекст — сохранять данные отдельно
• В историю записывать краткие сводки с возможностью подгрузки
• Экономия токенов и денег 💰
2️⃣ Context Isolation (Изоляция)
• Мультиагенты хороши для "чтения", один агент — для "письма"
• Параллельные задачи изолировать, связанные — объединять
3️⃣ Retrieval (Извлечение)
• llm.txt с качественными описаниями часто лучше сложного RAG
• Агентный поиск без индексации может превосходить векторный поиск
• Ключ успеха — хорошие описания файлов 📝
4️⃣ Reducing Context (Сжатие)
• Суммаризация на границах инструментов
• Баланс между экономией токенов и потерей информации
• Сохранять возможность восстановить исходник
5️⃣ Caching (Кеширование)
• Снижает стоимость и задержки
• Не решает проблему "context rot" от длинного контекста ⚠️
🔍 Context rot — деградация качества ответов LLM при слишком длинном контексте. Модель "теряется" в большом объёме информации и хуже понимает, что важно для текущей задачи 📉
💡 Практические инсайты:
• Работа с памятью через человека — пользователь явно сохраняет важное, система учится предпочтениям
• Горький урок AI — используй структурный подход сегодня, но будь готов отказаться от него завтра
• MCP-стандарты снижают когнитивную нагрузку
⚡️ Золотые правила:
• Избегай наивного накопления всего контекста
• Качественная суммаризация лучше агрессивного сжатия
• Простые решения часто превосходят сложные
• Фреймворки должны легко "разбираться"
Философия: "Добавляй структуру, чтобы работало сегодня, и будь готов отказаться от нее завтра" 🚀
P.S. мне также очень понравились ссылки на дополнительные материалы в описании к ролику, некоторые из них я включил в эту заметку
@llm_notes
#context_engineering #agents #langchain #langgraph #llm_optimization
2🔥7❤1