Новость N2.

#langchain #langsmith #news

Компания Langchain выпустила LangSmith - платформу для отладки, тестирования и мониторинга LLM-приложений в промышленных инсталляциях

Этот шаг стал быстрым ответом на основные жалобы разработчиков, в том числе:
* Понимание того, что именно представляет собой финальный запрос на вызов LLM (после всего форматирования шаблона запроса этот финальный запрос может быть длинным и запутанным)
* Понимание того, что именно возвращается из вызова LLM на каждом шаге (до пост-обработки или какого-либо преобразования)
* Понимание точной последовательности обращений к LLM (или другим ресурсам), а также того, как они связаны между собой
* Отслеживание использования токенов
* Управление затратами
* Отслеживание (и отладка) задержек
* Отсутствие хорошего набора данных для оценки приложения
* Отсутствие хороших метрик для оценки приложения
* Понимание того, как пользователи взаимодействуют с продуктом.

Подробнее можно прочитать здесь: https://blog.langchain.dev/announcing-langsmith/

#langchain #llama2 #news

Вышел релиз LLaMA-2 с окном контекста 32k
https://together.ai/blog/llama-2-7b-32k
"Fine-tune the model for targeted, long-context tasks—such as multi-document understanding, summarization, and QA"
"Тонкая настройка модели для решения целевых задач с длинным контекстом, таких как работа с многодокументными текстами, обобщение и QA".
Похоже именно эта LLM модель сейчас самый лучший opensource вариант для решения задачи осмысленной работы с документами произвольной длины

LangGraph Platform — это, пожалуй, самый простой способ разрабатывать, разворачивать и управлять долгоиграющими агентами с сохранением состояния. Он может использоваться независимо от других продуктов LangChain или в сочетании с ними для обеспечения плавного перехода от фазы сборки к продакшну.

Интересно, сколько компаний сейчас действительно нуждаются в такой сложной инфраструктуре для агентов? 🤔 Но если вы из их числа — возможно, стоит взглянуть.

Источники:

• https://blog.langchain.dev/langgraph-platform-ga/
• https://www.youtube.com/watch?v=YWVuBLSbNWE
• https://langchain-ai.github.io/langgraph/concepts/langgraph_studio/
• https://langchain-ai.github.io/langgraph/concepts/deployment_options/

#LangGraphPlatform #агенты #LangChain #ИнфраструктураИИ #DevOps #agents

Open Agent Platform от LangChain: создавайте умных агентов, а не бэкенд 🤖

Привет, друзья! Сегодня хотел обратить ваше внимание на новую платформу от LangChain, которая обещает избавить нас от написания тонны кода для создания AI-агентов.

Я до этого пробовал https://chai.new/ (по сути bolt.new но для агентов, построенный на базе фреймворка https://langbase.com ) и CrewAI Studio - очень удобно, ничего не нужно устанавливать локально, вся мульти-агентная система "собирается" простым текстовым описанием на русском языке. На выходе вы получаете и схему, и работающий код. В случае с CrewAI есть потенциальная возможность превратить созданную мульти-агентную систему в MCP-сервер при помощи automcp. А в случае с langbase для этой цели проще всего использовать https://mcpify.ai/ которому в принципе пофигу какой код или текстовое описание "превращать" в MCP сервер, чуть ранее писал об этом, классный инструмент, но недостаток в том, что кодовую базу MCP сервера вы уже не контроллируете).

Но Langchain решили сделать платформу где агентные и мульти-агентные системы
создаются без написания кода по аналогии как это происходит сейчас во Flowise (только во Flowise, на мой взгляд, все выглядит симпатичнее, но зато у Langchain система работает на базе Langgraph)

Итак Open Agent Platform (OAP) — это веб-интерфейс для создания и управления LangGraph-агентами без необходимости писать код. Идея супер, особенно если вы уже устали от бесконечных строк на Python.

Что умеет эта платформа? 📋

Заявлено следующее:
• Управление агентами: создание, настройка и общение через браузерный интерфейс
• Интеграция с RAG: поддержка retrieval-augmented generation через LangConnect
• Инструменты MCP: подключение к внешним сервисам через HTTP MCP сервер
• Мульти-агентная оркестрация: один агент может управлять другими
• Аутентификация: встроенная поддержка Supabase (можно заменить своим решением, что по-моему и стоит сделать сразу, т.к. если у вас Pro подписка на Supabase, то даже самый мелкий проект будет стоить +$10 в месяц)

Детали архитектуры здесь

По описанию, OAP выглядит как неплохой инструмент для тех, кто хочет быстро прототипировать агентов без глубокого погружения в LangChain API. Но не ждите чудес — это всё ещё молодая технология со своими ограничениями. А первоначальная настройка и запуск могли бы быть и попроще. Если кто еще пробовал установку по инструкции поделитесь своими впечатлениями в комментариях.

Демонстрацию работы можно посмотреть здесь
Транскрипт демки тут.

#ai #langchain #agents #nocode #developer_tools

🧠 Контекст-инжиниринг для AI-агентов: 5 ключевых принципов

На выходных посмотрел очень интересный видео-подкаст с участием Лэнса Мартина из LangChain (автора самой популярной открытой версии Deep Research), в котором обсуждались вопросы управления контекстом в агентах - искусство давать LLM ровно тот контекст, который нужен для следующего агентного шага 🎯 Не обошлось и без сравнения моно- и мульти-агентных подходов (см. заметку)

Ниже привожу краткие тезисы, а на скрепке подготовил видео-нарезку основных тезисов с субтитрами на русском языке (8 минут).
Более полная интерактивная версия конспекта доступна по ссылке (а классический вариант конспекта здесь)

🔧 Пять столпов контекст-инжиниринга:

1️⃣ Offloading (Выгрузка)
• Не тащить всё в контекст — сохранять данные отдельно
• В историю записывать краткие сводки с возможностью подгрузки
• Экономия токенов и денег 💰

2️⃣ Context Isolation (Изоляция)
• Мультиагенты хороши для "чтения", один агент — для "письма"
• Параллельные задачи изолировать, связанные — объединять

3️⃣ Retrieval (Извлечение)
• llm.txt с качественными описаниями часто лучше сложного RAG
• Агентный поиск без индексации может превосходить векторный поиск
• Ключ успеха — хорошие описания файлов 📝

4️⃣ Reducing Context (Сжатие)
• Суммаризация на границах инструментов
• Баланс между экономией токенов и потерей информации
• Сохранять возможность восстановить исходник

5️⃣ Caching (Кеширование)
• Снижает стоимость и задержки
• Не решает проблему "context rot" от длинного контекста ⚠️

🔍 Context rot — деградация качества ответов LLM при слишком длинном контексте. Модель "теряется" в большом объёме информации и хуже понимает, что важно для текущей задачи 📉

💡 Практические инсайты:

• Работа с памятью через человека — пользователь явно сохраняет важное, система учится предпочтениям
• Горький урок AI — используй структурный подход сегодня, но будь готов отказаться от него завтра
• MCP-стандарты снижают когнитивную нагрузку

⚡️ Золотые правила:
• Избегай наивного накопления всего контекста
• Качественная суммаризация лучше агрессивного сжатия
• Простые решения часто превосходят сложные
• Фреймворки должны легко "разбираться"

Философия: "Добавляй структуру, чтобы работало сегодня, и будь готов отказаться от нее завтра" 🚀

P.S. мне также очень понравились ссылки на дополнительные материалы в описании к ролику, некоторые из них я включил в эту заметку

@llm_notes

#context_engineering #agents #langchain #langgraph #llm_optimization