Заметки LLM-энтузиаста
671 subscribers
162 photos
24 videos
1 file
200 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
7 стратегий промптинга из "утечки" системного промпта Claude 4

Недавно в сети появился предполагаемый системный промпт Claude 4 объемом 10,000 слов. Независимо от его подлинности, документ содержит ценные принципы для создания эффективных промптов 📝

Я решил провести анализ этого системного промпта для Claude 4, используя Claude 4 :)
Вот здесь результат анализа
А тут универсальный промпт, который я использовал (формировал и улучшал его по методике, которую описывал чуть раньше).

Затем мне на глаза попалась интересная статья на medium про 7 стратегий промптинга, которые используются в системном промпте Claude 4
Что порадовало - выводы практически совпадают. Только мой промпт, выявил 6, а не 7 приемов. Ну и мне были интересны также рекомендации по улучшению имеющихся промптов от самой модели, которая должна им следовать :)

Ключевая идея: промпт — это не магическое заклинание, а конфигурационный файл операционной системы. 90% внимания уделяется предотвращению ошибок, и только 10% — желаемому результату.

Основные стратегии:

1️⃣ Якорение идентичности
Начинайте промпт с фиксированных фактов: идентичность модели, дата, основные возможности. Это снижает нагрузку на рабочую память и стабилизирует рассуждения.

2️⃣ Явные условные блоки
Используйте четкие конструкции "если X, то Y" для граничных случаев. Неопределенность приводит к непоследовательности — будьте конкретны.

3️⃣ Трехуровневая маршрутизация неопределенности
• Вечная информация → прямой ответ
• Медленно меняющаяся → ответ + предложение проверки
• Актуальная → немедленный поиск

4️⃣ Грамматика инструментов с контрпримерами
Показывайте как правильные, так и неправильные примеры использования API. Негативные примеры учат не хуже позитивных.

5️⃣ Бинарные правила стиля
Вместо размытых указаний ("будь краток") используйте четкие запреты ("никогда не начинай с лести", "никаких эмодзи без запроса").

6️⃣ Позиционное усиление
В длинных промптах повторяйте критические ограничения каждые 500 токенов — внимание модели ослабевает в длинном контексте.

7️⃣ Рефлексия после использования инструментов
Добавляйте паузу для "размышлений" после вызова функций. Это улучшает точность в многошаговых цепочках рассуждений 🤔 (то, что мой промпт-анализатор не обнаружил)

Практический вывод

Думайте о промптах как об операционных системах. Будьте точны в намерениях и не бойтесь "оборонительного программирования" — детально прописывайте, чего модель делать НЕ должна.

Декларативный подход "если X, всегда Y" часто эффективнее императивного "сначала X, потом Y" ⚡️

@llm_notes

#claude4 #ai_engineering #llm_optimization #prompt
6❤‍🔥3👍3
Media is too big
VIEW IN TELEGRAM
🧠 Контекст-инжиниринг для AI-агентов: 5 ключевых принципов

На выходных посмотрел очень интересный видео-подкаст с участием Лэнса Мартина из LangChain (автора самой популярной открытой версии Deep Research), в котором обсуждались вопросы управления контекстом в агентах - искусство давать LLM ровно тот контекст, который нужен для следующего агентного шага 🎯 Не обошлось и без сравнения моно- и мульти-агентных подходов (см. заметку)

Ниже привожу краткие тезисы, а на скрепке подготовил видео-нарезку основных тезисов с субтитрами на русском языке (8 минут).
Более полная интерактивная версия конспекта доступна по ссылке (а классический вариант конспекта здесь)

🔧 Пять столпов контекст-инжиниринга:

1️⃣ Offloading (Выгрузка)
• Не тащить всё в контекст — сохранять данные отдельно
• В историю записывать краткие сводки с возможностью подгрузки
• Экономия токенов и денег 💰

2️⃣ Context Isolation (Изоляция)
• Мультиагенты хороши для "чтения", один агент — для "письма"
• Параллельные задачи изолировать, связанные — объединять

3️⃣ Retrieval (Извлечение)
llm.txt с качественными описаниями часто лучше сложного RAG
• Агентный поиск без индексации может превосходить векторный поиск
• Ключ успеха — хорошие описания файлов 📝

4️⃣ Reducing Context (Сжатие)
• Суммаризация на границах инструментов
• Баланс между экономией токенов и потерей информации
• Сохранять возможность восстановить исходник

5️⃣ Caching (Кеширование)
• Снижает стоимость и задержки
• Не решает проблему "context rot" от длинного контекста ⚠️

🔍 Context rot — деградация качества ответов LLM при слишком длинном контексте. Модель "теряется" в большом объёме информации и хуже понимает, что важно для текущей задачи 📉

💡 Практические инсайты:

Работа с памятью через человека — пользователь явно сохраняет важное, система учится предпочтениям
Горький урок AI — используй структурный подход сегодня, но будь готов отказаться от него завтра
MCP-стандарты снижают когнитивную нагрузку

⚡️ Золотые правила:
• Избегай наивного накопления всего контекста
• Качественная суммаризация лучше агрессивного сжатия
• Простые решения часто превосходят сложные
• Фреймворки должны легко "разбираться"

Философия: "Добавляй структуру, чтобы работало сегодня, и будь готов отказаться от нее завтра" 🚀

P.S. мне также очень понравились ссылки на дополнительные материалы в описании к ролику, некоторые из них я включил в эту заметку

@llm_notes

#context_engineering #agents #langchain #langgraph #llm_optimization
11🔥101
Media is too big
VIEW IN TELEGRAM
🧠 Контекстная инженерия для AI-агентов: практические уроки от LangChain и Manus

В этот вторник на youtube канале Langchain опубликовали, пожалуй, один из лучших глубоких разборов контекстной инженерии в сети — часовой мастер-класс с реальными инсайтами от LangChain и Manus. Рассматриваются продвинутые техники для AI-агентов: выгрузка, сжатие и изоляция контекста, плюс свежий взгляд на многоуровневые пространства действий. Много практических выводов, никакой воды.
В продолжении темы подкаста про "Контекст-инжиниринг для AI-агентов: 5 ключевых принципов", который я разбирал в заметках ранее, команды LangChain и Manus провели детальный разбор одной из ключевых проблем современных AI-агентов — управления контекстом. Делюсь главными выводами.

🔍 Суть проблемы

AI-агенты накапливают огромное количество контекста через вызовы инструментов. Типичная задача требует ~50 вызовов, продакшн-агенты могут делать сотни ходов. При этом производительность моделей падает с ростом контекста — классический парадокс.

⚙️ Пять основных подходов к решению:

🔸 Выгрузка контекста — перенос данных в файловую систему вместо хранения в истории сообщений

🔸 Сокращение контекста — суммирование или сжатие информации (Claude 4.5 уже поддерживает из коробки)

🔸 Извлечение контекста — индексирование + семантический поиск vs простые файловые инструменты

🔸 Изоляция контекста — разделение между под-агентами с собственными контекстными окнами

🔸 Кэширование контекста — переиспользование вычислений

💡 Практические находки от Manus:

Компактизация vs Суммирование
• Компактизация — обратимое сжатие (убираю данные, которые можно восстановить из файлов)
• Суммирование — необратимое, но с сохранением ключевой информации в файлах

Многоуровневое пространство действий
1️⃣ Вызов функций — базовые атомарные операции
2️⃣ Утилиты песочницы — предустановленные команды Linux
3️⃣ Пакеты и API — Python-скрипты для сложных вычислений

Два паттерна изоляции контекста:
• Коммуникация — под-агент получает только инструкцию
• Разделение памяти — под-агент видит всю историю, но имеет свой промпт

📊 Практические советы:

• Используй структурированные схемы вместо свободного суммирования
• Приоритизируй форматы на основе строк для удобства grep/поиска
• Не превышай ~30 инструментов в контексте
• Тестируй архитектуру переключением между моделями разной силы
• Избегай чрезмерной инженерии — простота часто работает лучше

🎯 Главный вывод

Контекстная инженерия — это баланс между конфликтующими целями. Цель не в создании сложных систем, а в упрощении работы модели. Самые большие улучшения часто приходят от удаления лишнего, а не добавления нового.

📹 Дополнительно

• Оригинальное видео (1 час) по ссылке
• Краткая (7 мин) видео-нарезка основных тезисов обсуждения - прикрепил к заметке
• Интерактивный транскрипт с исходниками презентаций здесь (очень рекомендую хотя бы "пробежаться глазами" если нет времени смотреть оригинальное видео - там много интересных инсайтов)

@llm_notes

#context_engineering #agents #langchain #prompt_engineering #llm_optimization #manus #transcript
1