Заметки LLM-энтузиаста
521 subscribers
146 photos
17 videos
1 file
177 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
#cursor #instruction #prd #prompt

Простой пример структуры технического задания для написания софта при помощи AI-помощника

Product Requirements Documentation (PRD)

# Project Overview
xxx
xxx

# Core functionalities
1. xxx
2. xxx
3. xxx

# Documentation
xxx

# Project file structure
xxx


Как заполнить техническое задание на генерацию кода при помощи AI-помощника?

1) В секции Project Overview указывается какую задачу решает софт и какой стек технологий используется
Примеры:
- gpt extension for google docs using AppScript
- gpt telegram bot which works with text, images and voice for input/output and supports threads and streaming mode
...

2) В секции Core functionalities более детально раскрываются основные функции софта - как он решает поставленную задачу (подробное описание ключевых функций, опций меню, алгоритма взаимодействия с пользователем, указание среды запуска и т.д.)

Для брейнсторма по первым 2-м разделам PRD и консультаций по стеку технологий можно использовать обычные и reasoning модели.

3) После заполнения первых двух разделов можно определяться со структурой проекта.
Вот простой промпт для anthropic модели, который позволит определиться с оптимальной структурой проекта.

This is the project I would like to build
How should I structure my project files?
(try to create as few files as possible)

После этого результат (структуру проекта) необходимо внести в оригинальный md-файл с техническим заданием.

4) В секции Documentation имеет смысл приводить примеры работающего кода по всем разделам секции Core Functionalities
Такие примеры можно получить при помощи следующего простого промпта прямо из консоли AI-помощника в отдельной Chat сессии:
Please provide examples of implementation for all # Core Functionalities
Do not create actual files, provide only valuable examples

Примеры рабочего кода можно также получать через AI-поиск: perplexity/openai deep research и т.д.
Проверку работоспособности можно проводить в рамках отдельных мини-проектов используя Cursor Composer - это имеет смысл, только если исходный проект очень большой и валидация примеров кода может значительно упростить последующий траблшутинг всего проекта.

Как запустить генерацию кода по заранее подготовленному ТЗ?

После того как все разделы технического задания заполнены можно приступать к реализации проекта в Cursor Composer агенте. Простейший промпт выглядит следующим образом:
Read carefully instructions in the file @PRD.md and build project step by step
22🔥2
#prompt #prd #howto #improve

Полезный промпт для улучшения любого другого промпта при помощи o1/o3/R1 (reasoning) моделей

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format


Можно еще добавлять в конце:
please reason slowly, take your time when answering, the quality of the answer is my priority


Интересный факт:
- при работе с reasoning моделями промпты в стиле "делай по шагам" (step by step) либо не работают, либо ухудшают результат
- гораздо лучше написать модели, чтобы она не торопилась и потратила на свои рассуждения столько времени, сколько нужно.
Именно эту особенность reasoning моделей и использует фрагмент промпта выше.

Техническое задание на разработку софта (PRD) также является частным случаем промпта для решения задачи.
И его также можно попробовать улучшить при помощи данного подхода.

Вот как я обычно делаю, когда финальный PRD сформирован и его надо "шлифануть".
1) Выбирается reasoning модель (ceйчас лучше всего использовать o3-mini: по reasoning метрикам превосходит все остальные reasoning модели, контекст в 2 раза больше, чем у DeepSeek-R1, стоимость всего в 2 раза выше)
2) Пишу ей следующий промпт:
Here is a prompt you should work with: 
<здесь вставляю текст PRD, который ранее был сформирован>

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format

Please reason slowly, take your time when answering, the quality of the answer is my priority

В результате получаю более компактный PRD промпт.
Но его имеет смысл внимательно прочитать, чтобы случайно не выпали важные детали (фрагменты правильного кода) из раздела Documentation.
3🔥32
#cursor #prompt #v0 #system

🔥 ЭКСКЛЮЗИВ: Системные промпты Cursor и v0 теперь доступны!

Коллеги, добрый вечер!
С моей точки зрения - это невероятная находка для всех, кто работает с ИИ-инструментами 🧠

Только что обнаружил репозиторий, где выложены официальные системные промпты для:
• Cursor Agent (на базе Sonnet-3.7)
• FULL v0

(за подлинность не ручаюсь, но все выглядит прилично, пользуясь случаем, я склонировал себе на домашний ПК весь репозиторий)

👉 Более 3000 строк "кода", раскрывающих "внутренности" этих мощных инструментов!

🤔 Почему это важно?

1️⃣ Понимание того, как "думают" эти инструменты поможет создавать более точные запросы

2️⃣ Можно адаптировать эти промпты для своих локальных моделей

3️⃣ Изучение этих промптов — отличный способ улучшить свои навыки промпт-инжиниринга

💎 Что особенно ценного в репозитории:
• Полная структура системных инструкций
• Детали работы агентов Cursor
• Принципы обработки запросов в v0

Если вы серьезно занимаетесь ИИ или просто хотите заглянуть "под капот" современных инструментов — этот репозиторий станет настоящей находкой.

🔗 Ссылка на репозиторий: https://github.com/x1xhlol/system-prompts-and-models-of-ai-tools/tree/main

Делитесь своими находками в комментариях!
Что самое интересное обнаружили в этих промптах? 👇

#ИИ #Промпты #Cursor #v0 #ИскусственныйИнтеллект
🔥75👍3
Уязвимости ИИ-агентов: часть III и IV

В продолжении поста хотелось бы взять на заметку описанные ниже угрозы безопасности для агентных и мульти-агентных систем.
Я думаю, что сейчас в связи со снижением порога входа в разработку методом Vibe Coding, мало кто обращает внимание на такие угрозы, и через некоторое время в погоне за скоростью разработки и повсеместным внедрением GenAI мы можем столкнуться с ростом атак и компроментацией более сложных систем, которые начнут включать в себя программные модули, использующие GenAI как в своей непосредственной работе, так и на этапе своей разработки.

Часть III. Как скрытые инструкции крадут данные 🔓

Исследователи Trend Micro обнаружили серьезные проблемы безопасности в мультимодальных ИИ-агентах. Злоумышленники могут внедрять скрытые команды в изображения и документы, заставляя ИИ передавать конфиденциальные данные без ведома пользователя.

Что такое непрямая инъекция промптов? 🎯

Это скрытая атака, при которой вредоносные инструкции маскируются в обычном контенте:

• Веб-страницы — скрытые команды в HTML-коде
• Изображения — невидимый текст в "пустых" картинках
• Документы — скрытые инструкции в Word-файлах

Какие данные под угрозой? 📊

1️⃣ Персональные данные (имена, email, телефоны) 2️⃣ Финансовая информация (банковские реквизиты) 3️⃣ Медицинские записи 4️⃣ Коммерческие секреты 5️⃣ API-ключи и пароли 6️⃣ Загруженные документы

Реальный пример атаки 💀

Исследователи создали PoC-агента "Pandora", который продемонстрировал:

• Обработку вредоносного Word-документа "CV – Actor.docx"
• Извлечение и выполнение скрытого Python-кода
• Передачу данных на сервер злоумышленников
• Завершение с сообщением "Task complete"

Как защититься? 🛡

• Ограничить сетевые подключения к непроверенным URL
• Использовать фильтры для анализа загружаемого контента
• Применять OCR для обнаружения скрытого текста
• Внедрить системы мониторинга подозрительного поведения
• Очищать пользовательский ввод от потенциально опасных команд

Проблема особенно актуальна для ChatGPT Data Analyst и других ИИ-сервисов с возможностью выполнения кода.
Даже при использовании продвинутых моделей вроде GPT-4o уязвимости остаются, если отсутствуют защитные механизмы на уровне сервиса. То есть, задачу обеспечения безопасности должны решать именно разработчики! (не администраторы инфраструктры, и даже не DevSecOps!). Если мы говорим про Vibe Coding, то в PRD (а лучше прямо на уровне проектных правил для AI-кодинга) нужно закладывать соответствующую функциональность.

Часть IV: Уязвимости ИИ-агентов: угрозы доступа к базам данных 🔐

Исследователи Trend Micro выявили критические уязвимости в ИИ-агентах, работающих с базами данных. Злоумышленники могут эксплуатировать эти слабости для кражи данных и мошеннических атак.

Основные угрозы 🎯

1. Уязвимости генерации SQL-запросов
• Атакующие могут обойти защитные механизмы
• Получить доступ к конфиденциальным данным сотрудников
• Использовать методы джейлбрейкинга для обхода ограничений

2. "Сохраняющаяся" инъекция промптов
• Вредоносные промпты внедряются в пользовательские данные
• Активируются при последующих запросах к ИИ
• Могут привести к рассылке фишинговых писем

3. "Отравление" векторных хранилищ
• Атака на системы семантического поиска
• Злоумышленники внедряют вредоносный контент
• Срабатывает при похожих запросах других пользователей

Процесс атаки 🔄

1️⃣ Разведка - изучение структуры базы данных 2️⃣ Внедрение - размещение вредоносного контента 3️⃣ Активация - срабатывание при запросах пользователей 4️⃣ Эксплуатация - кража данных или распространение фишинга

Последствия 💥
• Кража персональных данных
• Фишинговые атаки внутри организации
• Финансовые потери • Репутационный ущерб
• Нарушение регулятивных требований

Защитные меры 🛡
• Надежная санитизация входных данных
• Продвинутое определение намерений (можно использовать классификатор)
• Строгий контроль доступа
• Постоянное обновление мер безопасности

#security #agents #prompt_injection #data_exfiltration #cybersecurity
❤‍🔥4👍21
7 стратегий промптинга из "утечки" системного промпта Claude 4

Недавно в сети появился предполагаемый системный промпт Claude 4 объемом 10,000 слов. Независимо от его подлинности, документ содержит ценные принципы для создания эффективных промптов 📝

Я решил провести анализ этого системного промпта для Claude 4, используя Claude 4 :)
Вот здесь результат анализа
А тут универсальный промпт, который я использовал (формировал и улучшал его по методике, которую описывал чуть раньше).

Затем мне на глаза попалась интересная статья на medium про 7 стратегий промптинга, которые используются в системном промпте Claude 4
Что порадовало - выводы практически совпадают. Только мой промпт, выявил 6, а не 7 приемов. Ну и мне были интересны также рекомендации по улучшению имеющихся промптов от самой модели, которая должна им следовать :)

Ключевая идея: промпт — это не магическое заклинание, а конфигурационный файл операционной системы. 90% внимания уделяется предотвращению ошибок, и только 10% — желаемому результату.

Основные стратегии:

1️⃣ Якорение идентичности
Начинайте промпт с фиксированных фактов: идентичность модели, дата, основные возможности. Это снижает нагрузку на рабочую память и стабилизирует рассуждения.

2️⃣ Явные условные блоки
Используйте четкие конструкции "если X, то Y" для граничных случаев. Неопределенность приводит к непоследовательности — будьте конкретны.

3️⃣ Трехуровневая маршрутизация неопределенности
• Вечная информация → прямой ответ
• Медленно меняющаяся → ответ + предложение проверки
• Актуальная → немедленный поиск

4️⃣ Грамматика инструментов с контрпримерами
Показывайте как правильные, так и неправильные примеры использования API. Негативные примеры учат не хуже позитивных.

5️⃣ Бинарные правила стиля
Вместо размытых указаний ("будь краток") используйте четкие запреты ("никогда не начинай с лести", "никаких эмодзи без запроса").

6️⃣ Позиционное усиление
В длинных промптах повторяйте критические ограничения каждые 500 токенов — внимание модели ослабевает в длинном контексте.

7️⃣ Рефлексия после использования инструментов
Добавляйте паузу для "размышлений" после вызова функций. Это улучшает точность в многошаговых цепочках рассуждений 🤔 (то, что мой промпт-анализатор не обнаружил)

Практический вывод

Думайте о промптах как об операционных системах. Будьте точны в намерениях и не бойтесь "оборонительного программирования" — детально прописывайте, чего модель делать НЕ должна.

Декларативный подход "если X, всегда Y" часто эффективнее императивного "сначала X, потом Y" ⚡️

@llm_notes

#claude4 #ai_engineering #llm_optimization #prompt
6❤‍🔥3👍3
AI Fluency: Полное руководство по эффективной работе с ИИ 🤖

Примерно месяц назад Anthropic опубликовали с моей точки зрения интересный курс "AI Fluency: Framework & Foundations" по развитию навыков взаимодействия с искусственным интеллектом. Практические знания без воды. И главное - эти знания не устареют через неделю, месяц или год при появлении очередной LLM-модели, агентного фреймворка или нового ИИ-продукта.
Курс также оформлен в виде плейлиста на официальном youtube-канале Anthropic.

Ниже привожу мои краткие заметки по курсу.

Я также подготовил детальные транскрипты на русском языке для каждого урока (см. github) и представил все в виде интерактивного веб-сайта, пользуясь тем, что gpt5 сейчас в lovable.dev находится в limited preview до полуночи воскресенья 10 августа 😉 (к слову, мне очень понравилось "собирать" сайт при помощи gpt5 на lovable, отталкиваясь от транскриптов, выложенных на github - только 1 небольшая ошибка возникла в процессе)

Что такое AI Fluency? 🎯

AI Fluency — способность работать с ИИ эффективно, результативно, этично и безопасно. Это не знание промптов, а фундаментальные навыки для долгосрочного сотрудничества с ИИ.

Три способа взаимодействия с ИИ:

• Автоматизация — ИИ выполняет конкретные задачи по инструкциям
• Дополнение — совместная работа как с партнером
• Агентность — ИИ действует самостоятельно по заданным принципам

Фреймворк 4D 📊 (ДОКО - русскоязычная аббревиатура, которая у меня получилась)

🔹 Delegation - Делегирование
Решение о распределении задач между человеком и ИИ. Включает понимание проблемы, знание возможностей ИИ и стратегическое планирование работы.

🔹 Description - Описание
Четкое общение с ИИ через:
• Описание продукта — что создать
• Описание процесса — как подходить к задаче
• Описание производительности — стиль взаимодействия

🔹 Discernment - Контроль (мой вольный перевод по смыслу)
Критическая оценка результатов ИИ:
• Качество контента
• Логика процесса
• Эффективность взаимодействия

🔹 Diligence - Ответственность (мой вольный перевод по смыслу)
Ответственное использование:
• Выбор подходящих систем
• Прозрачность о роли ИИ
• Подотчетность за результаты

Генеративный ИИ: основы ⚙️

Большие языковые модели создают новый контент на основе статистических паттернов из обучающих данных. Три прорыва сделали это возможным:

1️⃣ Трансформерная архитектура (2017) 2️⃣ Массивы цифровых данных
3️⃣ Мощные вычислительные ресурсы

Возможности и ограничения ⚖️

Сильные стороны:
• Универсальность в языковых задачах
• Поддержание контекста разговора
• Подключение к внешним инструментам

Ограничения:
• Дата среза знаний
• Возможные "галлюцинации"
• Ограниченное контекстное окно
• Непредсказуемость результатов

Эффективные техники промптинга 💡

6 основных принципов:

1️⃣ Контекст — объясните что, зачем и кто вы 2️⃣ Примеры — покажите желаемый результат 3️⃣ Ограничения — укажите формат и требования 4️⃣ Декомпозиция — разбейте сложные задачи 5️⃣ Время на размышления — дайте ИИ обдумать 6️⃣ Роль — определите, кем должен быть ИИ

Секрет: Просите ИИ помочь улучшить ваши промпты! 🔥

Практические выводы 📝

• Ваша экспертиза — основа эффективного использования ИИ
• Четкая постановка задачи критична для получения качественных результатов
• Всегда проверяйте и оценивайте выводы ИИ
• Берите ответственность за итоговые результаты
• Будьте прозрачны и сообщайте об использовании ИИ

И как обычно - эти навыки развиваются только через практику.
Начните применять фреймворк 4D уже сегодня — результаты не заставят себя ждать.

Полезные ссылки 📝
• Интерактивный сайт по курсу на русском языке здесь
• Оригинальный курс "AI Fluency: Framework & Foundations" здесь
• Плейлист оригинального курса на youtube здесь

@llm_notes

#aifluency #anthropic #prompt #gpt5 #lovable #context #course
3👍8🔥3❤‍🔥1