Заметки LLM-энтузиаста
521 subscribers
145 photos
17 videos
1 file
176 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
#prompt #prd #howto #improve

Полезный промпт для улучшения любого другого промпта при помощи o1/o3/R1 (reasoning) моделей

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format


Можно еще добавлять в конце:
please reason slowly, take your time when answering, the quality of the answer is my priority


Интересный факт:
- при работе с reasoning моделями промпты в стиле "делай по шагам" (step by step) либо не работают, либо ухудшают результат
- гораздо лучше написать модели, чтобы она не торопилась и потратила на свои рассуждения столько времени, сколько нужно.
Именно эту особенность reasoning моделей и использует фрагмент промпта выше.

Техническое задание на разработку софта (PRD) также является частным случаем промпта для решения задачи.
И его также можно попробовать улучшить при помощи данного подхода.

Вот как я обычно делаю, когда финальный PRD сформирован и его надо "шлифануть".
1) Выбирается reasoning модель (ceйчас лучше всего использовать o3-mini: по reasoning метрикам превосходит все остальные reasoning модели, контекст в 2 раза больше, чем у DeepSeek-R1, стоимость всего в 2 раза выше)
2) Пишу ей следующий промпт:
Here is a prompt you should work with: 
<здесь вставляю текст PRD, который ранее был сформирован>

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format

Please reason slowly, take your time when answering, the quality of the answer is my priority

В результате получаю более компактный PRD промпт.
Но его имеет смысл внимательно прочитать, чтобы случайно не выпали важные детали (фрагменты правильного кода) из раздела Documentation.
3🔥32