Vlad Loop

Формат vs. Логика: как по-настоящему управлять LLM

🆗

Недавно поймал себя на мысли, что большая часть кода для работы с LLM — это не бизнес-логика, а ритуальные танцы. Сначала вежливо просишь в промпте вернуть JSON, потом пишешь try-except, чтобы поймать ошибку парсинга, добавляешь логику для повторного запроса… Дичь какая-то. И в какой-то момент я понял: проблема не в моделях. Проблема в том, что мы их просим, а не заставляем.

Есть несколько вариантов это исправить.

Первый вариант – это Structured Output. Если по-человечески — принудительная структуризация вывода. Используем, например, библиотеку 💻 instructor:


import instructor
from openai import OpenAI
from pydantic import BaseModel

# Описываем схему, которую модель НЕ сможет нарушить
class UserInfo(BaseModel):
    name: str
    summary: str

client = instructor.patch(OpenAI())

response: UserInfo = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Влад пишет про AI..."}],
    response_model=UserInfo,
)

# response — это уже готовый Pydantic-объект, а не строка!
print(response.name) # > "Влад"

Мы ограничиваем хаотичную природу LLM, заставляя её работать в жёстких рамках. И вот тут есть нюанс.

Structured Output решает проблему формы, но может создать проблему содержания. Когда мы заставляем модель сразу отвечать по схеме, мы лишаем её возможности «подумать вслух» (Chain-of-Thought). Иногда модель начинает генерить структурно правильную, но полную чушь, потому что ограничение формата мешает процессу рассуждения.

И чтобы это пофиксить, мы переходим на следующий уровень: от простого форматирования к структурированному мышлению (Schema-Guided Reasoning).

Мы структурируем не финальный ответ, а сам процесс мышления модели, разбивая его на обязательные шаги.

Сравните:
• Structured Output: «Извлеки из текста эти три поля».
• Schema-Guided Reasoning: «Сначала найди в тексте факты. Затем проанализируй риски. И только потом дай рекомендацию».

Это выглядит так:


class ComplianceAnalysis(BaseModel):
    step1_fact_identification: str
    step2_risk_analysis: str
    step3_recommendation: str

# ... тот же вызов API, но с другой response_model ...

Теперь модель обязана пройти по всем шагам нашего мыслительного процесса. Она не может пропустить анализ рисков и сразу перейти к выводам. Мы контролируем не только форму, но и логику.

С какими самыми дикими форматами ответов от LLM сталкивались? Делитесь в комментах.

Please open Telegram to view this post