Ода Structured Output

Хочу показать уличную магию, которая изменила мою жизнь. Не так давно OpenAI расширила поддержку structured output в своём API: это когда вы LLM показываете схему данных в виде Pydantic объекта, а на выходе получаете готовый распарсенный и заполненный Dict. Этакий json_output "на стероидах".

Демонстрировать на gpt-4o было бы слишком банально, там всё работает из коробки. А я усложню задачу, и сделаю тоже самое на локальном сервере llama.cpp, в котором работает квантизованная модель Qwen 2.5 7B с квантизацией q4_k_m (потому что у меня слабенький M1 Pro с 16 гигами оперативки, и я пока не купил себе M4 Ultra) .

Итак, задача будет следующая: извлечь ключевые сущности из текста

"Жили у бабуси два веселых гуся. Один - серый, а другой - белый. Два веселых гуся."

И получить на выходе объект Dict, в котором разложены сущности и атрибуты.

Ниже привожу полностью рабочий код:

from openai import OpenAI
from typing import List, Optional, Dict
from pydantic import BaseModel, Field

# use your favorite inference server
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

input_text = "Жили у бабуси два веселых гуся. Один - серый, а другой - белый. Два веселых гуся."

# define the data schema
class Attribute(BaseModel):
    name: str = Field(..., description="Name of the attribute")
    value: str = Field(..., description="Value of the attribute")

class Creature(BaseModel):
    name: Optional[str] = Field(None, description="Name of the identified creatures")
    attributes: Optional[List[Dict[str, str]]] = Field(None, description="List of attribute key-value pairs")

class ExtractedCreatures(BaseModel):
    entities_and_attributes: List[Creature] = Field(default_factory=list, description="List of extracted creatures")

# command the model to extract data using the data schema
messages = [
        {"role": "system", "content": """
Extract all creatures and their characteristics from the user text according to the specified schema.   
"""},
        {"role": "user", "content": input_text}
]

print("Executing...")
completion=client.beta.chat.completions.parse(
    model="not-needed",
    temperature=0.1,
    messages=messages,
    response_format=ExtractedCreatures
)

print("Result:")
# get the results as a dictionary
parsed_dict = completion.choices[0].message.parsed

# output the results as a JSON string
print(parsed_dict.model_dump_json(indent=2, exclude_none=True))

Результат — в первом комменте.

Небольшая "пояснительная бригада" по дизайну схемы данных: мы определяем атомарные Pydantic классы, которые потом объединяем в один результирующий класс. Описание того, что положить в конкретный объект пишем в поле description. Если поле необязательное — ставим ему Optional. Если нужен выбор по типу enum, то ставим полю тип Literal и явно перечисляем допустимые значения (модель сама разберется и поставит нужное). Если нужен составной объект типа массива или словаря, объявляем их как List и Dict соответственно. Системный промпт — микроскопический.

Самое крутое, что в одной схеме данных можно объединить парсинг данных, рассуждения и принятие решения. Вы просто определяете три мембера у Pydantic класса: первый — это класс, куда нужно попарсить данные, второй — поле reasoning: str = Field(..., description="Chain of thoughts and reasoning"), сюда модель напишет свои рассуждения, а третье поле result: str = (..., description="Place 'Yes' or 'No' here").

Через structured output можно делать скоринг данных, чеклисты по большому документу (например, вытаскивание финансовых показателей), и многое другое. Это ли не чудо!

Да, не забудьте обновить openai библиотеку до 1.52.0+.

Для внеклассного чтения пара доп. ссылок по structured output:
💎 https://platform.openai.com/docs/guides/structured-outputs
💎 https://openai.com/index/introducing-structured-outputs-in-the-api/

В комментах — результат скрипта и бонус-трек.

Openai
OpenAI Platform
Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.