⚡️OpenAI представила модель CriticGPT для проверки точности ответов GPT4 и GPT4o

По мере того, как мы совершенствуемся в рассуждениях и моделировании поведения, ChatGPT становится более точным, а его ошибки — более тонкими. Из-за этого инструкторам по искусственному интеллекту может быть сложно обнаружить неточности, когда они действительно происходят, что значительно усложняет задачу сравнения, которая обеспечивает работу RLHF. Это фундаментальное ограничение RLHF, и оно может затруднить согласование моделей, поскольку они постепенно становятся более осведомленными, чем любой человек, который мог бы предоставить обратную связь.

Чтобы помочь с этой задачей, мы научили CriticGPT писать критические замечания, подчеркивающие неточности в ответах ChatGPT.

Есть и ограничения:
- работает только с коротким контекстом
-пропускает часть галлюцинаций
-ловит не все типы ошибок
Источник
#openai #ai #llm #gpt4