#тесты
Борьба с галлюцинациями
Тестировал сегодня GPT-4o на придумывание фактов, в контексте роли менеджера по продажам.
Это вообще классическая задача, когда ты даешь ему роль, ограничиваешь его ответы какой-то базой знаний, и все что не попадает в БЗ он начинает придумывать.
Даже если пишешь ему в явном виде.
На скринах пример, где я на русском написал в инструкции:
и… это не работает. Результат на втором скрине - он придумывает адрес (в базе знаний адреса нет).
Так происходит, что на GPT-4 Turbo, что на GPT-4o.
А вот если перефразировать иначе (на английском работает лучше):
или на русском:
То это работает (последний скрин). И на последней версии GPT и на предыдущей. Секретная фраза - специальное название метода, который у нас используется при работе с базой знаний. Его не раскрываю, это наше ноу-хау.
Это кстати одна из причин, почему не запускается "из коробки" - надо знать, какой промт использовать, а это только с опытом. Обычный юзер их не знает, в итоге получает не тот результат, который ожидает.
—
CPT-4o уже доступно в Савви.
Борьба с галлюцинациями
Тестировал сегодня GPT-4o на придумывание фактов, в контексте роли менеджера по продажам.
Это вообще классическая задача, когда ты даешь ему роль, ограничиваешь его ответы какой-то базой знаний, и все что не попадает в БЗ он начинает придумывать.
Даже если пишешь ему в явном виде.
На скринах пример, где я на русском написал в инструкции:
Если у тебя нет информации, не придумывай и скажи, что уточнишь у коллег.
и… это не работает. Результат на втором скрине - он придумывает адрес (в базе знаний адреса нет).
Так происходит, что на GPT-4 Turbo, что на GPT-4o.
А вот если перефразировать иначе (на английском работает лучше):
If you do not have accurate information about the user's question in the file list of the <секретная фраза>, answer that you will clarify with colleagues.
или на русском:
Если у тебя нет информации о вопросе пользователя в списке файлов <секретная фраза>, ответь, что вы уточните у коллег.
То это работает (последний скрин). И на последней версии GPT и на предыдущей. Секретная фраза - специальное название метода, который у нас используется при работе с базой знаний. Его не раскрываю, это наше ноу-хау.
Это кстати одна из причин, почему не запускается "из коробки" - надо знать, какой промт использовать, а это только с опытом. Обычный юзер их не знает, в итоге получает не тот результат, который ожидает.
—
CPT-4o уже доступно в Савви.