Microsoft только что аннонсировали Сorrection – сервис для исправления галлюцинаций в ответах модели

В марте у компании появился сервис Groundedness detection, но он мог только обнаружить неточность в генерации, а не исправить ее. Сorrection – логичное продолжение этого проекта.

Пару слов из анонса о том, как correction работает: когда классификатор выявляет предложение или фразу, в которой LLM потенциально наврала, генерируется новый промпт, и с помощью RAG фраза проверяется на соответсвие базе знаний. Если модель в базе ничего похожего не найдет, то фраза просто удалится, а если найдет – то исправит.

Кстати, что-то похожее летом анонсировал Google, и тогда это вызвало целую волну обсуждений. Ос Кейес говорил, что пытаться удалить галлюцинации из LLM – это как пытаться удалить водород из воды: ведь модели не обучены говорить правду, они обучены предсказывать следующее слово. Иначе говоря, ответы модели — это не ответы, а всего лишь прогнозы того, как был бы дан ответ на вопрос, если бы он присутствовал в обучающей выборке.

Сейчас уже начались обсуждения того, что на самом деле Сorrection – вещь не просто бесполезная, но и опасная. Например, Майк Кук говорит так:

"Функция может обнаружить некоторые ошибки, но она также может усыпить бдительность пользователей, заставив их думать, что модели оказываются правдивыми чаще, чем это есть на самом деле. Допустим, она даст 99% безопасности против 90% без нее. Но ведь проблема никогда не была в этих 9%. Она всегда будет в 1% ошибок, которые мы не обнаруживаем".

Проекты студентов Стэнфорда как отдельный вид искусства

Помните, недавно в Стэнфорде создали зеркало для arXiv, на котором можно в открытой форме обсуждать статьи? Так вот, проект до сих пор популярен в соцсетях, о нем говорят и им (самое главное!) пользуются.

Сейчас студенты и преподаватели продолжают тренд контрибьюта в инструменты для научного сообщества (скорее всего, такова активная политика университета) и выпустили крутой проект STORM для автоматизации этапа пре-райтинга статей.

Проект, кстати, не рассчитан на научные статьи, а скорее относится к разряду Wikipedia-like топиков (то есть на статьи без научной новизны). Цель состоит в том, чтобы упростить для авторов очень трудозатратный процесс сбора материалов и составления плана.

Самое интересное в этом проекте – это то, как он реализован. Это не просто один запрос к модели, а имитация разговора в стиле "вопрос-ответ" между двумя агентами. Один читает вики-статьи на похожие темы и задает по ним вопросы, а другой отвечает на них, основываясь на конкретных источниках, которые находит. Так составляется список референсов и одновременно формируется детальный план статьи.

Проект крутой, но в нем, к слову, еще не все идеально. Например, многие эксперты-люди отметили, что ИИ часто создает связи между несвязными фактами или берет ошибочные факты из непроверенных источников.