В Твиттере завирусилось исследование 1978 года о том, что врачи якобы не могут решить простую статистическую задачу

Она звучит так: "Если тест на выявление заболевания, распространенность которого составляет 1 из 1000, имеет false positive rate в 5%, какова вероятность того, что человек с положительным результатом на самом деле болен?".

Утверждается, что верный ответ – 2% (Из 1000 будет 1 больной и 50 человек с ложноположительным тестом -> 1/51 ~ 2%). Тот же ответ получается по теореме Байеса.

Однако так ответили только 2/10 медиков. Остальные давали ответ "95%", аргументируя это примерно так: "В задаче рассматривается не случайный человек из выборки, а только тот, который уже получил положительный результат теста. В таком случае, раз false positive rate = 5%, то вероятность наличия заболевания получается 95%".

Кстати, подобное исследование проводилось еще один раз в 2014 году. Вопрос задавали уже другой: "Представьте себе гипотетического бейсболиста. Он проваливает тест на наркотики, который точен на 95 процентов. Какова вероятность того, что бейсболист действительно виновен?".

И опять верный ответ дали только 14 из 61 опрошенных. А вы бы как ответили?

Microsoft только что аннонсировали Сorrection – сервис для исправления галлюцинаций в ответах модели

В марте у компании появился сервис Groundedness detection, но он мог только обнаружить неточность в генерации, а не исправить ее. Сorrection – логичное продолжение этого проекта.

Пару слов из анонса о том, как correction работает: когда классификатор выявляет предложение или фразу, в которой LLM потенциально наврала, генерируется новый промпт, и с помощью RAG фраза проверяется на соответсвие базе знаний. Если модель в базе ничего похожего не найдет, то фраза просто удалится, а если найдет – то исправит.

Кстати, что-то похожее летом анонсировал Google, и тогда это вызвало целую волну обсуждений. Ос Кейес говорил, что пытаться удалить галлюцинации из LLM – это как пытаться удалить водород из воды: ведь модели не обучены говорить правду, они обучены предсказывать следующее слово. Иначе говоря, ответы модели — это не ответы, а всего лишь прогнозы того, как был бы дан ответ на вопрос, если бы он присутствовал в обучающей выборке.

Сейчас уже начались обсуждения того, что на самом деле Сorrection – вещь не просто бесполезная, но и опасная. Например, Майк Кук говорит так:

"Функция может обнаружить некоторые ошибки, но она также может усыпить бдительность пользователей, заставив их думать, что модели оказываются правдивыми чаще, чем это есть на самом деле. Допустим, она даст 99% безопасности против 90% без нее. Но ведь проблема никогда не была в этих 9%. Она всегда будет в 1% ошибок, которые мы не обнаруживаем".

Проекты студентов Стэнфорда как отдельный вид искусства

Помните, недавно в Стэнфорде создали зеркало для arXiv, на котором можно в открытой форме обсуждать статьи? Так вот, проект до сих пор популярен в соцсетях, о нем говорят и им (самое главное!) пользуются.

Сейчас студенты и преподаватели продолжают тренд контрибьюта в инструменты для научного сообщества (скорее всего, такова активная политика университета) и выпустили крутой проект STORM для автоматизации этапа пре-райтинга статей.

Проект, кстати, не рассчитан на научные статьи, а скорее относится к разряду Wikipedia-like топиков (то есть на статьи без научной новизны). Цель состоит в том, чтобы упростить для авторов очень трудозатратный процесс сбора материалов и составления плана.

Самое интересное в этом проекте – это то, как он реализован. Это не просто один запрос к модели, а имитация разговора в стиле "вопрос-ответ" между двумя агентами. Один читает вики-статьи на похожие темы и задает по ним вопросы, а другой отвечает на них, основываясь на конкретных источниках, которые находит. Так составляется список референсов и одновременно формируется детальный план статьи.

Проект крутой, но в нем, к слову, еще не все идеально. Например, многие эксперты-люди отметили, что ИИ часто создает связи между несвязными фактами или берет ошибочные факты из непроверенных источников.