Счас многие слышат, как ЛЛМ решают сложнейшие задачи, дают им что-то свое и удивляются: модель не ваншотит даже вроде бы простую вещь, путается, итд

Имхо, воспринимать ЛЛМ как AGI SUPER INTELLIGENCE, которая должна решить любую задачу с первой попытки, абсолютная руина.

Главная фича ЛЛМ это очень широкая база знаний + дешевизна попытки.

Например, в iw4L после добавления карт Black Ops 2 появились баги: где-то пропадала геометрия, где-то было видно через стены. Умнейший его величество Opus 5.5 долбился своей железной башкой в неё около четырёх часов(( строил гипотезы, менял код, дебажил, смотрел скриншоты, сохранял промежуточные результаты - и в итоге добил проблему.

Я именно в этом вижу главный юзкейс: дудосить задачу попытками, пока она не поддастся.💀

Потому, чтобы из ЛЛМ выжать именно полезную для себя работу, лучше давать четкие конечные инварианты и возможность получить обратную связь чтобы их длинный "поток slop сознания" превращался в какой-то направленный поиск, с каждой итерацией чучут уменьшающий неопределенность