"Подумай довше" не завжди означає "зроби краще"

Логіка ніби очевидна: більше reasoning effort — краща відповідь. Так і рекламують. І в більшості задач це правда працює.

Але є дослідження FutureSearch, де топові моделі прогнали через Deep Research Bench на різних рівнях effort. Результат неприємний: у трьох моделей з чотирьох high effort дав такий самий або гірший результат, ніж low. При цьому в рази дорожче.

Що там насправді відбувається

Модель не витрачає зайвий бюджет розумно. Вона:

- починає сумніватись у вже правильній відповіді
- тягне з собою дедалі маячніші джерела
- застережує там, де і так все очевидно

Простими словами: чим довше вона думає, тим більше знаходить приводів собі не довіряти.

Те саме і в агентних задачах

На SWE-bench помітили той самий патерн у reasoning-моделей: замість того щоб перевірити щось на практиці, модель нескінченно розмірковує. Або починає робити зайві дії "про всяк випадок". Або занадто рано здається, вирішивши, що задача нерозв'язна.

І це сильніше саме у моделей з великим бюджетом мислення, а не у звичайних.

Чому це не просто цікавинка

Якщо ганяєте агентів у роботі — точно бачили, як модель на максимальному thinking раптом починає перевіряти нешкідливий код так, ніби там підступ. Тепер є пояснення чому.

Висновок простий: максимальний effort не дорівнює максимальна якість. Іноді розумніше — це коротше.

А у вас таке ловилось на high effort? Діліться в коментах.

Маю надію всі в порядку після ночі. Мене врятує тільки бідон кави сьогодні. Як ви?

Поки агенти працюють…

Отак станом на сьогодні я уявляю тих програмістів, які кажуть, що з презирством ставляться до шішки і писатисуть код виключно руками.

Вибачте 🙈

ПиСи: це він у 1986 році чекає поки винайдуть порнхаб

Курвісімо. В 2 рази зростання ціни. Як вам такий мув?🫠

Пʼятниця, 8:11.
Дивлюсь на список задач.
Список задач дивиться на мене.
Поки нічия.

Памʼятаємо про заборону деплоїти сьогодні!

Здається почалось

Десь приблизно раз на місяць я пориваюсь купити такий патч собі. Через хронічне невисипання організм просто вже посилає мене нахрін. Як ви тримаєтеся і чим рятуєтесь в ці часи?

Зі святом, моя рідна Батьківщино!
Горда, сильна, мудра і незламна!
Зі святом, українці, переможемо! 💙💛

Здоровки, пацани і панянки! З вівторком чи як?
По каві і погнали агентів пасти?

Амігос, шукаємо до нас в проєкт фулстека Laravel. Може комусь буде цікаво і буде в пригоді. Пишіть, можете мені в особисті кидати CV також.

Скажу одразу, що клієнт доволі прискіпливо на технічці фільтрує кандидатів.