Как RL Agent от ChatGPT 5.5 с Computer Use проиграл тупому rule-based бейзлайну в ноль (и что я понял про вайбкодинг)

Пока решал Orbit Wars, столкнулся с ситуацией: прочитал дискуссии, увидел, что многие топы советуют RL, и решил сам попробовать его. Сказал агенту: прочитай дискуссии, врайтапы победителей прошлых сорев, сделай рисерч, создай план имплементации и потом реализуй. После препроцессинга данных и самого трейнинга увидел ситуацию: винрейт у RL агента по сравнению с rule-based бейзлайном 0%. Агент не выиграл ни одной игры против бейза.

Тогда я стал спрашивать у модели - как именно она делала препроцессинг данных, в чем заключался тренировочный процесс, что именно агент обучался предсказывать, какими были условия валидации, сколько параметров была модель?

И поймал главную проблему с первой же строчки: Модель обучалась не выбирать действия/цепочку действий, что максимизируют суммарную награду, а буквально смотрела, какие действия чаще всего предпринимают агенты и училась их копировать. Вообще без информации о том, какая награда была получена за совершения этого действия.

В соревновательной задаче нам нужно не просто сделать агента, который “похоже играет”. Нам нужно сделать агента, который выигрывает чаще других. А если модель просто учится копировать действия из прошлых игр, не зная, чем эти действия закончились - победой, поражением или полной катастрофой через 20 ходов - то она оптимизирует вообще не победу. Она учится быть похожей на среднее поведение из датасета. Это примерно как дообучать модель на ответах людей, не зная, какие ответы были правильными, а какие нет.

На выходе ты получаешь не “лучшего игрока”, а усредненную имитацию игроков, которые были в данных. И в multi-agent игре это особенно плохая стратегия. В 2 players-матче половина траекторий по определению проигрышные, в 4-players - уже три четверти игроков не занимают первое место. При этом модель без информации об исходе не понимает, какие действия были частью выигрышной стратегии, а какие - частью проигрышной. Она просто видит: “в такой ситуации часто делали вот так”. Поэтому у такой модели нет нормального механизма стать сильнее датасета. В лучшем случае она выучит моду действий. В худшем - кашу из несовместимых стратегий. А против rule-based baseline, у которого хотя бы есть цельная логика игры, такая политика вполне ожидаемо может получить 0% winrate.

И агент - не какая-то локальная гемма на 4 миллиарда параметров через OpenClaw/Hermes и даже не легкая проприетарная Sonnet 4.6 - это ChatGPT 5.5 на xhigh в Codex с плагинами типа Superpowers и подключенным Browser + Computer Use. На соревнованиях у тебя есть лидерборд - даже если его иногда можно ликануть, он дает ориентир. В реальной работе его нет. И здесь все еще требуются люди-эксперты, чтобы оценить, работает ли модель на самом деле

А что в такой ситуации делать, собственно?))

P.S. я не хочу брать Claude Max 20x

Все таки, я понял, что надо брать Claude Max 20X или ChatGPT Pro 20x

Но вопрос, что из этого лучше? Если бы не проблемы с компьютом у антропиков - вопроса бы не стояло. Но на фоне этих проблем и планов перевести Fable 5 только на токены вне подписки, задаюсь вопросом, действительно ли клод все еще лучше чата гпт или нет?)

Или вообще покупать дешевые неофициальные токены на Fable 5?))

Вышла линейка моделей ChatGPT 5.6 (Sol, Terra, Luna)!

По TerminalBench 2.1 ситуация многообещающая: ChatGPT 5.6 Sol и Sol Ultra превосходят и Fable 5 и даже Mythos 5.

5.6 Terra - примерно на уровне Claude Fable 5, что очень неплохо для не флагманской модели в линейке.

5.6 Luna, в свою очередь, примерно на уровне Opus 4.8.

Я уже начал тестировать их на своих рабочих задачах. Те, кто уже успел поиграться, как вам? Заметна ли разница с прошлой версией?

Кто решает покемонов на каггл, как ваши успехи? Уже RL или пока только rules? Как вам соревка вообще?)

⚡️ Вышла Kimi K3

Кратко: 2.8 трлн параметров, 1 млн токенов контекстное окно.

Модель доступна для работы через API, а также появилась версия Kimi K3: Max с чатом и режимами для программирования.

Разработчики также представили K3 Swarm, систему для работы с несколькими ИИ-агентами, которые могут разделять задачи и помогать с масштабными исследованиями.

Попробовать можно тут (кликабельно)

Дальше поднимаемся на покемонах)

Поздравляю всех с окончанием покемонов!

Для меня это было очень крутым соревнованием с отличной командной. Остается только убрать руки от клавиатуры, отдыхать и ждать результатов)

Кто участвовал, как ваши впечатления? На чем делали фокус? Какие результаты на данный момент?

Я решил попробовать Claude Max 20x после ChatGPT Pro 20x, и удивился, насколько быстро тратятся лимиты…

На чате гпт я мог спокойно кодить около недели на фаст режиме с 5.6 sol xhigh и потратить около 30% недельных лимитов. 5 часовых лимитов в целом нет

На клоде - 10% 5-часовых лимитов тратятся за 20 минут работы на Fable. Посмотрим, есть ли разница в интеллекте, но по лимитам разница ощутимая и, к сожалению, не в пользу антропиков

Отдохнул от покемонов, теперь можно и хфт ферму решать)

Кто уже решает, рассказывайте, как ваши успехи? Удалось вообще завести RL? И пробовали вообще?