Проверка пользы скилла в Claude Code

В Claude Code появилась claude plugin eval - проверка того, какую пользу даёт твой плагин и навыки внутри него.

Даёшь одинаковые задачи. Claude выполняет их с плагином и без, проверяет результаты по заданным критериям и показывает разницу.

К слову, хорошо дополняет тему quality gate, про которую уже писал и рассказывал выше. Можно проверить, помогают ли сами инструкции получать результат лучше или нет.

К примеру, у тебя есть скилл для ревью кода.

Ты прописал: искать баги, объяснять последствия и причины, предлагать исправления. Всё выглядит правильно, но на практике AI может пропустить ошибку и написать десять замечаний про название переменной 😩

Вот такой навык и можно проверить.

1. Обнови Claude Code. В терминале: claude update

2. Открой папку плагина и запусти. claude plugin eval init Claude изучит плагин и поможет подготовить задания и критерии. Тут нужно объяснить, что для тебя хороший результат.

Можно написать в духе:

Хочу проверить навык ревью кода. Подготовь несколько небольших примеров: с обращением к полю у null, с ошибкой на единицу в цикле и с корректным кодом без багов.

Включи сам код в задания. Проверяй, нашёл ли Claude заложенную ошибку, объяснил ли последствия и предложил ли подходящее исправление. На корректном коде проверь, не выдумывает ли проблемы. Замечания только по стилю не считай найденными багами.

Claude предложит тесты, сделает пробный прогон и оценит стоимость полного запуска.

Посмотри сами проверки. Если попросить оценивать "насколько ответ хороший", можно получить красивую оценку, которая мало что объясняет.

3. Запусти сравнение. Когда подготовка закончится, выйди через /exit и выполни: claude plugin eval . --runs 1 это короткая проверка: по одному запуску каждой задачи с плагином и без.

4. Посмотри, что получилось. В терминале будут две оценки и разница между ними. В HTML отчёте: подробности, какие проверки прошли и где ошибки.

Допустим, скилл помог найти баг, который без него Claude пропускал. Уже полезно. А если результаты одинаковые, на этих задачах дополнительная польза пока не видна.

Что это даёт тебе?

• Добавил инструкции - можешь проверить, стало ли лучше?
• Переписал скилл - можешь заметить, если он начал пропускать старые ошибки.
• Сменил модель - можешь заново проверить свою обвязку на тех же задачах.

Начни с одного навыка и нескольких проблем, которые у тебя повторяются. Потом исправляй то, что видно в отчёте, успехов! 👍

Почему с новой моделью Astra старые настройки могут работать хуже

Если ты давно работаешь с AI, наверняка накопились инструкции на каждый случай. Тут не проверил? Дописал правило. Здесь полез менять лишнее? Запретил.

В следующий раз остановился на полпути и добавил "работай до конца". Переключаешься на GPT-5.6 sol и работа идёт как-то иначе.

OpenAI разобрали этот момент. Часть инструкций, которыми мы исправляли поведение прошлых моделей, мешает новой.

Что поменялось с 5.6?

В рекомендациях для Astra отмечают: она сильнее реагирует на инструкции из файлов, сама тщательнее проверяет работу и чаще уточняет, если ответ может повлиять на результат.

Отсюда неприятный момент. Твоё старое "перед любым действием спроси" может затормозить даже обычную, небольшую, локальную правку. А "проверяй всё после каждого изменения" - запускать проверки, которые к этой задаче не относятся.

К примеру, в системе ИИ-монтажа нужно поправить субтитры. Но навык описан как "используй для любой работы с видео", а внутри уже весь процесс от разбора исходников до финального рендера.

Ты попросил исправить текст, но инструкции потянули за собой половину монтажной системы. И лимиты уходят на выполнение правил, которые ты сам когда-то добавил 😢

И ещё, если одни навыки используют разные модели, учитывай это при правках. Чтобы не разбирать всё вручную, можно дать AI такой запрос:

Хочу настроить инструкции этого проекта под GPT-6 Astra, сохранив полезные правила и требования проекта.

Прочитай:
https://developers.openai.com/blog/rethinking-skills-and-prompts-for-gpt-6-astra

Затем разбери инструкции, которые реально влияют на твою работу здесь: AGENTS.md, доступные навыки и связанные с ними документы. Пока ничего не меняй.

Найди конкретные места, из-за которых ты можешь:
• подключать навык к неподходящей задаче
• читать лишние документы
• повторять проверки без новой причины
• запрашивать подтверждение уже порученной работы
• останавливаться до получения готового результата.

Для каждого найденного места покажи файл и фразу, объясни на примере задачи, к чему она может привести, и предложи точечную замену. Отделяй наблюдаемую проблему от предположения.

Сохрани требования к качеству, ограничения доступа и важные договорённости проекта. Если инструкции нужны и другим моделям, учти это. Не сокращай текст только ради объёма.

Выбери до трёх наиболее полезных изменений и предложи небольшие задания, на которых можно сравнить поведение до и после. Подготовь правки для просмотра.

После применения посмотри, стало ли меньше лишних действий и переделок. Короткий AGENTS.md сам по себе ещё не означает, что агент работает лучше 🤫

Claude теперь сам раздаёт задачи другим Claude и работает в облаке ☁️

Anthropic представили Projects в Claude Code. Ты ведёшь один общий разговор и Claude запускает отдельные сессии, распределяет между ними работу и собирает результаты.

Кто работал в нескольких AI чатах одновременно, знает: в какой-то момент сам становишься посыльным. Одному принеси контекст, другому передай решение, у третьего выясни, почему он остановился.

И здесь эту координацию берёт на себя Claude.

Чем это отличается от субагентов? 🤔

Субагенту обычно поручают отдельную часть задачи внутри основной сессии: изучить код, найти причину ошибки, проверить изменения. Он возвращает результат тому, кто его запустил.

В Projects Claude координирует несколько самостоятельных облачных сессий. У каждой свой контекст и ход работы и новые сессии получают общие инструкции и память проекта. Ты можешь постепенно добавлять задачи в один разговор и возвращаться к результатам.

Например, ты развиваешь приложение. Сегодня нужно исправить поиск и обновить зависимости, завтра прилетит новая ошибка, через неделю изменятся требования. Всё это можно вести в одном Projects, сохраняя договорённости между задачами.

Из полезного:

• Общий контекст. Новые сессии получают инструкции и память проекта. Объяснил важную особенность? Попроси Claude её запомнить, чтобы следующие исполнители учитывали это в работе.

• Работа в облаке. Можно закрыть приложение или выключить ноутбук: запущенные задачи продолжат выполняться. Если понадобится твой ответ или разрешение, соответствующая сессия подождёт.

• Сопровождение изменений. Исполнитель может подготовить pull request и затем следить за ним: исправлять падения CI и реагировать на замечания ревью.

• Все результаты в одном месте. В Overview видно, что выполняется, что готово к проверке и где нужен человек.

• И не только код. Можно загрузить документы или обращения пользователей и поручать их анализ. Репозиторий для таких задач не обязателен.

Как попробовать?

1. Открой claude.ai/code или вкладку Code в Claude Desktop.

2. Нажми Projects -> New project, укажи цель и добавь репозиторий или файлы.

3. В Project settings -> Memory -> Project instructions задай правила работы и проверки результата.

4. Начни с небольшой задачи, оцени результат и расход лимитов, что самое важное.

Для работы с кодом нужен репозиторий на GitHub и доступ через Claude GitHub App. Через CLI новые Projects пока недоступны.

Сейчас это браузер и Desktop, выполнение задач облачное в обоих случаях. Локальные сценарии обещают позже.

Доступ открывают постепенно пользователям Pro и Max. Если Projects ещё нет, можно записаться в лист ожидания.

И главное: координатор и исполнители расходуют общие лимиты подписки. По умолчанию задачи запускаются на Opus с высоким уровнем усилий. Собрать себе маленький отдел разработки теперь стало проще! 👍

Подписку Claude теперь можно использовать в Hermes

Если у тебя уже настроен Hermes и есть Claude Pro или Max подписка, появилась возможность использовать их вместе. Nous Research выпустили плагин Claude Subscription DirectSDK - он подключает подписку через установленный Claude Code.

Ты продолжаешь работать в Hermes со своими skills, памятью и инструментами, но запросы к модели идут через твой аккаунт Claude. Отдельный API ключ для этого подключения не нужен.

Если пропустил, про сам Hermes рассказывал здесь.

Как подключить

Нужны Hermes 0.21.4+, установленный Claude Code и подписка Pro или Max:

hermes plugins install claude-subscription-directsdk
claude auth login
hermes model

В списке провайдеров выбери Claude Subscription DirectSDK (Experimental), затем модель.

Что с лимитами?

Запросы расходуют квоту подписки. Anthropic ранее планировали отдельные SDK кредиты, но приостановили переход: Agent SDK и claude -p пока продолжают использовать лимиты тарифа.

Есть нюанс: в тесте авторов плагина сопоставимый объём токенов расходовал примерно в 1,7 раза больше лимита, чем интерактивный Claude Code.

Это не значит, что каждая задача обойдётся ровно в 1,7 раза дороже. Агенты могут делать разное количество запросов и передавать разный объём контекста. Сравнивать лучше на своих задачах.

И самое главное, как с правилами Anthropic?

Правила допускают вход со своей подпиской в неизменённый Claude Code, в том числе на сторонней платформе при соблюдении условий. Поэтому сам запуск через Hermes ещё не означает нарушение. У автора Hermes прямо спросили в комментариях - нарушает ли этот плагин Terms Of Service? Ответ был:"НЕТ"

Если важно сохранить аккаунт, можно подождать и посмотреть результаты других. Если не терпится попробовать, можно завести отдельный аккаунт и проверить. По ToS обычно отлетают очень быстро сейчас 😢



• Сама новость
• Плагин и документация

Claude Code вышел в облаке для всех

Anthropic объявили о выходе облачных сессий из research preview. Claude Code выполняет задачу на серверах компании, и можно выключить компьютер и позже посмотреть результат с телефона.

Для чего я бы это попробовал

Есть небольшая задача, которую ты всё откладываешь: исправить ошибку, разобраться с падающим тестом или обновить инструкцию по запуску проекта. Описал результат, отправил в работу, вернулся к проверке изменений, когда удобно и где удобно.

Мне пока-что не понятно по лимитам, поэтому не хочу что-то ресурсоёмкое запускать, буду тестить постепенно.

Для первого раза я бы выбрал одну понятную ошибку с воспроизводимыми шагами. Так проще оценить, насколько тебе подходит этот способ работы.

Как запустить первую задачу?

1. Открой claude.ai/code и войди в свой аккаунт.

2. Подключи GitHub по подсказкам. Для приватного репозитория предоставь доступ Claude GitHub App, нужно выбрать репозиторий и ветку.

3. Опиши задачу: что происходит сейчас, что должно получиться и как это проверить. Если хочешь сначала обсудить решение, выбери Plan и согласуй план перед правками.

4. После выполнения открой изменения, проверь результаты тестов и при необходимости отправь уточнение.

Если-что вот оффициальная инструкция, которая поможет детально рассмотреть и изучить 👍

Например, можно начать так:

Исправь ошибку: [что происходит].
Шаги воспроизведения: [что нужно сделать].
Ожидаемый результат: [как должно работать].

Найди причину и внеси минимальное исправление. Добавь проверку, которая воспроизводит ошибку, и запусти подходящие тесты.

В конце покажи изменения, результаты проверок и то, что проверить не удалось. Не объединяй изменения с основной веткой и не запускай деплой.

Через терминал тоже можно

После подключения GitHub и входа в Claude Code под тем же аккаунтом запусти из папки проекта:

claude --cloud "Найди причину падения теста [название] и подготовь исправление с проверкой результата"

Из текущего диалога не получится, только через новый. Соответсвенно если открыто окно и хочется продолжить, попроси клод дать всё нужное для новой ссессии и выполни команду /clear и на всякий случай обнови клод в CLI до последнего.

Чем отличается от Remote Control и Projects?

Remote Control позволяет управлять сессией на твоём компьютере, он должен продолжать работать. В облачной сессии выполнение удалённое. А Projects помогают координировать несколько облачных сессий в рамках общей работы.

Обычные лимиты аккаунта распространяются и на облако. Если Claude понадобится твой ответ, работа может остановиться до уточнения следующего шага, если есть оффициальное приложение claude, прямо в приложении можно и выбрать. Если приложения нет - скачай.

И небольшой бонус к запуску: действующим подписчикам обещают $100 на Pro и $250 на Max для облачных сессий, отдельно от обычных лимитов. В треде предлагают получить бонус до 7 октября через страницу акции или командой /claim-credit внутри Claude Code.

И да, будь крайне осторожен с бонусными токенами, поставь лимит использования - это во-первых, а во-вторых у меня был какой-то 150$ кредитов, так же как сейчас, я работал и когда оставалось 40$ сессия вышла за рамких моего лимита (там было 35$) и я ушёл в -24$.

Поэтому я бы рекомендовал для 100$ - до 90-95$ и контроллировать прям страницу и для 250$ гдк-то ближе к 245$.

OpenAI меняет условия Pro за $200: что будет с лимитами Codex

OpenAI снова откроет подписку Pro за $200 для новых пользователей. Вместе с этим изменится расчёт использования: доступный объём в пересчёте на стоимость API станет вдвое меньше, чем на прежнем Pro за $200. Увы, но про остальные тарифы в этом анонсе не сказано.

Тибо объясняет это тем, что модели становятся дешевле и эффективнее. По его словам, это должно позволять выполнять больше работы за те же деньги. Пятичасовой лимит возвращать не планируют, недельный объём можно будет расходовать тогда, когда тебе удобно.

Ещё обещают добавить возможности, которые вообще не будут расходовать этот лимит. Какие именно? Пока не раскрыли.

Насколько изменится объём работы на твоих задачах, станет понятнее после запуска новых условий. Делать вывод "теперь смогу работать ровно вдвое меньше" пока-что рано. 😓

Для тех, кто уже оплачивает Pro, в самом анонсе порядок перехода на новые условия не расписан.

GPT-6.1 Sol ожидается к раскатке уже сегодня. По своим интеллектуальным возможностям приближающееся к Astra, но по цене, составляющей одну пятую от стоимости Astra, и с 95-процентным снижением затрат на чтение из кэша. Это настоящий «рабочий конь».

В сочетании с технологией «Ultrafast», обеспечивающей 8-кратное ускорение, которая уже доступна для Astra и скоро появится для 6.1 Sol.

Есть ждуны? 😉

Как снизить риск бана в Claude и не потерять деньги

Первого октября Anthropic провела массовые блокировки аккаунтов в Claude и скорее-всего причиной того стали обходы блокировок, в частности использование VPN, вход из неподдерживаемых регионов (Китай, Россия, Гонконг и т.д).

Похожая блокировка уже была примерно весной этого года, но не такая массовая, да и сравнивая с текущей видно, что улучшили механизм выявления нарушения ToS по причинам из первого абзаца.

Если раньше давали возможность вернуть оплату подписки, то сейчас и это забрали, поэтому имейте ввиду, что в случае блокировки аккаунта деньги не вернут, увы. Дадут только выгрузить все материалы, что остались.

Я подумал, пообщался с коллегами, изучил и почитал, и ниже примерное виденье того, как можно обезопасить себя, чтобы минимизировать шанс получения бана.

1. Используй свой аккаунт только сам, не передавай третьим лицам. Во-первых запрещено по ToS, во-вторых тот, кому дал может сидеть с другого IP адреса, железа. И даже если сейчас не собирают по железу данных, мне кажется этого не делают, то могут это делать в будущем, через 3-6-12 месяцев, и тем самым риск может увеличиться.

2. Разберись с подключением. Если используешь какое-то стороннее IDE, убедись, что в рамках ToS всё ок. Вдруг где-то в настройках или под-капотом идёт смена IP или другие функции, что могут привести к бану. Есть ещё теория (не подтверждённая), что в офф. программе от клода может-быть больше собираемых данных по телеметрии, нежели через CLI.

3. Не принимай гипотезы за правду. В некоторых тредах на реддит я видел утверждение, что "использование мобильного приложения = бан" и мне кажется это неверно. Я бы отнёс это к следствию, а причиной скорее-всего является резкая смена IP адреса, частый засвет своим реальным IP из РФ / РБ.

В Pokemon GO была антифрод функция, что если ты в 10 утра по GMT находишься в Стамбуле, а скажем через 50 минут в Сиднее, то аккаунт получал временное ограничение.

4. Если бан подтверждён - подай апелляцию. Используй официальный путь из справки Anthropic. Приложи точное сообщение, время, чек и честное описание сценария работы. Шанс на разбан небольшой, но не равен 0. Моему другу это помогло и после аппеляции ему дали разбан.

5. Сделай бэкап данных. Для личных тарифов: Settings -> Privacy -> Export data. Ссылка из письма действует 24 часа. Распакуй архив и проверь, что нужные разговоры действительно внутри. По справке Anthropic экспорт доступен и после бана, но состав данных может быть ограничен.

6. Свой аккаунт = свои данным. Если покупать с маркета аккаунты, то не понятна их история, чем пополнялись, как регистрировались и т.д. Но здесь может-быть палка о двух канцах, если аккаунты старые по регистрации, продавец надёжный и есть отзывы, что ок, то мб второй пункт и мимо.

7. Выключи "Location metadata" и "Help improve our AI models". Можешь сам прочитать про первый пункт и убедиться, что это разрешает использование твоего IP адреса в фичевых целях. Выключается: Settings -> Privacy делается это на сайте (см. скриншот поста)

После всех пунктов я бы подытожил так: нужен один IP адрес на все девайсы, где ты заходишь для использования Claude Code. Настройки из П7 выключены, аккаунт на "добивку токенов" не передаётся кому-то, чтобы IP не менялось.

Здесь ещё интересна тенденция, что явно в этот раз усилилась глубина и широта банов. Возможно это происходит перед IPO, чтобы показать регуляторам и нужным людям, как всё клёво у Anthropic и кошмарить после IPO перестанут.

Если у тебя есть фидбек, что и как ты делал, получил / не получил бан, или совет, виденье как обезопасить я, как и другие будут рады прочитать в комментариях, спасибо! 👍

P.S особо не расстраиваемся, пробуем ещё-раз, либо можно спокойно мигрировать на Grok, Gemini, Codex, GLM и т.д. ✊