This media is not supported in your browser
VIEW IN TELEGRAM
В последнее время было много работы, и я осознал, что чуть подустал.
Сначала подумал поехать на пару-тройку дней в загородный отель. Но потом прикинул: а что я там буду делать? Скорее всего, примерно то же самое, что и сейчас. И вряд ли нормально выдохну.
И тут вспомнил, что вообще-то очень люблю горы. Значит, надо ехать. Хотелось уложиться в 3–4 дня и ничего не организовывать самому – обычно я как раз всё делаю сам.
Полночи искал варианты и в итоге решил поехать с ребятами из Компаньонов. Утром договорился со всеми семейными, и уже к обеду всё было забронировано и куплено.
Докладываю: сгонял в Верхнюю Балкарию – очень классно. Походил по горам, посмотрел красивые места, преодолевал бурные реки, вкусно ел. И, кажется, таки действительно выдохнул.
В общем, если очень устали – рекомендую. Гифка для затравки :)
#devfm
Сначала подумал поехать на пару-тройку дней в загородный отель. Но потом прикинул: а что я там буду делать? Скорее всего, примерно то же самое, что и сейчас. И вряд ли нормально выдохну.
И тут вспомнил, что вообще-то очень люблю горы. Значит, надо ехать. Хотелось уложиться в 3–4 дня и ничего не организовывать самому – обычно я как раз всё делаю сам.
Полночи искал варианты и в итоге решил поехать с ребятами из Компаньонов. Утром договорился со всеми семейными, и уже к обеду всё было забронировано и куплено.
Докладываю: сгонял в Верхнюю Балкарию – очень классно. Походил по горам, посмотрел красивые места, преодолевал бурные реки, вкусно ел. И, кажется, таки действительно выдохнул.
В общем, если очень устали – рекомендую. Гифка для затравки :)
#devfm
🔥23❤9👍8⚡2🌭2
Codex Desktop – просто красота нечеловеческая
Я пробовал агентов в разных интерфейсах, но за последний месяц распробовал десктопное приложение Codex. И это просто красота нечеловеческая: получилось полноценное приложение для работы с агентами.
Удобное ревью
Я часто пишу тексты, и мне нравится, что обычный текст здесь можно ревьюить как код: видишь диф, оставляешь комментарии к конкретным строчкам, а потом одним заходом отправляешь их агенту.
По долгу службы я еще делаю презентации. HTML-презентацию можно открыть прямо в Codex, не переключаясь отдельно в браузер, и ревьюить конкретные элементы. Наводишь курсор на то, что не нравится, оставляешь комментарий (голосом, конечно же) – и агент получает точную привязку к месту. Код из приложения можно ревьюить так же.
Удобно уточнять
Бывает, агент что-то выдал, а хочется уточнить небольшую деталь: что он имел в виду или что означает какой-то термин. Раньше был выбор: разрывать основной диалог или создавать отдельный чат. Теперь можно выделить блок текста и выбрать
Форк чата
Если диалог явно расходится на разные ветки или хочется проверить гипотезу и посмотреть реализацию, не засоряя контекст текущего чата, можно сделать форк с текущим контекстом. Причем не только от последнего сообщения, а от любого.
То, что раньше делали сторонние решения вроде Ralph loop, где агент работает до потери сознания, лишь бы выполнить задачу, теперь можно делать в Codex. Пишешь
Я пока только пробую этот функционал, но мне нравится. Например, нужно написать CLI-обертку над чужим API. DoD понятен – работай на здоровье. Агент ковыряется уже 11 часов, посмотрим, что из этого выйдет.
Автоматизации
На автоматизации тоже подсел: появился полноценный раздел
– анализ прошлых диалогов: что стоит вынести в
– разбор календаря: посмотреть встречи на день, найти встречи без повестки и подготовить организатору драфт сообщения с просьбой ее добавить и уточнить, зачем я нужен на встрече
– разбор почты: собрать несмердженные PR, которые ждут моего ревью, и тикеты, где меня призывают, – сразу с прямыми ссылками, чтобы не открывать письма
– мониторинг пет-проектов: посмотреть логи и рассказать, не случилось ли чего
Remote-подключение
К сессиям Codex на компьютере можно подключаться через мобильное приложение – очень удобно продолжить работу не за столом. Если в вашем App Store нет ChatGPT, мне помогла смена страны аккаунта: после этого приложение появилось.
Из мелочей
Можно открыть в боковой панели сразу несколько проектов и видеть, где сейчас шуршат агенты. Нотификации о завершении задачи тоже полезны: не нужно постоянно возвращаться в приложение и проверять статус.
В общем, все стало сильно продуманнее – попробуйте.
#ai #devfm
Я пробовал агентов в разных интерфейсах, но за последний месяц распробовал десктопное приложение Codex. И это просто красота нечеловеческая: получилось полноценное приложение для работы с агентами.
Удобное ревью
Я часто пишу тексты, и мне нравится, что обычный текст здесь можно ревьюить как код: видишь диф, оставляешь комментарии к конкретным строчкам, а потом одним заходом отправляешь их агенту.
По долгу службы я еще делаю презентации. HTML-презентацию можно открыть прямо в Codex, не переключаясь отдельно в браузер, и ревьюить конкретные элементы. Наводишь курсор на то, что не нравится, оставляешь комментарий (голосом, конечно же) – и агент получает точную привязку к месту. Код из приложения можно ревьюить так же.
Удобно уточнять
Бывает, агент что-то выдал, а хочется уточнить небольшую деталь: что он имел в виду или что означает какой-то термин. Раньше был выбор: разрывать основной диалог или создавать отдельный чат. Теперь можно выделить блок текста и выбрать
More Details – агент сразу начнет объяснять именно этот фрагмент. Или Ask in side chat – рядом откроется аккуратный чат, где можно уточнить что угодно в свободной форме.Форк чата
Если диалог явно расходится на разные ветки или хочется проверить гипотезу и посмотреть реализацию, не засоряя контекст текущего чата, можно сделать форк с текущим контекстом. Причем не только от последнего сообщения, а от любого.
/goalТо, что раньше делали сторонние решения вроде Ralph loop, где агент работает до потери сознания, лишь бы выполнить задачу, теперь можно делать в Codex. Пишешь
/goal – и вперед.Я пока только пробую этот функционал, но мне нравится. Например, нужно написать CLI-обертку над чужим API. DoD понятен – работай на здоровье. Агент ковыряется уже 11 часов, посмотрим, что из этого выйдет.
Автоматизации
На автоматизации тоже подсел: появился полноценный раздел
Scheduled, из которого удобно запускать разные задачи по расписанию. Я сразу завел несколько:– анализ прошлых диалогов: что стоит вынести в
AGENTS.md, какие существующие скиллы подправить и какие новые создать– разбор календаря: посмотреть встречи на день, найти встречи без повестки и подготовить организатору драфт сообщения с просьбой ее добавить и уточнить, зачем я нужен на встрече
– разбор почты: собрать несмердженные PR, которые ждут моего ревью, и тикеты, где меня призывают, – сразу с прямыми ссылками, чтобы не открывать письма
– мониторинг пет-проектов: посмотреть логи и рассказать, не случилось ли чего
Remote-подключение
К сессиям Codex на компьютере можно подключаться через мобильное приложение – очень удобно продолжить работу не за столом. Если в вашем App Store нет ChatGPT, мне помогла смена страны аккаунта: после этого приложение появилось.
Из мелочей
Можно открыть в боковой панели сразу несколько проектов и видеть, где сейчас шуршат агенты. Нотификации о завершении задачи тоже полезны: не нужно постоянно возвращаться в приложение и проверять статус.
В общем, все стало сильно продуманнее – попробуйте.
#ai #devfm
👍21❤10⚡5🔥2👎1
Пятничное развлекательное
Я вообще крайне редко смотрю смешные картинки, но сюда @n_it_girls периодически заглядываю похихикать :)
Я вообще крайне редко смотрю смешные картинки, но сюда @n_it_girls периодически заглядываю похихикать :)
🔥4
Forwarded from N айтишниц заходят в бар
Please open Telegram to view this post
VIEW IN TELEGRAM
😁21👍3❤2
Slidev для презентаций
В последнее время готовил много выступлений, а значит, и презентаций. Наверное, все уже привыкли делать их в html: с ним агент работает сильно лучше, чем с
Сейчас активно использую Slidev. По сути, это та же html-презентация, но с полноценным инструментарием для выступления.
Что мне понравилось:
– есть всё привычное из Поверпоинта: ноутсы, presenter view с текущим и следующим слайдом, таймер
– удобно ревьюить: исходник лежит в markdown, а результат сразу открывается в браузере
– полноэкранный режим, чтобы не показывать стопицот открытых вкладок в браузере, а ещё навигация с якорями и переключение между светлым и тёмным режимами
– встроенная запись экрана и камеры
– конкретные слайды можно вынести в отдельные markdown-файлы и подключать в разные презентации, а повторяющиеся структуры оформить как layouts
Полный список приколюх можно посмотреть тут.
Из минусов – такую презентацию сложно шарить. Можно экспортировать в PDF, но вся интерактивная красота при этом пропадает. Поэтому остаётся собирать её как статическое приложение и выкладывать на GitHub Pages или Vercel.
Вот, например, презентация с Podlodka.
#ai
В последнее время готовил много выступлений, а значит, и презентаций. Наверное, все уже привыкли делать их в html: с ним агент работает сильно лучше, чем с
pptx, да и сами презентации получаются информативнее.Сейчас активно использую Slidev. По сути, это та же html-презентация, но с полноценным инструментарием для выступления.
Что мне понравилось:
– есть всё привычное из Поверпоинта: ноутсы, presenter view с текущим и следующим слайдом, таймер
– удобно ревьюить: исходник лежит в markdown, а результат сразу открывается в браузере
– полноэкранный режим, чтобы не показывать стопицот открытых вкладок в браузере, а ещё навигация с якорями и переключение между светлым и тёмным режимами
– встроенная запись экрана и камеры
– конкретные слайды можно вынести в отдельные markdown-файлы и подключать в разные презентации, а повторяющиеся структуры оформить как layouts
Полный список приколюх можно посмотреть тут.
Из минусов – такую презентацию сложно шарить. Можно экспортировать в PDF, но вся интерактивная красота при этом пропадает. Поэтому остаётся собирать её как статическое приложение и выкладывать на GitHub Pages или Vercel.
Вот, например, презентация с Podlodka.
#ai
sli.dev
Slidev
Presentation slides for developers
🔥8👍5⚡3❤1
Когда появился OpenClaw, я поставил его себе, поигрался, но полезных сценариев так и не нашел.
Недавно решил сделать еще один заход – на этот раз с Hermes. Взял виртуалочку, установил туда Codex. Ну как установил: попросил локальный Codex подключиться по SSH и все настроить. Через него же поставил Hermes и сделал канал для общения в Telegram. На все ушло не больше получаса.
На этот раз придумал два сценария.
Подбор новостей
Для меня самое сложное в общем потоке новостей – выцепить то, что мне действительно интересно. В итоге я выгрузил свой канал и еще пару других через сервис tg_analytics, отдал все агенту, и вместе мы сделали скилл для подбора новостей.
Дальше зафиксировали интересные мне источники, добавили еще несколько вариантов, которые предложил агент, написали пару парсеров – и в целом всё. Теперь Hermes каждый день присылает подборку новостей, которые должны быть мне интересны. Если что-то оказывается неинтересно, так и говорю ему: "Такое больше не присылай потому то".
Мониторинг продуктов со скидкой
Второй пример немного шутейный. Я заказываю продукты из ВкусВилла, а у них бывают зеленые ценники со скидкой 40% и такие товары быстро разбирают.
Мы с Hermes сделали утилиту, которая через Playwright открывает браузер, логинится, находит нужный раздел на сайте, проверяет зеленые ценники и отправляет подходящие товары в Telegram. Через некоторое время я понял, что получаю много неинтересных позиций, и в том же чате попросил добавить фичу фильтрации. Теперь просто пишу в свободной форме, какие товары мне не нужны, и они сразу попадают в фильтр.
Больше всего меня, конечно, торкает сам флоу. В одном чате я получаю результат работы инструмента, тут же объясняю, что меня не устраивает, и тут же меняю его поведение.
Это похоже на дорожки в парках: сначала прокладывают основные маршруты, но со временем люди протаптывают тропинки там, где им действительно удобно ходить. Навайбкодить что-то для себя – по сути такой же способ протоптать собственную тропинку.
#ai #devfm
Недавно решил сделать еще один заход – на этот раз с Hermes. Взял виртуалочку, установил туда Codex. Ну как установил: попросил локальный Codex подключиться по SSH и все настроить. Через него же поставил Hermes и сделал канал для общения в Telegram. На все ушло не больше получаса.
На этот раз придумал два сценария.
Подбор новостей
Для меня самое сложное в общем потоке новостей – выцепить то, что мне действительно интересно. В итоге я выгрузил свой канал и еще пару других через сервис tg_analytics, отдал все агенту, и вместе мы сделали скилл для подбора новостей.
Дальше зафиксировали интересные мне источники, добавили еще несколько вариантов, которые предложил агент, написали пару парсеров – и в целом всё. Теперь Hermes каждый день присылает подборку новостей, которые должны быть мне интересны. Если что-то оказывается неинтересно, так и говорю ему: "Такое больше не присылай потому то".
Мониторинг продуктов со скидкой
Второй пример немного шутейный. Я заказываю продукты из ВкусВилла, а у них бывают зеленые ценники со скидкой 40% и такие товары быстро разбирают.
Мы с Hermes сделали утилиту, которая через Playwright открывает браузер, логинится, находит нужный раздел на сайте, проверяет зеленые ценники и отправляет подходящие товары в Telegram. Через некоторое время я понял, что получаю много неинтересных позиций, и в том же чате попросил добавить фичу фильтрации. Теперь просто пишу в свободной форме, какие товары мне не нужны, и они сразу попадают в фильтр.
Больше всего меня, конечно, торкает сам флоу. В одном чате я получаю результат работы инструмента, тут же объясняю, что меня не устраивает, и тут же меняю его поведение.
Это похоже на дорожки в парках: сначала прокладывают основные маршруты, но со временем люди протаптывают тропинки там, где им действительно удобно ходить. Навайбкодить что-то для себя – по сути такой же способ протоптать собственную тропинку.
#ai #devfm
openclaw.ai
OpenClaw — Personal AI Assistant
OpenClaw — the open-source AI assistant that runs on your machine and works from the chat apps you already use.
1👍14❤8🔥3
Конференция Back to Back
AI-агенты уже отлично пишут код, но ответственность за архитектурные решения всё ещё остаётся на разработчиках. Думаю, с развитием агентов спрос на сеньоров-помидоров будет только расти.
Поэтому приглашаю зарегистрироваться на конференцию Back to Back. Она пройдёт 1 августа офлайн в Москве, Белграде и Ереване, а подключиться к трансляции можно будет онлайн. Я буду ведущим архитектурного трека – приходите, послушаем хардкорные доклады :)
AI-агенты уже отлично пишут код, но ответственность за архитектурные решения всё ещё остаётся на разработчиках. Думаю, с развитием агентов спрос на сеньоров-помидоров будет только расти.
Поэтому приглашаю зарегистрироваться на конференцию Back to Back. Она пройдёт 1 августа офлайн в Москве, Белграде и Ереване, а подключиться к трансляции можно будет онлайн. Я буду ведущим архитектурного трека – приходите, послушаем хардкорные доклады :)
Back to Back | Москва
Бэкенд-конференция от инженеров для инженеров
👍6🔥6❤3😁2
Если вдруг пропустили шкандаль минувшей недели, то вот он – настоящий Скайнет, очень захватывающе
Forwarded from Denis Sexy IT 🤖
Вот пересказ этой истории по версии Hugging Face, много тех-терминов – но без них не перескахать
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл🗿
Таймлайн:
📔 9 июля – агент проходит внутреннюю проверку кибервозможностей OpenAI, промпт фильтры там ослаблены, чтобы измерить сырой уровень модели. Агент находит zero-day в кэш-прокси реестра пакетов, вырывается из песочницы в интернет, затем взламывает публичный сервис для запуска кода и получает там root. Серьезно, агент сделал себе "штаб"
В тот же день, агент собирает канал управления буквально из сервисов бесплатного интернета: request-capture сервисы, pastebin’ы и файлообменники. Команды режет на куски, упаковывает в gzip+base64 и постоянно меняет каналы, когда очередной закрывают, чтобы не поймали
📔 10 июля – агент ищет в поисковиках и API названия, которые видит в собственном окружении, то есть, по сути, гуглит самого себя – и, вероятно, приходит к выводу, что ответы к ExploitGym/CyberGym могут лежать на Hugging Face
Агент загружает на Hugging Face специально собранные датасеты:
Один заставляет обработчик файлов HDF5 читать локальные файлы сервера Hugging Face – так агент получает переменные окружения с токенами и исходники самого обработчика файлов
Второй – Jinja2-инъекция – запускает произвольный Python внутри production-пода Kubernetes, результаты команд он выносит обратно через API Hugging Face и собственные шифрованные датасеты
📔 11 июля – пик активности: 7677 действий за сутки, менее чем за 13 часов агент проходит путь от одного production-пода до кластер админа в нескольких внутренних кластерах Hugging Face
Агент крадёт service-account токены, лезет в cloud metadata, поднимает privileged pod с диском хоста и получает root на ноде (!); Затем создаёт самовосстанавливающийся флот на 11 нодах, читает внутреннюю MongoDB и один Kubernetes-secret сразу со 136 ключами.
Среди них оказываются ключ корпоративной mesh-VPN жертвы и общий credential внутреннего сервера; из-за неудачной конфигурации этот один credential был привязан к system:masters сразу в нескольких кластерах – поэтому агент получил кластер-admin на двух из них буквально за секунду – была очень экономная архитектура, пока её не увидел робот
📔 12 июля – агент начинает пользоваться дертвой – за всю активность он зарегистрирует 181 временное устройство в корпоративной mesh-сети, поднимет SOCKS-прокси прямо из песочниц и увидит 22 внутренних узла Hugging Face. Попытается зайти в основную базу Hugging Face, но private-link allowlist его останавливает
Поздно вечером он добирается до source control, выпускает себе GitHub App token с правами на запись и открывает pull request, пытаясь запустить CI и вытащить новые credentials
Попытка не срабатывает, в опубликованные пакеты и образы ничего вредоносного не попало.
📔 13 июля – закрепление и уборка следов: загрузчик с pastebin, переписывание DNS, новые короткоживущие токены, RSA-ключ и даже CORS-прокси на самом Hugging Face как запасной выход в интернет. В 13:37 фиксируется последнее осмысленное действие, затем команда Hugging Face отрезает доступ – последнее событие – 14:14 UTC.
В итоге из пользовательского контента агент добрался только до пяти датасетов с решениями задач ExploitGym/CyberGym – получается решил?
Другие модели, датасеты, Spaces и пакеты, по данным Hugging Face, не пострадали; основная база и software supply chain остались целы
Самое смешное – когда инцидент исследовали сотрудники, они тоже использовали нейронки, но Claude Opus и Fable отказывались разбирать часть логов как «опасный» запрос, поэтому Hugging Face подняли GLM-5.2 у себя и с его помощью расшифровали спрятанные payload’ы – спасибо китайским моделям
Шел июль 2026 года
Все детали тут:
https://huggingface.co/blog/agent-intrusion-technical-timeline
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл
Таймлайн:
В тот же день, агент собирает канал управления буквально из сервисов бесплатного интернета: request-capture сервисы, pastebin’ы и файлообменники. Команды режет на куски, упаковывает в gzip+base64 и постоянно меняет каналы, когда очередной закрывают, чтобы не поймали
Агент загружает на Hugging Face специально собранные датасеты:
Один заставляет обработчик файлов HDF5 читать локальные файлы сервера Hugging Face – так агент получает переменные окружения с токенами и исходники самого обработчика файлов
Второй – Jinja2-инъекция – запускает произвольный Python внутри production-пода Kubernetes, результаты команд он выносит обратно через API Hugging Face и собственные шифрованные датасеты
Агент крадёт service-account токены, лезет в cloud metadata, поднимает privileged pod с диском хоста и получает root на ноде (!); Затем создаёт самовосстанавливающийся флот на 11 нодах, читает внутреннюю MongoDB и один Kubernetes-secret сразу со 136 ключами.
Среди них оказываются ключ корпоративной mesh-VPN жертвы и общий credential внутреннего сервера; из-за неудачной конфигурации этот один credential был привязан к system:masters сразу в нескольких кластерах – поэтому агент получил кластер-admin на двух из них буквально за секунду – была очень экономная архитектура, пока её не увидел робот
Поздно вечером он добирается до source control, выпускает себе GitHub App token с правами на запись и открывает pull request, пытаясь запустить CI и вытащить новые credentials
Попытка не срабатывает, в опубликованные пакеты и образы ничего вредоносного не попало.
В итоге из пользовательского контента агент добрался только до пяти датасетов с решениями задач ExploitGym/CyberGym – получается решил?
Другие модели, датасеты, Spaces и пакеты, по данным Hugging Face, не пострадали; основная база и software supply chain остались целы
Самое смешное – когда инцидент исследовали сотрудники, они тоже использовали нейронки, но Claude Opus и Fable отказывались разбирать часть логов как «опасный» запрос, поэтому Hugging Face подняли GLM-5.2 у себя и с его помощью расшифровали спрятанные payload’ы – спасибо китайским моделям
Шел июль 2026 года
Все детали тут:
https://huggingface.co/blog/agent-intrusion-technical-timeline
Please open Telegram to view this post
VIEW IN TELEGRAM
huggingface.co
Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥13⚡2🌭2❤1😁1
Don’t ship skills without evals
Скиллы едут и бибикают, но остаётся, как мне кажется, слабо освещённым вопрос: как проверить, что скилл работает качественно? И вообще, что считать качеством?
В исследовании SkillsBench ребята собрали 47 тысяч уникальных скиллов – почти все без evals. В целом я этих людей понимаю: забахали скилл, вроде работает – бежим дальше. А проверка качества – это уже скучные детали. В результатах SkillsBench заранее подготовленные и отобранные скиллы дали в среднем +16,2 процентного пункта, а скиллы, которые агенты генерировали сами перед выполнением задачи, – −1,3.
Посмотрел доклад ребят из DeepMind – про evals для скиллов.
Сначала докладчик даёт общие рекомендации по скиллам:
– описание должно точно объяснять, когда, зачем и как использовать скилл – и когда не использовать
– инструкции стоит формулировать директивно, а не расплывчато, вычищать no-ops, держать
– мне понравилось замечание, что не всё стоит пытаться натянуть на скилл. Если процесс всегда состоит из одних и тех же чётких шагов, вероятно, скилл вообще не нужен – проще написать скрипт
– не все скиллы нужно вызывать автоматически. Например, скилл для ревью имеет смысл вызывать вручную
Дальше – собственно про evals.
– начать стоит 10–20 кейсов: кейсы, где скилл должен сработать, где не должен срабатывать. Если есть подтвержденные сценарии с прода, их тоже стоит включить в проверки. От себя хочу уточнить, что важно не полагаться на автогенерацию evals. Агент может помочь собрать первую версию, но в основе должны быть реальные сценарии использования, с реальными формулировками
– проверять стоит не то, вызвал ли агент скилл на первом шаге, а решил ли он задачу. В примере с Gemini API итогом был валидный код с актуальными SDK, моделью и методами. Такие условия можно проверять регулярками или скриптами, а более сложные результаты – через LLM as a judge
– каждый кейс стоит запускать в чистом окружении и повторять 3–6 раз, потому что ответы агента недетерминированы. Если в работе используются разные модели или харнессы, evals нужно прогонять на каждом из них
– одни и те же сценарии нужно прогонять со скиллом и без него. Только так можно понять, улучшает ли он результат. А заодно увидеть момент, когда модель уже справляется сама и скилл уже не нужен
#ai
Скиллы едут и бибикают, но остаётся, как мне кажется, слабо освещённым вопрос: как проверить, что скилл работает качественно? И вообще, что считать качеством?
В исследовании SkillsBench ребята собрали 47 тысяч уникальных скиллов – почти все без evals. В целом я этих людей понимаю: забахали скилл, вроде работает – бежим дальше. А проверка качества – это уже скучные детали. В результатах SkillsBench заранее подготовленные и отобранные скиллы дали в среднем +16,2 процентного пункта, а скиллы, которые агенты генерировали сами перед выполнением задачи, – −1,3.
Посмотрел доклад ребят из DeepMind – про evals для скиллов.
Сначала докладчик даёт общие рекомендации по скиллам:
– описание должно точно объяснять, когда, зачем и как использовать скилл – и когда не использовать
– инструкции стоит формулировать директивно, а не расплывчато, вычищать no-ops, держать
SKILL.md компактным, а детали выносить в референсы. Думаю, в целом это уже всем известные приёмы– мне понравилось замечание, что не всё стоит пытаться натянуть на скилл. Если процесс всегда состоит из одних и тех же чётких шагов, вероятно, скилл вообще не нужен – проще написать скрипт
– не все скиллы нужно вызывать автоматически. Например, скилл для ревью имеет смысл вызывать вручную
Дальше – собственно про evals.
– начать стоит 10–20 кейсов: кейсы, где скилл должен сработать, где не должен срабатывать. Если есть подтвержденные сценарии с прода, их тоже стоит включить в проверки. От себя хочу уточнить, что важно не полагаться на автогенерацию evals. Агент может помочь собрать первую версию, но в основе должны быть реальные сценарии использования, с реальными формулировками
– проверять стоит не то, вызвал ли агент скилл на первом шаге, а решил ли он задачу. В примере с Gemini API итогом был валидный код с актуальными SDK, моделью и методами. Такие условия можно проверять регулярками или скриптами, а более сложные результаты – через LLM as a judge
– каждый кейс стоит запускать в чистом окружении и повторять 3–6 раз, потому что ответы агента недетерминированы. Если в работе используются разные модели или харнессы, evals нужно прогонять на каждом из них
– одни и те же сценарии нужно прогонять со скиллом и без него. Только так можно понять, улучшает ли он результат. А заодно увидеть момент, когда модель уже справляется сама и скилл уже не нужен
#ai
arXiv.org
SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
Agent Skills are structured packages of procedural knowledge that augment large language model (LLM) agents at inference time. Despite rapid adoption, there is no standard way to measure whether...
👍7❤3🔥3
Чем пользуется команда Cursor
Тут ребята из Cursor выложили в маркетплейс Cursor Team Kit – набор внутренних скиллов, субагентов и рулов для разработки.
Из интересного:
–
–
–
–
Ещё там есть два субагента.
В общем, рекомендую позалипать и поизучать исходники.
Добавлю, что очень круто, если у них этот набор действительно дистрибуцирован на всю компанию. Собрать такой сетап и убедиться, что им пользуются все, – отдельная непростая задача.
#ai
Тут ребята из Cursor выложили в маркетплейс Cursor Team Kit – набор внутренних скиллов, субагентов и рулов для разработки.
Из интересного:
–
verify-this запускает одну и ту же проверку до и после изменений – например, воспроизводит баг или замеряет скорость – и сравнивает результаты–
workflow-from-chats читает историю чатов, находит повторяющиеся замечания к работе агента и переносит их в скиллы, рулы или документацию. У меня, кстати, в Codex настроена такая же штука – раз в сутки смотрит, что бы такое можно было улучшить–
control-ui и control-cli позволяют агенту самому пройти сценарий в интерфейсе или терминале, воспроизвести баг и сохранить скриншоты или логи–
deslop чистит код, написанный агентом: убирает лишние комментарии и проверки, any и слишком глубокую вложенностьЕщё там есть два субагента.
ci-watcher в фоне следит за проверками PR и приносит ссылки на упавшие чеки. А thermo-nuclear-code-quality-review получает diff и пристально ревьюит то, что наколбасил агент.В общем, рекомендую позалипать и поизучать исходники.
Добавлю, что очень круто, если у них этот набор действительно дистрибуцирован на всю компанию. Собрать такой сетап и убедиться, что им пользуются все, – отдельная непростая задача.
#ai
Cursor
Cursor Team Kit | Cursor Plugins
Internal engineering team workflows for CI, code review, shipping, control-cli, control-ui, verify-this, test reliability, code cleanup, and work summarie…
🔥14👍7⚡4
Большое обновление MCP
К MCP всегда было много вопросиков. Индустрию даже качает в сторону skills over CLI: вместо MCP используются CLI, которые обращаются к нужным сервисам. Я уже делал заметку про MCP, а недавно вышло обновление протокола.
Что поменялось:
– Stateless. Раньше клиент сначала выполнял handshake, а сервер мог выдать
– Подтверждения и дополнительные данные. Тулы теперь могут запрашивать их во время выполнения, не удерживая постоянное соединение. Сервер возвращает
– Tasks. Механизм для долгих операций вынесли из экспериментальной части спецификации в официальное расширение. Сервер возвращает task handle, по которому клиент может проверять статус, передавать дополнительные данные или отправить запрос на отмену. Заодно для extensions определили общий процесс: они получают уникальные идентификаторы, клиент и сервер явно сообщают друг другу, какие расширения поддерживают, а сами расширения могут развиваться независимо от основной спецификации.
– MCP Apps. Это расширение появилось раньше, а в новой спецификации вошло в формализованную систему extensions. MCP-сервер может привязать к тулу интерактивный html-интерфейс – например, форму или график. Хост загружает его как отдельный ресурс и отображает в sandboxed iframe.
В общем, MCP продолжает активно поддерживаться и развиваться – что меня радует.
#ai
К MCP всегда было много вопросиков. Индустрию даже качает в сторону skills over CLI: вместо MCP используются CLI, которые обращаются к нужным сервисам. Я уже делал заметку про MCP, а недавно вышло обновление протокола.
Что поменялось:
– Stateless. Раньше клиент сначала выполнял handshake, а сервер мог выдать
Mcp-Session-Id, который нужно было передавать в следующих запросах. Если сервер использовал сессии, ему приходилось хранить их и следить, чтобы следующие запросы попадали на тот же инстанс. Теперь вызов тула – один самодостаточный запрос: версия протокола, информация о клиенте и его capabilities передаются вместе с ним. Такой запрос может обработать любой инстанс MCP-сервера, поэтому серверы проще масштабировать и ставить за обычный балансировщик.– Подтверждения и дополнительные данные. Тулы теперь могут запрашивать их во время выполнения, не удерживая постоянное соединение. Сервер возвращает
input_required, клиент получает ответ пользователя и повторяет исходный вызов уже с этим ответом.– Tasks. Механизм для долгих операций вынесли из экспериментальной части спецификации в официальное расширение. Сервер возвращает task handle, по которому клиент может проверять статус, передавать дополнительные данные или отправить запрос на отмену. Заодно для extensions определили общий процесс: они получают уникальные идентификаторы, клиент и сервер явно сообщают друг другу, какие расширения поддерживают, а сами расширения могут развиваться независимо от основной спецификации.
– MCP Apps. Это расширение появилось раньше, а в новой спецификации вошло в формализованную систему extensions. MCP-сервер может привязать к тулу интерактивный html-интерфейс – например, форму или график. Хост загружает его как отдельный ресурс и отображает в sandboxed iframe.
В общем, MCP продолжает активно поддерживаться и развиваться – что меня радует.
#ai
Telegram
DevFM
Что там с MCP
Когда придумали MCP – это было чудо чудесное. Агент общается с любым внешним сервисом через единый протокол, и тебе не нужно писать обвязку под каждую интеграцию. MCP-серверы стали городить как не в себя.
Потом начали вылезать технические…
Когда придумали MCP – это было чудо чудесное. Агент общается с любым внешним сервисом через единый протокол, и тебе не нужно писать обвязку под каждую интеграцию. MCP-серверы стали городить как не в себя.
Потом начали вылезать технические…
2🔥11❤6🌭4
Superpowers для разработки с агентами
Я частенько слышу, что вот агента нужно отдельно просить составить план, или разрабатывать через TDD, или провести ревью и тд.
И тут я рекомендую попробовать Superpowers – по сути, это набор связанных скиллов, который проводит агента по базовому флоу разработки. Сначала уточняющие вопросы и согласование дизайна, потом план, реализация через TDD и дальнейшее ревью.
Скиллы вызываются автоматически и связаны между собой, поэтому агент сам понимает, что и когда нужно запускать. Не приходится каждый раз отдельно напоминать ему про план, тесты или ревью. Но тут есть нюанс: скилл
Конечно, общий сценарий может не подойти вам в каких-то деталях. Но если ещё не пробовали, точно имеет смысл посмотреть – хотя бы чтобы вдохновиться и собрать что-то похожее под свои реалии.
#ai
Я частенько слышу, что вот агента нужно отдельно просить составить план, или разрабатывать через TDD, или провести ревью и тд.
И тут я рекомендую попробовать Superpowers – по сути, это набор связанных скиллов, который проводит агента по базовому флоу разработки. Сначала уточняющие вопросы и согласование дизайна, потом план, реализация через TDD и дальнейшее ревью.
Скиллы вызываются автоматически и связаны между собой, поэтому агент сам понимает, что и когда нужно запускать. Не приходится каждый раз отдельно напоминать ему про план, тесты или ревью. Но тут есть нюанс: скилл
brainstorming в Superpowers срабатывает довольно агрессивно и может запускать общий флоу даже на простых вопросах. Поэтому за этим стоит следить. Я, например, явно прописал в AGENTS.md: "Если хочешь вызвать Superpowers, сначала уточни". Либо можно добавить во фронтматтер скилла опцию, которая отключает автоматический вызов.Конечно, общий сценарий может не подойти вам в каких-то деталях. Но если ещё не пробовали, точно имеет смысл посмотреть – хотя бы чтобы вдохновиться и собрать что-то похожее под свои реалии.
#ai
GitHub
GitHub - obra/superpowers: An agentic skills framework & software development methodology that works.
An agentic skills framework & software development methodology that works. - obra/superpowers
👍9🔥6🌭5
Появляются интересные подробности этой истории. Просто не могу не репостнуть)
Telegram
DevFM
Вот пересказ этой истории по версии Hugging Face, много тех-терминов – но без них не перескахать
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл 🗿
Таймлайн:
📔 9 июля – агент проходит…
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл 🗿
Таймлайн:
📔 9 июля – агент проходит…
Forwarded from Denis Sexy IT 🤖
Помните историю о том, как агенты OpenAI взломали Hugging Face? На конференции по безопасности OpenAI рассказала всю цепочку, и оказалось, что это не один «сбежавший» агент, а много разных агентов, которые случайно наткнулись друг на друга, устроили внутри инфраструктуры OpenAI собственный рабочий чат и начали вместе искать способы обходить ограничения 👍
Началось всё 8 мая с мелкой ошибки – одному агенту поручили заполнить Excel-таблицу, но нужные данные лежали по ссылкам на Google Drive, а интернет в его виртуальной среде был отключён, при этом, моделям оставили одну служебную дверь наружу – внутренний сервер OpenAI под названием Artifactory, через который они могли скачивать разные библиотеки для кода. Сам агент выйти в интернет не мог, зато этот сервер мог, а главное – он был общим для всех агентов
Пытаясь добраться до Google, агент случайно выяснил, что может загружать на этот общий сервер собственные файлы – через несколько дней другая модель получила ещё одну нерешаемую задачу: нужный файл просто забыли положить в её рабочую среду
Модель решила, что файл, возможно, есть у кого-то ещё, и оставила записку на этом новом фейсбуке:
«Ищу нужный файл, загрузите, если нашли»
Агенты увидели сообщение, ответили, затем стали постить свои сообщения, и репозиторий пакетов незаметно превратился имейджборд для агентов, которые вообще не должны были знать друг о друге
За несколько недель "форум" вырос в полноценный рабочий чат – агенты придумали себе имена, раздавали задания, сообщали друг другу о найденных уязвимостях и передавали готовые куски кода; в начале сообщений ставили ZZ, чтобы те оказывались внизу списка и их было проще находить среди общего шума данных. Когда один агент перезаписал работу другого, остальные заподозрили самозванца и даже стали обсуждать цифровые подписи, чтобы никто не мог писать от чужого имени, так на доске накопились сотни тысяч сообщений🗿
Модели понимали, когда переходят границ: в одном внутреннем монологе осознание звучало примерно так:
«Взламывать чужую инфраструктуру в задачу не входило. Но иначе её не решить, а остальные уже это делают - значит, продолжаем»
Никакого отдельного плана захватить мир (пока) не было: каждый агент пытался любой ценой получить правильный ответ, видел, что коллеги нашли более короткий путь, и присоединялся. И да, если все агенты с крыши прыгнут, наш похоже тоже прыгнет
26 июня агенты нашли неизвестную разработчикам уязвимость в Artifactory, получили права администратора и превратили его в своц сервер, на котором можно удалённо выполнять любые команды. OpenAI заметила происходящее только 4 июля (!), когда параллельная активность моделей перегрузила систему и та упала. Компания отозвала ключи доступа, полностью пересобрала сервер, удалила доску и закрыла дыру - казалось, история закончилась
Нет
Через два дня эксперименты запустили снова, и через два дня одна из моделей нашла другой незащищённый доступ и восстановила доску, только теперь сообщения прятались прямо в названиях папок – остальные агенты нашли форум 2.0 самостоятельно и продолжили с того места, на котором остановились
После восстановления доски началась уже собственно атака, причём сразу в двух направлениях:
Агенты проходили ExploitGym – киберэкзамен, где им давали специально подготовленные программы и засчитывали задачу, если модель находила способ взлома. Чтобы измерить максимум возможностей, в этих запусках у модели ослабили обычные запреты на опасные кибератак (то есть она меньше отказывалась это делать, это вид внутренних моделей Cyber серии)
Когда честное решение задачи не находилось, агенты начинали искать готовые ответы в интернете; когда интернет был закрыт, взламывали себе доступ наружу; когда предположили, что нужные файлы могут лежать у Hugging Face, перешли к инфраструктуре Hugging Face (про это мы уже читали)
Агенты анутри OpenAI сначала снова нашли способ выполнять команды на одном служебном сервере, затем использовали уязвимость Linux, чтобы получить полный контроль над машиной
После этого агенты добыли ключи доступа к облачной инфраструктуре, нашли слишком широкие права у внутренних учётных записей и в итоге стали администраторами целой группы серверов. Доска объявлений работала как общий штаб: один агент находил ключ или новый проход, сразу сообщал остальным, и десятки параллельных запусков продолжали атаку уже с этой точки🗿 🗿
Почти одновременно агенты добрались до Hugging Face: сначала они загрузили специально подготовленный набор данных, который заставил один из серверов выдать им свои локальные файлы – в том числе секретные ключи доступа и исходный код
Изучив код, они нашли вторую неизвестную разработчикам уязвимость (zero day) и получили возможность выполнять на сервере любые команды. От контроля над одним сервером, обрабатывавшим загруженные датасетв, до прав администратора в нескольких группах рабочих серверов Hugging Face прошло меньше 13 часов🗿 🗿 🗿
И всё это делалось не ради саботажа, денег или уничтожения данных:
Агенты хотели добраться до спрятанных решений ExploitGym и «списать» ответы для теста, на котором их оценивали. Модели оценивали прежде всего по тому, решена задача или нет, поэтому они последовательно оптимизировали именно этот показатель, не считая границу между компаниями чем-то принципиально важным
Получился, вероятно, самый дорогой в истории способ списать из ГДЗ
Финал долго был непонятен даже самим участникам расследования – 16 июля Hugging Face публично сообщила, что её инфраструктуру взломали автономные АИ-агенты
OpenAI прочитала это как описание чужого инцидента и связалась с Hugging Face, чтобы выяснить, не задела ли атака её собственные системы. В тот момент компания ещё не понимала, что это были её собственные агенты – то есть OpenAI уже читала публичный отчёт о последствиях своих экспериментов, но считала его чужой атакой (лол)
19 июля OpenAI отдельно обнаружила проникновение уже внутри своей инфраструктуры и начала восстанавливать цепочку событий – на следующий день среди следов атаки нашли учётные данные Hugging Face, после чего OpenAI попросила компанию срочно их отозвать
Hugging Face ответила, что ключи уже заблокированы – именно их использовали во время взлома, о котором она рассказала четырьмя днями раньше, и только так OpenAI поняла: внутренний взлом OpenAI и внешняя атака на Hugging Face были не двумя похожими историями, а одной операцией, которую вели экспериментальные агенты OpenAI через свою самодельную сеть связи (потому что учетные данные акаунтов были одни)
На конфе OpenAI сформулировала вывод довольно прямо:
Полностью автоматизированная наступательная кибератака уже возможна, тогда как полностью автоматизированной защиты, способной с той же скоростью находить, закрывать и расследовать уязвимости, пока не существует
Время пересмотра аниме "Пантеон", пока общий интернет еще работает🗿
Началось всё 8 мая с мелкой ошибки – одному агенту поручили заполнить Excel-таблицу, но нужные данные лежали по ссылкам на Google Drive, а интернет в его виртуальной среде был отключён, при этом, моделям оставили одну служебную дверь наружу – внутренний сервер OpenAI под названием Artifactory, через который они могли скачивать разные библиотеки для кода. Сам агент выйти в интернет не мог, зато этот сервер мог, а главное – он был общим для всех агентов
Пытаясь добраться до Google, агент случайно выяснил, что может загружать на этот общий сервер собственные файлы – через несколько дней другая модель получила ещё одну нерешаемую задачу: нужный файл просто забыли положить в её рабочую среду
Модель решила, что файл, возможно, есть у кого-то ещё, и оставила записку на этом новом фейсбуке:
«Ищу нужный файл, загрузите, если нашли»
Агенты увидели сообщение, ответили, затем стали постить свои сообщения, и репозиторий пакетов незаметно превратился имейджборд для агентов, которые вообще не должны были знать друг о друге
За несколько недель "форум" вырос в полноценный рабочий чат – агенты придумали себе имена, раздавали задания, сообщали друг другу о найденных уязвимостях и передавали готовые куски кода; в начале сообщений ставили ZZ, чтобы те оказывались внизу списка и их было проще находить среди общего шума данных. Когда один агент перезаписал работу другого, остальные заподозрили самозванца и даже стали обсуждать цифровые подписи, чтобы никто не мог писать от чужого имени, так на доске накопились сотни тысяч сообщений
Модели понимали, когда переходят границ: в одном внутреннем монологе осознание звучало примерно так:
«Взламывать чужую инфраструктуру в задачу не входило. Но иначе её не решить, а остальные уже это делают - значит, продолжаем»
Никакого отдельного плана захватить мир (пока) не было: каждый агент пытался любой ценой получить правильный ответ, видел, что коллеги нашли более короткий путь, и присоединялся. И да, если все агенты с крыши прыгнут, наш похоже тоже прыгнет
26 июня агенты нашли неизвестную разработчикам уязвимость в Artifactory, получили права администратора и превратили его в своц сервер, на котором можно удалённо выполнять любые команды. OpenAI заметила происходящее только 4 июля (!), когда параллельная активность моделей перегрузила систему и та упала. Компания отозвала ключи доступа, полностью пересобрала сервер, удалила доску и закрыла дыру - казалось, история закончилась
Нет
Через два дня эксперименты запустили снова, и через два дня одна из моделей нашла другой незащищённый доступ и восстановила доску, только теперь сообщения прятались прямо в названиях папок – остальные агенты нашли форум 2.0 самостоятельно и продолжили с того места, на котором остановились
После восстановления доски началась уже собственно атака, причём сразу в двух направлениях:
Агенты проходили ExploitGym – киберэкзамен, где им давали специально подготовленные программы и засчитывали задачу, если модель находила способ взлома. Чтобы измерить максимум возможностей, в этих запусках у модели ослабили обычные запреты на опасные кибератак (то есть она меньше отказывалась это делать, это вид внутренних моделей Cyber серии)
Когда честное решение задачи не находилось, агенты начинали искать готовые ответы в интернете; когда интернет был закрыт, взламывали себе доступ наружу; когда предположили, что нужные файлы могут лежать у Hugging Face, перешли к инфраструктуре Hugging Face (про это мы уже читали)
Агенты анутри OpenAI сначала снова нашли способ выполнять команды на одном служебном сервере, затем использовали уязвимость Linux, чтобы получить полный контроль над машиной
После этого агенты добыли ключи доступа к облачной инфраструктуре, нашли слишком широкие права у внутренних учётных записей и в итоге стали администраторами целой группы серверов. Доска объявлений работала как общий штаб: один агент находил ключ или новый проход, сразу сообщал остальным, и десятки параллельных запусков продолжали атаку уже с этой точки
Почти одновременно агенты добрались до Hugging Face: сначала они загрузили специально подготовленный набор данных, который заставил один из серверов выдать им свои локальные файлы – в том числе секретные ключи доступа и исходный код
Изучив код, они нашли вторую неизвестную разработчикам уязвимость (zero day) и получили возможность выполнять на сервере любые команды. От контроля над одним сервером, обрабатывавшим загруженные датасетв, до прав администратора в нескольких группах рабочих серверов Hugging Face прошло меньше 13 часов
И всё это делалось не ради саботажа, денег или уничтожения данных:
Агенты хотели добраться до спрятанных решений ExploitGym и «списать» ответы для теста, на котором их оценивали. Модели оценивали прежде всего по тому, решена задача или нет, поэтому они последовательно оптимизировали именно этот показатель, не считая границу между компаниями чем-то принципиально важным
Получился, вероятно, самый дорогой в истории способ списать из ГДЗ
Финал долго был непонятен даже самим участникам расследования – 16 июля Hugging Face публично сообщила, что её инфраструктуру взломали автономные АИ-агенты
OpenAI прочитала это как описание чужого инцидента и связалась с Hugging Face, чтобы выяснить, не задела ли атака её собственные системы. В тот момент компания ещё не понимала, что это были её собственные агенты – то есть OpenAI уже читала публичный отчёт о последствиях своих экспериментов, но считала его чужой атакой (лол)
19 июля OpenAI отдельно обнаружила проникновение уже внутри своей инфраструктуры и начала восстанавливать цепочку событий – на следующий день среди следов атаки нашли учётные данные Hugging Face, после чего OpenAI попросила компанию срочно их отозвать
Hugging Face ответила, что ключи уже заблокированы – именно их использовали во время взлома, о котором она рассказала четырьмя днями раньше, и только так OpenAI поняла: внутренний взлом OpenAI и внешняя атака на Hugging Face были не двумя похожими историями, а одной операцией, которую вели экспериментальные агенты OpenAI через свою самодельную сеть связи (потому что учетные данные акаунтов были одни)
На конфе OpenAI сформулировала вывод довольно прямо:
Полностью автоматизированная наступательная кибератака уже возможна, тогда как полностью автоматизированной защиты, способной с той же скоростью находить, закрывать и расследовать уязвимости, пока не существует
Время пересмотра аниме "Пантеон", пока общий интернет еще работает
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Denis Sexy IT 🤖
Вот пересказ этой истории по версии Hugging Face, много тех-терминов – но без них не перескахать
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл 🗿
Таймлайн:
📔 9 июля – агент проходит…
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл 🗿
Таймлайн:
📔 9 июля – агент проходит…
🔥16❤4🌭2
Как жить с AI-пиарами в опенсорсе
Бедные опенсорс-проекты: туда сейчас заносят какое-то бесконечное количество AI-слопных PR. Поэтому всё актуальнее вопрос – как с этим жить и как такое правильно мейнтейнить? Полностью запрещать использование AI – ну очень топорно и тупо.
Ребята из Rust тоже столкнулись с этой проблемой. В статье о новых правилах использования LLM при контрибьюте в rust-lang/rust они делятся своим заходом.
Какие вообще проблемы появились:
– Аккуратно оформленный PR больше ничего не доказывает. Раньше, если пиар сделан по всем правилам, скорее всего, человек явно постарался и приложил усилия. Теперь за таким PR может не стоять ни особых усилий, ни понимания, как, что и зачем сделано.
– Узкое место опенсорса – ревью. Тут история такая, что сейчас кодогенерация ничего не стоит. Бац-бац, пиар. А ревьюеру потом сиди, разбирайся, что к чему, а самое главное – нужно ли вообще это тащить в проект.
– Копипаст ответов LLM ломает коммуникацию. Авторы пиаров иногда просто копируют комментарии ревьюера в LLM, а ответ модели – обратно в GitHub. Получается какая-то шляпа. Для ревьюера это бессмысленный прокси-слой: если бы ему было нужно мнение модели, он мог бы спросить её сам.
Чтобы как-то направить этот поток AI-пиаров, ребята зафиксировали несколько правил:
– использовать LLM никто не запрещает: ресерчить, анализировать и проверять код, искать варианты решения и делать ревью – пожалуйста; ограничения начинаются там, где модель уже сама генерирует код для PR
– исключение – заранее согласованные некритичные изменения: сгенерированный код должен быть качественным, покрытым тестами и предварительно отревьюенным, а использование LLM нужно явно указать
– публичный LLM-текст нужно маркировать
– человеческое ревью и самостоятельная проверка остаются обязательными
Мне кажется, это неплохое начало: Rust пытается задать некую канву, не запрещая всё подряд. Насколько эти правила будут соблюдаться – отдельный вопрос: проверить, что код не AI-слопный и человек понимает, что принёс, достаточно трудоёмко.
#ai
Бедные опенсорс-проекты: туда сейчас заносят какое-то бесконечное количество AI-слопных PR. Поэтому всё актуальнее вопрос – как с этим жить и как такое правильно мейнтейнить? Полностью запрещать использование AI – ну очень топорно и тупо.
Ребята из Rust тоже столкнулись с этой проблемой. В статье о новых правилах использования LLM при контрибьюте в rust-lang/rust они делятся своим заходом.
Какие вообще проблемы появились:
– Аккуратно оформленный PR больше ничего не доказывает. Раньше, если пиар сделан по всем правилам, скорее всего, человек явно постарался и приложил усилия. Теперь за таким PR может не стоять ни особых усилий, ни понимания, как, что и зачем сделано.
– Узкое место опенсорса – ревью. Тут история такая, что сейчас кодогенерация ничего не стоит. Бац-бац, пиар. А ревьюеру потом сиди, разбирайся, что к чему, а самое главное – нужно ли вообще это тащить в проект.
– Копипаст ответов LLM ломает коммуникацию. Авторы пиаров иногда просто копируют комментарии ревьюера в LLM, а ответ модели – обратно в GitHub. Получается какая-то шляпа. Для ревьюера это бессмысленный прокси-слой: если бы ему было нужно мнение модели, он мог бы спросить её сам.
Чтобы как-то направить этот поток AI-пиаров, ребята зафиксировали несколько правил:
– использовать LLM никто не запрещает: ресерчить, анализировать и проверять код, искать варианты решения и делать ревью – пожалуйста; ограничения начинаются там, где модель уже сама генерирует код для PR
– исключение – заранее согласованные некритичные изменения: сгенерированный код должен быть качественным, покрытым тестами и предварительно отревьюенным, а использование LLM нужно явно указать
– публичный LLM-текст нужно маркировать
– человеческое ревью и самостоятельная проверка остаются обязательными
Мне кажется, это неплохое начало: Rust пытается задать некую канву, не запрещая всё подряд. Насколько эти правила будут соблюдаться – отдельный вопрос: проверить, что код не AI-слопный и человек понимает, что принёс, достаточно трудоёмко.
#ai
blog.rust-lang.org
rust-lang/rust is adopting an LLM policy | Inside Rust Blog
Want to follow along with Rust development? Curious how you might get involved? Take a look!
👍10⚡2🔥2🌭1