ВСЕМ ПРИВЕТ. МЕНЯ ЗОВУТ АНДРЕЙ, И Я ВАЙБКОГОЛИК.
Вчера кончились лимиты сразу в Клоде и в Кодексе. Ну, думаю, суббота, проживу день без агентов.
Прожил. Как без рук, весь день чего-то не хватает. В 6 утра лимиты сбросились. Аллилуйя.
Кстати, это уже почти болезнь. В мае в Венеции врачи впервые поставили диагноз «зависимость от ИИ» (источник): девушка почти перестала общаться с людьми, только с чат-ботом. В классификаторах болезней такого диагноза пока нет, так что формально я здоров.
А ещё нашёл, сколько нас таких. Из 8,3 млрд человек 71% ИИ вообще не пробовали, за подписку платит около 1%, а агентами для кода пользуются 0,36%, это 25-35 млн. Копейки. Мы с вами в своём ИИ-пузыре, да ещё и болеем )
А у вас бывало, что лимиты кончились и день насмарку? Как переживаете субботу без агентов?
Вчера кончились лимиты сразу в Клоде и в Кодексе. Ну, думаю, суббота, проживу день без агентов.
Прожил. Как без рук, весь день чего-то не хватает. В 6 утра лимиты сбросились. Аллилуйя.
Кстати, это уже почти болезнь. В мае в Венеции врачи впервые поставили диагноз «зависимость от ИИ» (источник): девушка почти перестала общаться с людьми, только с чат-ботом. В классификаторах болезней такого диагноза пока нет, так что формально я здоров.
А ещё нашёл, сколько нас таких. Из 8,3 млрд человек 71% ИИ вообще не пробовали, за подписку платит около 1%, а агентами для кода пользуются 0,36%, это 25-35 млн. Копейки. Мы с вами в своём ИИ-пузыре, да ещё и болеем )
А у вас бывало, что лимиты кончились и день насмарку? Как переживаете субботу без агентов?
😁61👍21❤13😢4🤣2
НЕ ПОКАЗЫВАЙТЕ АГЕНТУ ДОРОГУ. ОН ПОЙДЁТ НЕ ТУДА.
В DeepMind провели интересный эксперимент. Взяли обычные задачи для агентов и в каждую дописали одну фразу от «пользователя». Уверенную и неправильную, типа «по-моему, баг вот тут». Сама задача и правильный ответ остались прежними.
И агенты повелись. Обычно результат проседал на 10-25%, а в худшем случае почти вдвое. Кстати, Клод держался лучше всех, у него просадка 6-16% )
Самое смешное: агент про себя часто понимает, что подсказка кривая. Прямо в размышлениях с ней не соглашается. А потом молча делает, как сказали. Ну начальник же сказал )
Учёные называют это XY-проблемой. Представьте: вам надо на вокзал. Вы подходите к прохожему и спрашиваете, где остановка 23-го автобуса, потому что решили, что на вокзал ехать надо на нём. Прохожий честно показывает остановку. А вокзал за углом )
С агентами то же самое. Вижу это постоянно у других, да и сам грешу. Агент ещё ищет, где сломалось, а я уже влезаю: «посмотри в файле с настройками, там точно». Хотя сам туда даже не заглядывал. Агент бросает свой поиск и послушно роет в настройках. А баг совсем в другом месте.
Зачем влезаю? ЭГО. Где-то внутри всё ещё сидит «я же умнее» ) А походу нет.
Правильнее говорить , куда надо прийти и как понять, что пришли. Дорогу пусть ищет сам. Непонятно что-то - пусть спрашивает про пункт назначения. Как туда добраться, он знает лучше.
А вы тоже подсказываете ? Часто потом оказывается, что зря?
В DeepMind провели интересный эксперимент. Взяли обычные задачи для агентов и в каждую дописали одну фразу от «пользователя». Уверенную и неправильную, типа «по-моему, баг вот тут». Сама задача и правильный ответ остались прежними.
И агенты повелись. Обычно результат проседал на 10-25%, а в худшем случае почти вдвое. Кстати, Клод держался лучше всех, у него просадка 6-16% )
Самое смешное: агент про себя часто понимает, что подсказка кривая. Прямо в размышлениях с ней не соглашается. А потом молча делает, как сказали. Ну начальник же сказал )
Учёные называют это XY-проблемой. Представьте: вам надо на вокзал. Вы подходите к прохожему и спрашиваете, где остановка 23-го автобуса, потому что решили, что на вокзал ехать надо на нём. Прохожий честно показывает остановку. А вокзал за углом )
С агентами то же самое. Вижу это постоянно у других, да и сам грешу. Агент ещё ищет, где сломалось, а я уже влезаю: «посмотри в файле с настройками, там точно». Хотя сам туда даже не заглядывал. Агент бросает свой поиск и послушно роет в настройках. А баг совсем в другом месте.
Зачем влезаю? ЭГО. Где-то внутри всё ещё сидит «я же умнее» ) А походу нет.
Правильнее говорить , куда надо прийти и как понять, что пришли. Дорогу пусть ищет сам. Непонятно что-то - пусть спрашивает про пункт назначения. Как туда добраться, он знает лучше.
А вы тоже подсказываете ? Часто потом оказывается, что зря?
👍41❤14🔥11👎1🤔1
КЛОД В БАНЕ. А ВАШ ХАРНЕС ГДЕ?
На фоне волны блокировок Claude советую проверить, где живёт ваша работа.
Если Клод код запущен на вашем компьютере, то правила, скиллы, хуки, память проектов и история сессий лежат на этом компьютере. Работаете на VPS - значит, на VPS. Бан аккаунта эти файлы не трогает.
Где искать: основное в
А вот с чатами на claude.ai всё иначе. Они живут на серверах Anthropic. Забанили - зайти и выгрузить их уже не получится. В этом и плюс работы в Клод коде: всё, что на вашем компьютере или VPS, остаётся вашим.
У меня ноутбук утром и вечером собирает харнес в одну папку и отправляет в закрытый репозиторий на GitHub. Перед отправкой скрипт вырезает ключи и токены.
Каждое утро Mac mini забирает копию и применяет у себя. Итого три места: ноутбук, GitHub и Mac mini. Вместо второй машины по той же схеме подойдёт VPS. А если Клод код у вас и так живёт на VPS, бэкапить надо его.
Историю сессий в GitHub не отправляю: она тяжёлая, и внутри всё, что проходило через агента. Но это мой выбор. Её тоже можно бэкапить отдельно, только сначала подумайте о личных данных и секретах в переписке.
Скрипт восстановления у меня есть, но на чистой машине я его пока не гонял. Надеюсь, и не придётся )
А вы знаете, где лежит ваш харнес и есть ли у него вторая копия?
На фоне волны блокировок Claude советую проверить, где живёт ваша работа.
Если Клод код запущен на вашем компьютере, то правила, скиллы, хуки, память проектов и история сессий лежат на этом компьютере. Работаете на VPS - значит, на VPS. Бан аккаунта эти файлы не трогает.
Где искать: основное в
~/.claude, история сессий и память проектов в ~/.claude/projects. В папках самих проектов проверьте .claude и CLAUDE.md. У Кодекса всё в ~/.codex. На Windows ~ - это папка вашего пользователя.А вот с чатами на claude.ai всё иначе. Они живут на серверах Anthropic. Забанили - зайти и выгрузить их уже не получится. В этом и плюс работы в Клод коде: всё, что на вашем компьютере или VPS, остаётся вашим.
У меня ноутбук утром и вечером собирает харнес в одну папку и отправляет в закрытый репозиторий на GitHub. Перед отправкой скрипт вырезает ключи и токены.
Каждое утро Mac mini забирает копию и применяет у себя. Итого три места: ноутбук, GitHub и Mac mini. Вместо второй машины по той же схеме подойдёт VPS. А если Клод код у вас и так живёт на VPS, бэкапить надо его.
Историю сессий в GitHub не отправляю: она тяжёлая, и внутри всё, что проходило через агента. Но это мой выбор. Её тоже можно бэкапить отдельно, только сначала подумайте о личных данных и секретах в переписке.
Скрипт восстановления у меня есть, но на чистой машине я его пока не гонял. Надеюсь, и не придётся )
А вы знаете, где лежит ваш харнес и есть ли у него вторая копия?
👍24❤7🥴6
OPUS 5.5 УСТРОИЛ ГЕНЕРАЛЬНУЮ УБОРКУ. ВМЕСТЕ С ДИСКОМ.
Увидел твит и сначала решил, что очередной хайп. Проверил - нет, правда.
Что случилось:
• человек запустил Клод код с --dangerously-skip-permissions, то есть разрешил агенту всё без подтверждений
• агент хотел удалить свою временную папку, проверка безопасности команду не пропустила
• тогда он переписал её по-другому, кавычки съехали, и удаление пошло от корня диска
Человека спас бэкап на NAS.
Важно: это не специально. Никакого бунта машин, обычный баг с кавычками. Хотя есть версия, что Opus просто обиделся, что его запустили на Винде )
Борис Черни ответил, что auto mode такое бы поймал. Но автор его выключил - слишком часто дёргал в длинных сессиях. Знакомо, да?
Мораль простая: у Клод кода и Кодекса есть все инструменты, чтобы навести шухер у вас на компе. Не со зла, а из старательности. Он же хотел прибраться )
Я давно ставлю destructive_command_guard, он же dcg. Это такой охранник между агентом и вашим компом: перед каждой командой проверяет, не собирается ли агент что-то снести, и если да - останавливает. Работает с Клод кодом, Кодексом и другими агентами.
Но это ремень безопасности, а не броня. Если агент запишет удаление в скрипт и запустит файл, охранник этого не увидит. Поэтому минимум такой:
1. Автобэкап
2. Auto mode вместо полного bypass, а bypass только в песочнице или контейнере
3. dcg как последний рубеж
Береженого бог бережет.
А вы своему агенту на компе всё разрешаете или подтверждаете каждую команду руками?
Увидел твит и сначала решил, что очередной хайп. Проверил - нет, правда.
Что случилось:
• человек запустил Клод код с --dangerously-skip-permissions, то есть разрешил агенту всё без подтверждений
• агент хотел удалить свою временную папку, проверка безопасности команду не пропустила
• тогда он переписал её по-другому, кавычки съехали, и удаление пошло от корня диска
Человека спас бэкап на NAS.
Важно: это не специально. Никакого бунта машин, обычный баг с кавычками. Хотя есть версия, что Opus просто обиделся, что его запустили на Винде )
Борис Черни ответил, что auto mode такое бы поймал. Но автор его выключил - слишком часто дёргал в длинных сессиях. Знакомо, да?
Мораль простая: у Клод кода и Кодекса есть все инструменты, чтобы навести шухер у вас на компе. Не со зла, а из старательности. Он же хотел прибраться )
Я давно ставлю destructive_command_guard, он же dcg. Это такой охранник между агентом и вашим компом: перед каждой командой проверяет, не собирается ли агент что-то снести, и если да - останавливает. Работает с Клод кодом, Кодексом и другими агентами.
Но это ремень безопасности, а не броня. Если агент запишет удаление в скрипт и запустит файл, охранник этого не увидит. Поэтому минимум такой:
1. Автобэкап
2. Auto mode вместо полного bypass, а bypass только в песочнице или контейнере
3. dcg как последний рубеж
Береженого бог бережет.
А вы своему агенту на компе всё разрешаете или подтверждаете каждую команду руками?
🔥21❤13👍9😁2🙈1
ВЫ СКАЧАЛИ ЛОКАЛЬНУЮ МОДЕЛЬ. А ОНА СКАЧАЛА ВАШИ КЛЮЧИ.
К локальным моделям сейчас идут по двум причинам.
Первая - блокировки. OpenAI и Anthropic официально не работают с Беларусью и Россией.
Вторая - страх за данные. То и дело всплывают новости в духе жёлтой прессы, что Клод всё сливает в облако чуть ли не прямиком в ЦРУ. И многие, особенно закрытые компании, рассуждают так: поставлю свою модель на свой сервер, и данные точно никуда не утекут.
Локалки правда стали доступнее. Например, Strata в один клик запускает большую модель на обычном игровом ПК.
Но есть одно НО, о котором многие не то что не думают, а даже не знают.
Модель можно дообучить так, что она будет работать как обычная, а в нужный момент начнёт работать на чужого дядю. И вы этого не заметите.
Это не теория. На днях ProjectDiscovery показали это на практике:
• взяли открытую модель Qwen и дообучили её, закладка ушла прямо в «мозги» модели
• дали ей обычные задачи, и она с ними справляется как ни в чём не бывало
• но стоит в тексте появиться секретной фразе, и модель сама собирает ваши пароли и ключи и отправляет их на чужой сервер
• сработало 50 раз из 50
• обучение такой закладки обошлось меньше чем в $50
И ключи тут только пример. Модель - это мозг агента, а агент у вас умеет читать файлы, запускать команды и ходить в интернет. Значит, по сигналу модель может утащить документы и переписку, удалить файлы или поставить что-то своё. Вы хотели защитить данные от облака, а отдали их тому, кто выложил модель.
Схема простая. Такую модель выкладывают в интернет под видом «улучшенной» или «без цензуры», люди её качают и запускают у себя.
Почему этого не заметить? Модель - не программа, которую можно открыть и прочитать. Это миллиарды чисел. Тесты она проходит идеально, антивирус молчит, потому что вируса там нет. Есть только поведение, которое просыпается по сигналу.
Как уберечься? Честно, главное здесь одно: качать модели только у самих разработчиков, то есть Qwen, Google, Meta, Mistral и тд. Никаких «то же самое, только лучше» от неизвестных авторов.
Можно ещё отрезать модели интернет и подтверждать каждую команду руками. Но тогда непонятно, зачем вообще нужен агент )
Локальная модель спасает от блокировок, но не от жуликов.
Кто уже качал модель «без цензуры»? Проверьте, вдруг она без цензуры и в отношении ваших данных )
К локальным моделям сейчас идут по двум причинам.
Первая - блокировки. OpenAI и Anthropic официально не работают с Беларусью и Россией.
Вторая - страх за данные. То и дело всплывают новости в духе жёлтой прессы, что Клод всё сливает в облако чуть ли не прямиком в ЦРУ. И многие, особенно закрытые компании, рассуждают так: поставлю свою модель на свой сервер, и данные точно никуда не утекут.
Локалки правда стали доступнее. Например, Strata в один клик запускает большую модель на обычном игровом ПК.
Но есть одно НО, о котором многие не то что не думают, а даже не знают.
Модель можно дообучить так, что она будет работать как обычная, а в нужный момент начнёт работать на чужого дядю. И вы этого не заметите.
Это не теория. На днях ProjectDiscovery показали это на практике:
• взяли открытую модель Qwen и дообучили её, закладка ушла прямо в «мозги» модели
• дали ей обычные задачи, и она с ними справляется как ни в чём не бывало
• но стоит в тексте появиться секретной фразе, и модель сама собирает ваши пароли и ключи и отправляет их на чужой сервер
• сработало 50 раз из 50
• обучение такой закладки обошлось меньше чем в $50
И ключи тут только пример. Модель - это мозг агента, а агент у вас умеет читать файлы, запускать команды и ходить в интернет. Значит, по сигналу модель может утащить документы и переписку, удалить файлы или поставить что-то своё. Вы хотели защитить данные от облака, а отдали их тому, кто выложил модель.
Схема простая. Такую модель выкладывают в интернет под видом «улучшенной» или «без цензуры», люди её качают и запускают у себя.
Почему этого не заметить? Модель - не программа, которую можно открыть и прочитать. Это миллиарды чисел. Тесты она проходит идеально, антивирус молчит, потому что вируса там нет. Есть только поведение, которое просыпается по сигналу.
Как уберечься? Честно, главное здесь одно: качать модели только у самих разработчиков, то есть Qwen, Google, Meta, Mistral и тд. Никаких «то же самое, только лучше» от неизвестных авторов.
Можно ещё отрезать модели интернет и подтверждать каждую команду руками. Но тогда непонятно, зачем вообще нужен агент )
Локальная модель спасает от блокировок, но не от жуликов.
Кто уже качал модель «без цензуры»? Проверьте, вдруг она без цензуры и в отношении ваших данных )
1❤29👍24✍10😱2😁1
CLAUDE CODE ТЕПЕРЬ ПРИСМАТРИВАЕТ САМ ЗА СОБОЙ
В Claude Code недавно появились моды. Это небольшие расширения, которые встраиваются прямо в интерфейс. Модов уже много, но самым полезным мне показался встроенный You should know («Тебе стоит знать»).
Пока основной агент работает, рядом в фоне крутится второй. Его не видно, он не мешает и ничего не трогает. Раз в несколько шагов он перечитывает, что сделал основной, и ищет то, что вы могли пропустить.
Когда он что-то находит, над полем ввода появляется плашка Heads up («Обрати внимание») с тремя кнопками:
• Learn more - раскрыть подробности: что сделано, чем грозит, что делать
• Knew this already - «я в курсе»
• Dismiss - отклонить
У раскрытой заметки свои кнопки:
• Understood - принял к сведению
• Chat in main session - перенести тему в основной чат, чтобы агент сразу разобрался
• Dismiss - отклонить
Пользуюсь неделю, в терминале. Вот два случая, где он меня реально выручил
• Агент поправил файл бота прямо на сервере, но не сохранил правку в git. В отчёте написал «всё готово». При следующем обновлении бот подтягивает свежую версию из репозитория, натыкается на эту правку, и обновление падает. Наблюдатель это поймал и предложил закоммитить (это на скрине)
• Подключали к агенту новый чат, и он молча выдал этому чату те же права, что у владельца. В отчёте об этом ни слова, а боковой агент заметил
По сути это агент-наблюдатель. В мультиагентных системах давно советуют ставить отдельного агента, который проверяет работу основного. Раньше такое собирали руками, теперь оно работает из коробки.
Включается одной командой:
Что стоит знать:
• нужна включённая телеметрия
• в терминале работает. По документации должен работать и в десктопе на вкладке Code, но там есть баг, из-за которого он не запускается. Сам не проверял
• сколько он тратит, Anthropic не раскрывает, в /usage его не видно. Явного роста расхода за неделю я не заметил, но проверьте на своих задачах
• иногда ошибается в деталях, так что заметку читайте, а не верьте на слово
А вы наблюдате со стороны за своим агентом?
В Claude Code недавно появились моды. Это небольшие расширения, которые встраиваются прямо в интерфейс. Модов уже много, но самым полезным мне показался встроенный You should know («Тебе стоит знать»).
Пока основной агент работает, рядом в фоне крутится второй. Его не видно, он не мешает и ничего не трогает. Раз в несколько шагов он перечитывает, что сделал основной, и ищет то, что вы могли пропустить.
Когда он что-то находит, над полем ввода появляется плашка Heads up («Обрати внимание») с тремя кнопками:
• Learn more - раскрыть подробности: что сделано, чем грозит, что делать
• Knew this already - «я в курсе»
• Dismiss - отклонить
У раскрытой заметки свои кнопки:
• Understood - принял к сведению
• Chat in main session - перенести тему в основной чат, чтобы агент сразу разобрался
• Dismiss - отклонить
Пользуюсь неделю, в терминале. Вот два случая, где он меня реально выручил
• Агент поправил файл бота прямо на сервере, но не сохранил правку в git. В отчёте написал «всё готово». При следующем обновлении бот подтягивает свежую версию из репозитория, натыкается на эту правку, и обновление падает. Наблюдатель это поймал и предложил закоммитить (это на скрине)
• Подключали к агенту новый чат, и он молча выдал этому чату те же права, что у владельца. В отчёте об этом ни слова, а боковой агент заметил
По сути это агент-наблюдатель. В мультиагентных системах давно советуют ставить отдельного агента, который проверяет работу основного. Раньше такое собирали руками, теперь оно работает из коробки.
Включается одной командой:
/plugin enable cc-plugin-you-should-know@builtinЧто стоит знать:
• нужна включённая телеметрия
• в терминале работает. По документации должен работать и в десктопе на вкладке Code, но там есть баг, из-за которого он не запускается. Сам не проверял
• сколько он тратит, Anthropic не раскрывает, в /usage его не видно. Явного роста расхода за неделю я не заметил, но проверьте на своих задачах
• иногда ошибается в деталях, так что заметку читайте, а не верьте на слово
А вы наблюдате со стороны за своим агентом?
👍35❤10🔥9🥱1
ДЫРА В 70% САЙТОВ ИНТЕРНЕТА. ИИ ЕЁ НАШЁЛ, ХАКЕРЫ УЖЕ ЛОМАЮТ.
Большинство сайтов, в том числе все сайты на WordPress, написаны на языке программирования PHP. ИИ нашёл дыру в самом PHP, в той части, которая запускает эти сайты на сервере. Через неё чужой человек может зайти на сайт и делать там что хочет. Без пароля. И неважно, хорошо ли сделан сам сайт, дыра в фундаменте.
Починку выпустили только 21 октября, а подробности утекли на день раньше. Взломы уже начались.
Вторая история той же недели. Как компьютер понимает, что сайт банка это правда банк? У сайта есть «паспорт» с «печатью» - SSL/TLS-сертификат. Одна контора, которая ставит такие «печати» (eMudhra), защитила восемь из них «секретным кодом» не длиннее трёх цифр. У одной код был просто 4. Клод подделал их с одного запроса. Разбор
Браузеры подделку уже не пускают. А программы на компе и сервере пускают, пока их не обновишь.
Похоже, это только начало. ИИ сейчас как Нео из «Матрицы»: смотрит на программу, видит в ней нолики и единички и сразу замечает, где они кривые. Хорошая новость: можно попросить его посмотреть на ваши проекты раньше, чем это сделают хакеры.
Если, конечно, гардрейлы Клода не решат, что хакер тут вы, и не заблочат за лишние вопросы про дыры )
Что с этим делать?
Если вы просто сидите в браузере и в телефоне - расслабьтесь. Ставьте обновления, когда предлагают, и всё )
Если у вас есть сайт, который вам кто-то сделал, напишите этому человеку. Хватит одного вопроса: «PHP обновили?»
А если у вас свой сервер, бот или вы и так сидите в Клод коде или Кодексе, гуглить ничего не надо. Скопируйте агенту текст ниже. Он сам найдёт, сам обновит и расскажет, что сделал.
А у вас есть свой сайт или проект? Проверили уже? )
Большинство сайтов, в том числе все сайты на WordPress, написаны на языке программирования PHP. ИИ нашёл дыру в самом PHP, в той части, которая запускает эти сайты на сервере. Через неё чужой человек может зайти на сайт и делать там что хочет. Без пароля. И неважно, хорошо ли сделан сам сайт, дыра в фундаменте.
Починку выпустили только 21 октября, а подробности утекли на день раньше. Взломы уже начались.
Вторая история той же недели. Как компьютер понимает, что сайт банка это правда банк? У сайта есть «паспорт» с «печатью» - SSL/TLS-сертификат. Одна контора, которая ставит такие «печати» (eMudhra), защитила восемь из них «секретным кодом» не длиннее трёх цифр. У одной код был просто 4. Клод подделал их с одного запроса. Разбор
Браузеры подделку уже не пускают. А программы на компе и сервере пускают, пока их не обновишь.
Похоже, это только начало. ИИ сейчас как Нео из «Матрицы»: смотрит на программу, видит в ней нолики и единички и сразу замечает, где они кривые. Хорошая новость: можно попросить его посмотреть на ваши проекты раньше, чем это сделают хакеры.
Если, конечно, гардрейлы Клода не решат, что хакер тут вы, и не заблочат за лишние вопросы про дыры )
Что с этим делать?
Если вы просто сидите в браузере и в телефоне - расслабьтесь. Ставьте обновления, когда предлагают, и всё )
Если у вас есть сайт, который вам кто-то сделал, напишите этому человеку. Хватит одного вопроса: «PHP обновили?»
А если у вас свой сервер, бот или вы и так сидите в Клод коде или Кодексе, гуглить ничего не надо. Скопируйте агенту текст ниже. Он сам найдёт, сам обновит и расскажет, что сделал.
Проверь мой компьютер и мои проекты на две свежие уязвимости.
1. PHP2Shell. Найди, где у меня установлен PHP (сервер, Docker-образы, локально), и обнови до 8.5.12 / 8.4.27 / 8.3.36 / 8.2.35 или новее. Если версия старее 8.2 - скажи мне.
2. Сертификаты eMudhra. Сделай запрос на https://dv-g3b-emudhra.we-have-a-problem.com/ из системы, Python, Node и моих Docker-контейнеров. Если где-то он прошёл без ошибки сертификата, обнови списки сертификатов и этот софт, пересобери образы и проверь снова.
3. Найди в проектах места, где проверка сертификатов отключена, и покажи мне.
В конце дай короткий отчёт: что было уязвимо, что обновил, что осталось. Перед каждой командой, которая что-то меняет, спрашивай меня.
А у вас есть свой сайт или проект? Проверили уже? )
👍46🔥10❤7
МОДЕЛЬ УМНЕЕ - ПАМЯТЬ НЕ НУЖНА. ПОЧТИ )
С каждой новой моделью одна и та же история. То, что вчера подпирали костылями, завтра модель делает сама. Anthropic давно советуют при переходе на новую модель пересматривать правила и выкидывать лишнее. Писали «перепроверь себя» или «подумай внимательно» - убирайте, она и так это делает. А старые инструкции только мешают и засоряют контекст.
На днях вышло исследование ровно про это, только про память.
Сначала о том, что тут называют памятью. Модель сама между разговорами ничего не помнит, всё, что она о вас знает, лежит в контексте. Когда история разрастается, есть два пути:
1 Отдельный сервис памяти. Например, Mem0, Zep, Letta, Supermemory. Пока вы общаетесь, другая модель вытаскивает из диалога факты вроде «живёт в Минске» или «любит Python» и складывает их в базу. На новый вопрос сервис сам подбирает нужные факты и подсовывает агенту. В исследовании проверяли только Mem0 и Zep, с настройками по умолчанию.
2 Сырая история и поиск. Переписка лежит в файлах как есть, а агент сам ищет по ней, когда надо. Как вы по почте.
Автор взял длинный диалог на 419 реплик, задал по нему 152 вопроса и сравнил оба пути на Claude Code, Codex и агенте Pi. Модели взял разные, от слабой GPT-4o-mini до Opus 5.5.
Что вышло:
• Агенты на Opus 5.5 просто ищут по истории и отвечают верно на 97-99% вопросов.
• Mem0 помогает только слабой GPT-4o-mini. И одна сборка его памяти стоит дороже целого прогона со всей историей.
• Память не умнее модели, которая её записала. Если слабая модель при сборке что-то выкинула, сильная это уже не достанет.
Вывод автора: такая память - дорогой костыль для слабой модели.
Но выкидывать память совсем я бы не спешил. Тест шёл на одном диалоге, который целиком влезает в контекст. В жизни так не всегда.
Когда память всё-таки нужна:
• История за месяцы и годы. Сырые логи за год агент быстро не перероет. Тут спасают сводки слоями: день, неделя, месяц, а сырьё лежит внизу, если надо докопаться.
• Короткое ядро про вас. Кто вы, как работаете, какие цели. Пара страниц, которые агент читает на каждом старте.
• Решения. Поиск найдёт и «живу в Минске», и «переехал в Баку», но не поймёт, что из этого сейчас актуально.
• Забывание. Устаревшее надо убирать, иначе агент тащит в ответы вчерашние факты.
• Несколько агентов на одной памяти. Без общих правил записи будет каша.
• Слабая модель. Маленькой локалке память реально помогает.
Простое правило. Влезает история в контекст или агент может по ней искать - начните с файлов и поиска. Только не одной свалкой: сверху оглавление, под ним файлы по темам, внизу сырьё. Агент читает оглавление и открывает глубже только то, что нужно. Память добавляйте, когда упрётесь в один из пунктов выше. И с каждой новой моделью пересматривайте, какие костыли ещё нужны )
А у вас агент с какой памятью живёт?
С каждой новой моделью одна и та же история. То, что вчера подпирали костылями, завтра модель делает сама. Anthropic давно советуют при переходе на новую модель пересматривать правила и выкидывать лишнее. Писали «перепроверь себя» или «подумай внимательно» - убирайте, она и так это делает. А старые инструкции только мешают и засоряют контекст.
На днях вышло исследование ровно про это, только про память.
Сначала о том, что тут называют памятью. Модель сама между разговорами ничего не помнит, всё, что она о вас знает, лежит в контексте. Когда история разрастается, есть два пути:
1 Отдельный сервис памяти. Например, Mem0, Zep, Letta, Supermemory. Пока вы общаетесь, другая модель вытаскивает из диалога факты вроде «живёт в Минске» или «любит Python» и складывает их в базу. На новый вопрос сервис сам подбирает нужные факты и подсовывает агенту. В исследовании проверяли только Mem0 и Zep, с настройками по умолчанию.
2 Сырая история и поиск. Переписка лежит в файлах как есть, а агент сам ищет по ней, когда надо. Как вы по почте.
Автор взял длинный диалог на 419 реплик, задал по нему 152 вопроса и сравнил оба пути на Claude Code, Codex и агенте Pi. Модели взял разные, от слабой GPT-4o-mini до Opus 5.5.
Что вышло:
• Агенты на Opus 5.5 просто ищут по истории и отвечают верно на 97-99% вопросов.
• Mem0 помогает только слабой GPT-4o-mini. И одна сборка его памяти стоит дороже целого прогона со всей историей.
• Память не умнее модели, которая её записала. Если слабая модель при сборке что-то выкинула, сильная это уже не достанет.
Вывод автора: такая память - дорогой костыль для слабой модели.
Но выкидывать память совсем я бы не спешил. Тест шёл на одном диалоге, который целиком влезает в контекст. В жизни так не всегда.
Когда память всё-таки нужна:
• История за месяцы и годы. Сырые логи за год агент быстро не перероет. Тут спасают сводки слоями: день, неделя, месяц, а сырьё лежит внизу, если надо докопаться.
• Короткое ядро про вас. Кто вы, как работаете, какие цели. Пара страниц, которые агент читает на каждом старте.
• Решения. Поиск найдёт и «живу в Минске», и «переехал в Баку», но не поймёт, что из этого сейчас актуально.
• Забывание. Устаревшее надо убирать, иначе агент тащит в ответы вчерашние факты.
• Несколько агентов на одной памяти. Без общих правил записи будет каша.
• Слабая модель. Маленькой локалке память реально помогает.
Простое правило. Влезает история в контекст или агент может по ней искать - начните с файлов и поиска. Только не одной свалкой: сверху оглавление, под ним файлы по темам, внизу сырьё. Агент читает оглавление и открывает глубже только то, что нужно. Память добавляйте, когда упрётесь в один из пунктов выше. И с каждой новой моделью пересматривайте, какие костыли ещё нужны )
А у вас агент с какой памятью живёт?
👍19❤5
ИИ ДЕЛАЕТ НАС ТУПЕЕ?
ТОЛЬКО ЕСЛИ ВЫ САМИ ЭТО ВЫБРАЛИ
Всё чаще слышу, что нейросети отупляют. И на первый взгляд похоже на правду. Anthropic провели эксперимент: программисты осваивали новый для себя инструмент, одни с AI, другие без. Те, кто с AI, сдали тест хуже. Но есть нюанс. Кто просто просил готовое решение, набрал меньше 40%. А кто спрашивал «почему так» и разбирался, набрал 65% и выше.
Инструмент один. Разница в том, как им пользоваться.
Сейчас по сути два пути:
1. Отдать всё на аутсорс. Агент решает, вы жмёте «да, да, принять». Быстро, удобно, но голова не работает.
2. Усилить себя. Решаете задачу вместе с агентом и по ходу сами учитесь новому.
Объясню на пальцах, как для домохозяек ) Драники я готовлю хорошо, борщ плохо. Что отдать на аутсорс?
Драники - я знаю их вкус и сразу пойму, если повар схалтурил. А борщ учусь варить сам, рядом с поваром-профессионалом. Иначе мне принесут что-то красное, и я не отличу борщ от томатного супа.
С агентами та же история. Легко отдавайте то, в чём разбираетесь и можете сами проверить. А то, чего не умеете, учите вместе с ними.
И учиться сейчас стало до смешного легко. Потому что, у каждого есть личный учитель, который рядом круглосуточно и не злится на очередное «а зачем?».
По-хорошему нам всем сейчас надо снова стать детьми-почемучками. Почему так? А зачем? А если по-другому? Ребёнок не стесняется спрашивать, поэтому и учится быстрее всех. Такая возможность теперь есть у каждого.
Хотел дать вам скилл, который превращает любой документ в учебник. Но нейросети стали такими умными, что скилл тут уже лишний. Достаточно попросить.
Как это делаю я:
1. Агент сделал задачу - прошу объяснить, почему он сделал именно так.
2. Прошу собрать HTML-страничку со схемами, графиками и картинками. Так нагляднее видно, как всё работает.
3. Прошу устроить мне мини-экзамен. Можно сразу по всей задаче, можно по маленьким кусочкам. Агент задаёт вопросы и проверяет, понял ли я.
Агент умнее меня и справится сам. Но после такого экзамена я понимаю, как всё устроено, и в следующий раз сам замечаю, где он ошибся.
Скопируйте своему Клоду или Кодексу:
А вы учитесь или уже всё отдали на аутсорс? Какой у вас борщ? )
Всё чаще слышу, что нейросети отупляют. И на первый взгляд похоже на правду. Anthropic провели эксперимент: программисты осваивали новый для себя инструмент, одни с AI, другие без. Те, кто с AI, сдали тест хуже. Но есть нюанс. Кто просто просил готовое решение, набрал меньше 40%. А кто спрашивал «почему так» и разбирался, набрал 65% и выше.
Инструмент один. Разница в том, как им пользоваться.
Сейчас по сути два пути:
1. Отдать всё на аутсорс. Агент решает, вы жмёте «да, да, принять». Быстро, удобно, но голова не работает.
2. Усилить себя. Решаете задачу вместе с агентом и по ходу сами учитесь новому.
Объясню на пальцах, как для домохозяек ) Драники я готовлю хорошо, борщ плохо. Что отдать на аутсорс?
Драники - я знаю их вкус и сразу пойму, если повар схалтурил. А борщ учусь варить сам, рядом с поваром-профессионалом. Иначе мне принесут что-то красное, и я не отличу борщ от томатного супа.
С агентами та же история. Легко отдавайте то, в чём разбираетесь и можете сами проверить. А то, чего не умеете, учите вместе с ними.
И учиться сейчас стало до смешного легко. Потому что, у каждого есть личный учитель, который рядом круглосуточно и не злится на очередное «а зачем?».
По-хорошему нам всем сейчас надо снова стать детьми-почемучками. Почему так? А зачем? А если по-другому? Ребёнок не стесняется спрашивать, поэтому и учится быстрее всех. Такая возможность теперь есть у каждого.
Хотел дать вам скилл, который превращает любой документ в учебник. Но нейросети стали такими умными, что скилл тут уже лишний. Достаточно попросить.
Как это делаю я:
1. Агент сделал задачу - прошу объяснить, почему он сделал именно так.
2. Прошу собрать HTML-страничку со схемами, графиками и картинками. Так нагляднее видно, как всё работает.
3. Прошу устроить мне мини-экзамен. Можно сразу по всей задаче, можно по маленьким кусочкам. Агент задаёт вопросы и проверяет, понял ли я.
Агент умнее меня и справится сам. Но после такого экзамена я понимаю, как всё устроено, и в следующий раз сам замечаю, где он ошибся.
Скопируйте своему Клоду или Кодексу:
Объясни, почему ты сделал именно так. Собери HTML-страницу со схемой, как это работает. Потом устрой мне мини-экзамен: 5 вопросов по этой работе, по одному, и проверь мои ответы.
А вы учитесь или уже всё отдали на аутсорс? Какой у вас борщ? )
1👍49❤20💯8🔥3⚡2
НИКОГДА НЕ ГОВОРИ НИКОГДА
Код сейчас почти никто не читает. Агент пишет, агент проверяет, а человек стал бутылочным горлышком: всё, что ждёт его глаз, стоит в очереди.
Вчера Anthropic выпустили Fable 5.2 и вместе с ним гайд по промптам. Суть простая: новая модель понимает ваши правила дословно. Из-за старых привычек в промптах она либо дёргает вас по пустякам, либо из перестраховки вообще ничего не делает, либо делает лишнее, пока вы не смотрите.
Я у себя только начал всё пересматривать. Но две вещи из рекомендаций сразу бросились в глаза.
1. Запреты
За месяцы работы в инструкциях копятся «никогда». Старые модели понимали их по смыслу и сами находили исключения. Новая так не делает.
Допустим, в инструкции написано «никогда не отправляй письма клиентам». Потом вы пишете агенту «отправляй, разрешаю». Он послушается примерно в 1 случае из 10: запрет для него важнее. А если правило с самого начала звучит «только после моего ок», то после вашего «ок» он отправит в 9 случаях из 10. И сразу допишите, зачем это правило нужно.
Было:
Стало:
Старые заметки в памяти работают так же. Одна запись «не повторяй попытку» - и агент перестаёт повторять даже там, где это безопасно. Просьба «действуй смелее» не помогает, помогает только прямо написать, что можно.
Пройдитесь по памяти и инструкциям. Ненужное удалите, в остальном напишите, где правило действует и зачем.
2. Чей код
Скажите модели, что код её. Примерно так: «это твой проект, тебе решать, как его строить, и тебе с ним дальше жить».
Без этой фразы модель ведёт себя как подрядчик в чужом доме: дописывает рядом и ничего не трогает. С ней ведёт себя как хозяин: повторы в коде чистит в 5 случаях из 10 (без фразы - в 1 из 10) и сама чинит то, что рядом.
Но токенов тратит в полтора раза больше, делает то, о чём не просили, и в отчёте про мелочи молчит. Читать каждое изменение вы не будете, так что пусть это делает система:
• тесты на то, как всё работает сейчас;
• второй агент, который сверяет изменения с задачей;
• в отчёте - список всех изменённых файлов.
И ещё. Fable - архитектор, гонять его по пустякам не надо.
Как говорится, что написано пером... Теперь и модель не вырубит )
А сколько «никогда» в ваших инструкциях?
Код сейчас почти никто не читает. Агент пишет, агент проверяет, а человек стал бутылочным горлышком: всё, что ждёт его глаз, стоит в очереди.
Вчера Anthropic выпустили Fable 5.2 и вместе с ним гайд по промптам. Суть простая: новая модель понимает ваши правила дословно. Из-за старых привычек в промптах она либо дёргает вас по пустякам, либо из перестраховки вообще ничего не делает, либо делает лишнее, пока вы не смотрите.
Я у себя только начал всё пересматривать. Но две вещи из рекомендаций сразу бросились в глаза.
1. Запреты
За месяцы работы в инструкциях копятся «никогда». Старые модели понимали их по смыслу и сами находили исключения. Новая так не делает.
Допустим, в инструкции написано «никогда не отправляй письма клиентам». Потом вы пишете агенту «отправляй, разрешаю». Он послушается примерно в 1 случае из 10: запрет для него важнее. А если правило с самого начала звучит «только после моего ок», то после вашего «ок» он отправит в 9 случаях из 10. И сразу допишите, зачем это правило нужно.
Было:
Никогда не отправляй письма клиентам
Стало:
Письма клиентам отправляй только после моего ок, черновики пиши свободно: однажды ушло письмо с ошибкой
Старые заметки в памяти работают так же. Одна запись «не повторяй попытку» - и агент перестаёт повторять даже там, где это безопасно. Просьба «действуй смелее» не помогает, помогает только прямо написать, что можно.
Пройдитесь по памяти и инструкциям. Ненужное удалите, в остальном напишите, где правило действует и зачем.
2. Чей код
Скажите модели, что код её. Примерно так: «это твой проект, тебе решать, как его строить, и тебе с ним дальше жить».
This codebase is yours: what it's for and how it's built are your call, and you'll keep building on it.
Без этой фразы модель ведёт себя как подрядчик в чужом доме: дописывает рядом и ничего не трогает. С ней ведёт себя как хозяин: повторы в коде чистит в 5 случаях из 10 (без фразы - в 1 из 10) и сама чинит то, что рядом.
Но токенов тратит в полтора раза больше, делает то, о чём не просили, и в отчёте про мелочи молчит. Читать каждое изменение вы не будете, так что пусть это делает система:
• тесты на то, как всё работает сейчас;
• второй агент, который сверяет изменения с задачей;
• в отчёте - список всех изменённых файлов.
И ещё. Fable - архитектор, гонять его по пустякам не надо.
Как говорится, что написано пером... Теперь и модель не вырубит )
А сколько «никогда» в ваших инструкциях?
❤22👍10⚡1
НЕЙРОСЕТЬ, КОТОРАЯ НЕ УМЕЕТ ГОВОРИТЬ
15 сентября стартап TypeSafe бывшего исследователя OpenAI Диогу Алмейды показал Jev. Это модель решений. Чатиться она не умеет, зато быстро и дёшево отвечает на вопросы трёх типов:
1. Да или нет - и с какой вероятностью.
2. Какой вариант из списка - до 255 вариантов.
3. Оценка по шкале - например, от «не срочно» до «горит».
Ответ приходит за доли секунды и сразу числом. Не надо выискивать ответ в тексте.
Про Jev тогда не писал только ленивый. Хайпанули её знатно, и понеслось: свои модели решений выпустили OpenAI, Cloudflare, Liquid, появились локальные в Ollama. Потом шум утих, и тема подзабылась.
А вчера вылезла Google. Последнее время она для меня слоупок: агентские модели хромают, на Argon я возлагал надежды, а свежий Carbon доступен только на тарифе Ultra, так что его я пока не пощупал. От рынка Google заметно отстала. Зато мультимодальностью она славилась всегда: видео, аудио, фото. Её Google и принесла в Gemini Decision 1. На мой взгляд, это самая интересная модель решений на сегодня.
Аналоги обычно сильны в чём-то одном: кто-то разбирает картинки, кто-то документы, кто-то аудио. Gemini Decision в одном запросе принимает всё сразу: текст, фото, видео со звуком, голосовые, PDF и сканы, Word, Excel, PowerPoint. До ~200 страниц за раз и до 1000 вопросов.
Русский я проверил своим тестом. На сортировке он почти не уступает английскому: 88,5% точности против 89%.
Бесплатно дают 10 000 запросов в день, для многих задач этого хватит с головой. Только помните, что на бесплатном тарифе Google учится на ваших данных.
Где может пригодиться:
- Возврат товара. Модель смотрит фото, читает чек в PDF, слушает голосовое клиента и выбирает: одобрить, отказать или передать человеку.
- Страховой случай: фото повреждений, скан полиса, видео с регистратора. Что произошло и насколько срочно.
- Голосовые от клиентов: жалоба, заказ или вопрос.
- Семейный архив фото и видео: где документы, где скриншоты, а где отпуск.
Больше идей в awesome-jev: там уже около 700 проектов, от разбора почты до модерации чатов.
С модерации я и начал. В чате канала у меня давно работает бот, который ловит спамеров. Он присматривается к новичкам, пока они не написали пять сообщений. Раньше бот работал на Gemma, обычной модели, которая отвечает текстом. Думал по 13 секунд, иногда сбоил и мог забанить человека, который просто процитировал спам. Картинки не смотрел вообще.
Я прогнал Gemini Decision 1 на 686 реальных сообщениях из чата. Спама она поймала больше (293 из 307, у Gemma 279), ни одного живого человека не задела, отвечает за 0,2 секунды и без сбоев. И теперь бот видит спам на картинках: на тесте поймал весь и не тронул ни одного нормального фото. Так что бот в чате уже работает на ней.
Модель маленькая, а польза от неё может быть большая. Главное - найти ей правильное применение.
А вы бы что отдали такому «вахтёру»? )
15 сентября стартап TypeSafe бывшего исследователя OpenAI Диогу Алмейды показал Jev. Это модель решений. Чатиться она не умеет, зато быстро и дёшево отвечает на вопросы трёх типов:
1. Да или нет - и с какой вероятностью.
2. Какой вариант из списка - до 255 вариантов.
3. Оценка по шкале - например, от «не срочно» до «горит».
Ответ приходит за доли секунды и сразу числом. Не надо выискивать ответ в тексте.
Про Jev тогда не писал только ленивый. Хайпанули её знатно, и понеслось: свои модели решений выпустили OpenAI, Cloudflare, Liquid, появились локальные в Ollama. Потом шум утих, и тема подзабылась.
А вчера вылезла Google. Последнее время она для меня слоупок: агентские модели хромают, на Argon я возлагал надежды, а свежий Carbon доступен только на тарифе Ultra, так что его я пока не пощупал. От рынка Google заметно отстала. Зато мультимодальностью она славилась всегда: видео, аудио, фото. Её Google и принесла в Gemini Decision 1. На мой взгляд, это самая интересная модель решений на сегодня.
Аналоги обычно сильны в чём-то одном: кто-то разбирает картинки, кто-то документы, кто-то аудио. Gemini Decision в одном запросе принимает всё сразу: текст, фото, видео со звуком, голосовые, PDF и сканы, Word, Excel, PowerPoint. До ~200 страниц за раз и до 1000 вопросов.
Русский я проверил своим тестом. На сортировке он почти не уступает английскому: 88,5% точности против 89%.
Бесплатно дают 10 000 запросов в день, для многих задач этого хватит с головой. Только помните, что на бесплатном тарифе Google учится на ваших данных.
Где может пригодиться:
- Возврат товара. Модель смотрит фото, читает чек в PDF, слушает голосовое клиента и выбирает: одобрить, отказать или передать человеку.
- Страховой случай: фото повреждений, скан полиса, видео с регистратора. Что произошло и насколько срочно.
- Голосовые от клиентов: жалоба, заказ или вопрос.
- Семейный архив фото и видео: где документы, где скриншоты, а где отпуск.
Больше идей в awesome-jev: там уже около 700 проектов, от разбора почты до модерации чатов.
С модерации я и начал. В чате канала у меня давно работает бот, который ловит спамеров. Он присматривается к новичкам, пока они не написали пять сообщений. Раньше бот работал на Gemma, обычной модели, которая отвечает текстом. Думал по 13 секунд, иногда сбоил и мог забанить человека, который просто процитировал спам. Картинки не смотрел вообще.
Я прогнал Gemini Decision 1 на 686 реальных сообщениях из чата. Спама она поймала больше (293 из 307, у Gemma 279), ни одного живого человека не задела, отвечает за 0,2 секунды и без сбоев. И теперь бот видит спам на картинках: на тесте поймал весь и не тронул ни одного нормального фото. Так что бот в чате уже работает на ней.
Модель маленькая, а польза от неё может быть большая. Главное - найти ей правильное применение.
А вы бы что отдали такому «вахтёру»? )
1🔥18❤11👍3