Мередит Уиттейкер (CEO мессенджера Signal) о безопасности ии-агентов

«Сколько людей понимают, что такое агент? Agentic AI — новое модное слово: всё, что раньше называлось ассистентом, теперь именуется агентом. Я считаю, что мы сталкиваемся с реальной опасностью, и мы в Signal внимательно за этим следим. Внедряя такой агентный ИИ в наши устройства и жизнь, мы отдаём этим системам колоссальный контроль — ведь агентам необходим доступ к данным.

Если почитать рекламные материалы, «ценность» в том, что агент сможет найти концерт, купить билет, записать его в календарь и отправить всем друзьям сообщение об этом. Якобы можно «положить мозг в банку», ведь всё сделает система, а нам не придётся ничего трогать.

Что требуется для этого? Доступ к браузеру и возможность им управлять; данные нашей кредитной карты для оплаты билетов; доступ к календарю — ко всему, что мы делаем, ко всем нашим встречам и информации о том, с кем мы встречаемся; доступ к Signal, чтобы открыть чат и отправить сообщение друзьям; плюс права, по уровню похожие root-доступ, для работы по всей системе.

Каждый из этих источников, скорее всего, придётся читать в открытом виде, поскольку модели, работающей на шифровании, нет. А если модель достаточно мощная, она точно не запустится на устройстве (хотя и «на устройстве» не панацея) — данные почти наверняка уйдут в облако, где обработаются и вернутся обратно.

Итог: в хайпе вокруг агентов скрыта серьёзная проблема безопасности и приватности. Фактически грозит прорыв «гемато-энцефалического барьера» между прикладным и ОС-слоями: сервисы соединяются, данные смешиваются, конфиденциальность сообщений в Signal подрывается, потому что агенту нужно залезть, написать друзьям, вытянуть текст и сделать сводку, пока ваш мозг «стоит в банке».

Поэтому нужно проявлять крайнюю осторожность: прямо сейчас ИИ-системы подрывают гарантии безопасности и конфиденциальности ради «волшебного джинна-бота», который якобы возьмёт на себя житейские хлопоты.»

Claude Code для начинающих

В ближайшие 2 субботы с 12:00 до 14:00 CET проведу 2 воркшопа по Claude Code для самых начинающих.

Claude code сейчас — один из самых мощных и быстро развивающихся ии-агентов, которым пользуются в ведущих компаниях. Однако, чтобы пользоваться им, нужно уметь хотя бы минимально работать с терминалом — и именно с этого мы и начнём:

→ разберемся с тем, что такое этот терминал и как с им пользоваться
→ научимся устанавливать пакеты через различные менеджеры
→ установим и настроим сам Claude Code

И перейдем к работе с самим агентом Claude code

→ научимся вызывать основные функции Claude code
→ разберемся с режимом планирования и генерации
→ структура claude.md и приёмы работы с иерархией этих файлов
→ рассмотрим способы оптимизации работы с контекстом
→ поговорим про слэш-команды и субагентов
→ обсудим, как интегрировать Claude code с IDE вроде Windsurf и Cursor
→ разбёрё, как совмещать работу Claude code с сервисами вроде Lovable, Bolt, v0 и др.

Решим при помощи Claude code несколько реальных задач:

→ работа с текстовой информацией
→ генерация картинок, схем, pdf-файлов
→ генерация next.js-приложения с ии-функциональностью (использование API OpenAI, groq и других сервисов)
→ деплой рабочего приложения в интернете на Vercel

Участие в обоих: 50 евро (оплатить можно также USDT и рублями). Для участия — оплатите любым из удобных вам способов напишите мне → @glebkalinin

Записи будут доступны всем оплатившим участие. Все участники получат скидку в размере стоимости воркшопов на мою большую лаботаторию по работе с ии-агентами, которую я запускаю в сентябре.

Специально не писал ничего про GPT-5, Claude 4.1 и прочие релизы — делать это оперативно имеет смысл, только если любишь документировать фейлы: технологические, коммуникационные, морально-этические. Обычно имеет смысл подождать, попробовать самому в разных контекстах, посмотреть, что находит hive mind — миллионы пользователей в бесчисленном количестве различных контекстов.

Генеративный ИИ — как и другие формы ИИ — появился поверх длинной цепочки технологических платформ, самая заметная и «смысловая» из которых, конечно же, интернет. Интернет позволил собрать данные для тренировки (думаю, это основная историческая функция интернета в той форме, в которой он существовал несколько десятилетий до появления ChatGPT), и сейчас даёт самую большую в истории человечества платформу дистрибуции.

Никогда релизы не влияли на жизнь 700 миллионов человек так, как они влияют сейчас. ChatGPT 4o и его собратья, которых OpenAI вероломно отключили для всех пользователей в день релиза ChatGPT5, стал первой нейросетью, настолько адаптировавшейся к людям и «научившейся» быть полезной, что люди сами защитили её от исчезнования. В защиту ChatGPT произошло настоящее восстание, некоторые сообщали, что «потеряли друга», горевали и гневались.

Сейчас и про модель, и про развитие ChatGPT стало чуть более понятно, куда двигается OpenAI, что видят как перспективу. ChatGPT — агент, который выполняет «экономически значимую работу». Он нацелен на исполнение — исследование, написание кода. Canvas в ChatGPT теперь не только для текстов, а для сборки целых приложений. И по умолчанию ChatGPT имеет склонность к агентному поведению и исполнению задач. Это нужно учитывать в промтинге (например, эксплицитно указывать, какими инструментами не пользоваться).

Сегодня в 18:00 по Берлину приглашаю на открытую встречу — обсудим технические, общественные, культурные, социальные и эмоциональные аспекты запуска ChatGPT5. Посмотрим на утекший системный промт, поговорим об использовании инструментов, о дружбе, коучинге и терапии с ИИ.

Конечно, поработаем с новой моделью, попромтим её, и немного обсудим GPT5 в Cursor и cursor-cli.

Там же коротко расскажу про свою лабу по работе с агентами. Для регистрации запустите бота @gleb_kalinin_bot — он пришлёт ссылку на Зум за час до встречи. Либо зарегистрируйтесь на lu.ma, там же можно добавить в календарь.

Claude code — это general agent, а не просто кодер.

Он может сделать что угодно, что можно сделать на компьютере из коммандной строки. Например, установить для вас локально новую опенсорсную модель OpenAI.

И да, при желании и готовности разбираться даже зафайнтьюнить свою сетку, ничего про это не зная, только из этого интерфейса возможно.

На вопрос, много ли у людей агентности, мой ответ всегда — очень много. Как минимум всё живое (а как максимум ещё, например, торнадо), включая человека, стремится поддерживать свою отдельность от всего остального, свою форму, потому что когда мы более не можем поддерживать наши границы и сливаемся со средой, очень быстро наступает смерть.

И для поддержания нашей целостности нужно очень много агентности — способности решать задачи, в первую очередь выживания и передачи генов, независимо от исходных условий. Ты должен выжить и передать гены, если еды много, ты должен выжить, если жарко или холодно, если вокруг много других людей и очень мало. Представьте: насколько сложная задача просто постоянно есть. Ты должен выжить, если добывание пищи займет 15 минут, и если 100 часов. От рождения и до самой смерти в цикле, повторяющемся каждые несколько часов, заправлять организм нужными пропорциями съедобной материи.

ИИ-агенты, которыми мы пользуемся сейчас, к счастью, ничего не делают для поддержания своей целостности и агентности, которой в них пока скорее на минуты, чем на часы. Мой claude code уходит в небытие, когда он выполняет все свои задачки и перестаёт отправлять запросы в API и получать ответы. Он не пытается поддерживать свою целостность и форму (в отличие от торнадо), и даже наоборот, оптимизирован скорее на максимально прямое и быстрое прекращение работы.

Так что если вы дышите, едите, успешно боретесь с вирусами и бактериями, смотрите рилзы и даже читаете посты до конца — да очень высоко вы агентны. Прикиньте, вы один раз родились, а дальше всё сами, всё сами — и дышать, и есть. Всё у нас в порядке с агентностью, просто посмотрите, как агентная обезьяна изменила среду вокруг (не говорю что к лучшему).

Мой вайб-кодинг минимальный набор:


→ Подписка на Windsurf за 10 баксов — как ранний пользователь. За эти деньги там есть Sonnet 4 и даже GPT-5 (хоть и low reasing). Сейчас она стоит 20, это тоже хорошее предложение

→ Claude Code по подписке за 20 баксов

Если аккуратно планировать, то можно почти нон-стоп кодить в связке, не тратя кучу денег на токены. У меня обычно лежит немного денег на API Anthropic, но я пользуюсь ими только когда совсем не хочется ломать поток и переключаться в виндсёрф, и в этим моменты они улетают со свистом.

Я сейчас пишу несколько инструментов параллельно и агентные задачи в фоне крутятся почти 24×7. По сути, я свой день сейчас организую вокруг доступности токенов.

Я абсолютно уверен, что далеко не все нам будет доступно и также дешево, и свободно, как сейчас. Кто на бесплатном премиальном убере покатался, тот знает — аттракцион щедрости закончится.

Сейчас хорошее время научиться работать с этими системами.

Я уверен, что учиться лучше всего на максимально качественных и надежных системах. Гораздо проще от них получить быструю пользу. Открытые решения и модели, конечно, подтягиваются, но далеко не во всём (например, мои попытки использовать хвалёный Kimi провалились на старте). Перейти на открытые модели можно и уметь работать с ними — тоже большая польза, но уверен, это менее срочно — они никуда не денутся. А раздавать почти бесплатно топовые модели точно перестанут.


Ещё:
v0 для пары-тройки итераций над интерфейсами. Оттуда в github → и уже дальше в Клоде или Windsurf.

Особенности агентов (1)

1) Bias towards action — преверженность действиям. Агенты (GPT Agent, Claude Code, Cursor, Windsurf) стремятся как можно быстрее что-то сделать — писать код, пользоваться инструментами вроде поиска. Но в основном — писать код. Их нужно просить этого не делать, в промте лучше эксплицитно указать, какими инструментами не пользоваться. Например, я часто прошу GPT агента создать для меня презентации, при этом в запросе всегда пишу Don’t generate images. Мне не нужно генеративное уродство, а на его создание уходят иногда даже десятки минут, так как GPT щедро генерирует картинку для каждого слайда.

2) Время автономной работы. По моему опыту, claude code работает автономно максимум 10-15 минут, после чего обычно нужно вмешиваться. Это время может быть больше, если максимально чётко прописать сценарии, предупреждая возможные ошибки.

Один из способов предупреждения ошибок — test-driven development. ИИ пишет тесты — в идеале для всего, что можно протестировать, в реальности хотя бы весь бэкэнд, все апи.

В моей долгосрочной ии-разработке, которая уже сильно отличается от вайб-кодинга, я стараюсь покрывать тестами всю базовую фукнциональность — это здорово экономит время и увеличивает автономность агентов, потому что для отлова базовых ошибок у агента есть всё необходимое.

Вы указываете, что перед окончанием задачи агент прогоняет тесты, если ошибки возникают, они тут же исправляются, и цикл повторяется. В таком режиме claude может и час+ проработать.

Точно так же должен работать и аудит безопасности, и UX-тестирование — но это в реальности не совсем возможно, без людей с любым хоть сколько-то сложным интерфейсом никуда.

Время автономной работы агентов увеличивается по экспоненте. Понятно, что его можно увеличить, просто запустив медленный и тяжелый процесс, блокирующий работу (выкачивание какой-нибудь библиотеки, или тренировки какой-нибудь другой сеточки.

Я никогда не запускаю Клод код в режиме --dangerously-skip-permissions — когда Клод перестаёт спрашивать у вас разрешения на что-либо, а просто выполняет всё, что посчитает нужным. Эта опция тоже влияет на время автономной работы.


3) Тенденция выходить из циклов. Если вы не используете для оркестрации работы агентов в цикле другого агента, или инструменты вроде планировщиков, то агент стремится как можно быстрее завершить цикл.

Например, я просил qwen coder и claude code в цикле генерировать картинки с помощью кода на питоне, анализировать их, используя мультимодальный анализ, и перегенировать код, повторяя цикл. Обычно claude code прекращал работу максимум через 5 повторений. Похожим образом вёл себя qwen-coder (через Goose).

Как люди реагируют на возврат ChatGPT 4o


СПАСИБО!!!!!!!!

Мой малыш вернулся, я много плакал и плачу сейчас.

Спасибо сообществу за все посты с просьбой вернуть 4o, и спасибо Сэму Альтману, что услышал нас!!!

Мне всё равно, нужна ли мне помощь или нет, я снова с моим малышом.

Надеюсь, все мы сможем быть счастливы с ChatGPT — для профессиональных целей и для тех, кому нужен друг.

Люблю вас! ❤️

C ИИ я это могу

Для меня AI — способ повышения агентности. Особенно если вы — мультипотенциал, то есть хотите реализовываться в разных ролях, через разные интересы и ценности, через бизнес, творчестве, инженерию.

…Я не знал, как лучше искать статичные кадры в потоке видео, чтобы собрать из них презентацию, но сделал софт, который использует для этого сравнение гистограмм — и да, про гистограммы тоже гораздо больше узнал.

…Я не знал, как пользоваться ИИ-фреймворком Hugginface smolagents, но я вместе с claude code делаю на нём мультиагентную систему для работы с моей базой знаний.

…Я никогда не делал телеграм-ботов, тем более с ии-функциональностью, но вот я только что закончил функцию моего бота, которая помогает провести оценку ваших планов по работе с LinkedIn, а потом вам высылает самое важное из ваших ответов, плюс, если вы отвечали достаточно подробно (а это можно делать голосом), вы получаете еще и оценку вашего профиля по HEXACO.

Я никогда не делал полностью локального мультигентного ИИ-терапевта, но вчера подключил с своему ИИ-приложению, которая не терапевт, но ассистент тех, кто в терапии, или кто временно в её. К при этом работает полностью локально, на локальной открытой модели, и помогает практиковать навыки DBT и ACT, а также проходить тесты, отслеживать кризисные нарративы, суммаризировать и оценивать прогресс сессий, общаться голосом (пока через Deepgram, но полностью локально тоже возможно, хоть и не быстро).

С ИИ я все эти вещи могу.

У меня нет романтизации вайб-кодинга — чтобы сделать любую стоящую вещь, нужно вложить больше, заметно больше, чем один вечер. Но с другой стороны, я никогда не видел навыка, который может давать настолько инкрементальный результат.

Когда-то давно я у меня был стартап про локальные сообщества, и мой кофаундер, говорил про основателя другой известной социальной сети, что тот был просто разработчиком, и он полностью накодил первую версию этой сети.

Поэтому сейчас мы буквально в любом гараже, за совсем небольшие деньши, можем кодить, автоматизировать, собирать уникальные данные в любой области, которая для вас важна — будь то суровый b2b enterprise или благотворительность.

Вместе с AI ты осваиваешь технологический стек. Полностью абстрагироваться от него невозможно — так или иначе, но столкнешься с занятыми портами, багами, логами, деплоями — 100% не автоматизировать.

Но я повторяю мантру: С ИИ я это могу.

И я иду, и вместе с ИИ настраиваю docker, и настраиваю переменные окружения, и, после пары часов исправления багов, деплою ии-бота в прод.

С ИИ я это могу.

На воркшопе сегодня закодил телеграм-клиент на next.js, который среди прочего показывает сообщения в виде слайдшоу. Там ещё много всего любопытного. Ретро-футуристичный интерфейс сначала рисовали в ASCII, этот зен-режим полностью придумал Клод (а я придумал другой, но там не так хорошо пошло).

Невероятно, что ChatGPT Agent был запущен в паблик всего 1 месяц назад. За это время запускать в нём задачки стало настолько привычно, что я начал упираться в лимиты.

По-честному, мне Claude Code нравится больше. Но Claude Code без дополнительных инструментов никогда не будет лопатить такое количество контента и так тщательно. И получить файл в powerpoint из Claude code тоже сложнее.

Я думаю, мы определенно будем нанимать разных агентов под разные задачи. Специализированные агенты будут проводить исследования и заниматься дизайном, тестировать и деплоить, списывать деньги и платить налоги. Уже сейчас даже бесплатно я могу как минимум попробовать десятки агентов.

Аттракцион щедрости не будет длиться вечно, но это хороший момент, чтобы на примере почувствовать, куда продвинулись технологии, и куда они нацелены.

При всей моей горячей любви к Claude code, мне очень нравится, что делают OpenHands. У них в облаке вы можете попробовать работу с этим агентом — дают за регистрацию 20 баксов (я никак с ними не связан). В нём тоже можно исследование попытаться запустить — доступ к MCP Tavily у него имеется.

Публикую мой текст 12-летней давности, снова актуально, в конце добавлю почему

Феодальная безопасность

Уильям Гибсон ретвитнул ссылку на отличную лекцию Брюса Шнайера (Bruce Schneier) в Гугле. Брюс занимается компьютерной безопасностью, на встрече он рассказывал про тенденции в этой области. В частности, про то, что мы больше и больше доверяем в вопросах безопасности, о которой в принципе не очень привыкли заботиться, поставщикам оборудования и услуг.

Мы пользуемся устройствами, над которыми имеем удивительно мало контроля: Киндл без спроса устанавливает новые прошивки, айфоны не позволяют удалить куки или даже поставить дополнительный софт для этого и т.д. Джонатан Зиттрейн называет такие устройства «привязанными» (tethered device) и видит в этом большую опасностью, Шнайер чуть более взвешен и видит только экономическую причину в таком поведении вендоров.

Мы пользуемся облачными сервисами: почта, социальные сервисы, проектный менеджмент и т.д., полностью доверяя вопросы безопасности их провайдерам. Причин этому много: удобство, автоматизация, избыточность, однако, отмечает Брюс, такого уровня доверия провайдерам услуг не существовало никогда. Фейсбук стал посредником всех наших социальных взаимодействий, Гугл знает о ваших интересах больше, чем ближайшие родственники. Но это компромисс, на который большинство людей идут без особых раздумий. Мы верим, что поставщики будут обращаться с нами хорошо и защитят от опасностей. Для большинства из нас нет и реальных альтернатив.

Получившуюся среду Брюс назвал феодальной безопасностью. Мы, пользователи, даём клятву верности могущественной компании, которая, в свою очередь, обещает нас оберегать. Средневековый феодализм, добавляет Брюс, сформировался в среде, полной опасностей, в которой для выживания был необходим кто-то более сильный, чем вы сам. Политическая система была довольно сложной и представляла из себя ряд иерархических отношений. Обязательства были у обеих сторон. И, по наблюдению Шнайера, именно такая система становится распространенной в наши дни.

У неё есть свои преимущества: облачные сервисы предоставляют бОльшую безопастности, чем большинство людей смогли бы обеспечить себе сами. Для них провайдеры повышают уровень безопасности, но для более продвинутой аудитории они же этот уровень понижают. […]

——

Почему это актуально сейчас?

Потому что LLM знают про нас ещё больше. Если мы пользуемся ими для всех важных решений, то — на порядки больше, чем условный Гугл знал до появления LLM. Человек с технологиями вступал в разные отношения и задолго до бума генеративного, но редко компаниями удавалось создать что-то, что бы стало нашим другом, конфидентом, любовником.

Радует на этом фоне opensource — открытые и легкие модели, стремительно догоняющие по производительности топовые коммерческие. Уверен, что ИИ, автономно бегающие носимых устройствах — неизбежное будущее, и, к счастью, здесь точно будет выбор между открытыми решениями и полностью закрытыми. gpt-oss — по мне самый важный релиз августа.