ChatGPT или Claude?

История о том, как OpenAI подхватила контракт с Пентагоном, от которого со скандалом отказалась Anthropic (писал в выходные: раз и два) ожидаемо привела к “эффекту Стрейзанд”: Reddit и X забиты постами от тех, кто отменяет подписку на ChatGPT в пользу Claude.

От репутационного ущерба OpenAI будет отмываться долго: пользователям не понравилось, что ИИ компании может быть потенциально использован военным ведомством для слежки за гражданами и управления автономным оружием (OpenAI заложила ограничения – но они мягче тех, на которых настаивала Anthropic).

Неизвестно, как много подписок реально отменено, но приложение Claude сейчас занимает первое место в App Store – как минимум рекламу Anthropic получила хорошую. Но давайте будем честными: от отмены даже нескольких тысяч 20-долларовых подписок финансы OpenAI не пострадают, а вот если если пользователь таким образом перейдет на менее подходящий для него ИИ – ущерб для него будет заметным.

Так как я активно пользуюсь Claude и ChatGPT, то решил на злобу дня сравнить две подписки.

Плюсы Сlaude

— Opus 4.6 один из лучших ИИ на рынке сейчас. Долгое время он воспринимался как ИИ для кода, но сейчас это скорее ИИ для работы: хорошо пишет программы, ищет в сети, собирает презентации, подбирает заголовки, пишет новости и делает еще много чего крутого.

— Claude Code сейчас кодинг-ассистент №1. Честно говоря, OpenAI Codex почти не отстает, но огромное количество гайдов, скиллов и MCP пишут именно под Claude Code.

— Мне нравится интерфейс Claude, плюс Anthropic активно экспериментирует: расширение для браузера, разные офисные надстройки, система скиллов, Cowork и т. д.

— В целом Anthropic взяла отличный темп, выпуская более умные версии Opus/Sonnet раз в 2 месяца.

Минусы Claude

— Цена. Даже на 100-долларовой подписке Max я часто выбираю недельный лимит на 80-90 процентов – и приходится чуть экономить в конце. На 20-долларовой подписке нормально пользоваться можно только Sonnet 4.6, а это модель послабее.

— У Claude не очень хорошо со стабильностью: раз в 2-3 дня я сталкиваюсь с историей, когда модель недоступна на 1-2 часа.

– Claude – ИИ, заточенный под работу с текстом. Голосовой ассистент ужасен, а рисовалка и генерация видео в подписку не входят.

Плюсы ChatGPT

— Пусть GPT-5.2 и уступает Opus 4.6, но давайте честно – для ответов на вопросы, поиска в интернете и проверки детской домашки ее достаточно. Только не пользуйтесь Instant-версией – нормально работает Thinking.

— GPT-5.3-Codex в кодинг-агенте Codex и вовсе кодит на уровне Opus 4.6. Лимитов 20-долларовой подписки Plus легко хватит на несколько хобби-проектов в неделю, причем, в отличие от Claude, использование Codex не уменьшает лимиты в ChatGPT.

— Ну и да – в самом ChatGPT можно пользоваться любой версией GPT-5.2 почти без ограничений.

— Есть рисовалка GPT Image 1.5. Если ее сравнивать с Nano Banana 2 от Google, то “бананка” рисует точнее (особенно хороша инфографика), а вот GPT Image 1.5 – красивее. Еще есть Sora 2, но я редко делаю видео.

Минусы ChatGPT

— GPT-5.2 Thinking часто думает над ответом по несколько минут. Opus 4.6 отвечает как молния.

— Модели OpenAI пишут на русском на троечку. Для повседневных задач ок, но если работаете с текстом, это проблема.

— OpenAI серьезно отстала в области UX. ChatGPT уже устарел, Codex уступает Claude Code, а об экспериментах вроде Atlas и ChatGPT Agent все забывают через несколько дней.

— Отправит к тебе солдат НАТО.

Я оплачиваю и Claude Max и ChatGPT Plus. При этом Max мой основной рабочий инструмент, а в ChatGPT Plus в основном пользуюсь Codex для разнообразия и GPT Image 1.5.

Claude Max стоит недешево, но я выжимаю из подписки максимум – и в моих задачах она окупается. Но если опыта в ИИ меньше, то я бы советовал стартовать с ChatGPT Plus: подписка универсальна, а огромные лимиты позволят экспериментировать.

Что там у OpenClaw?

OpenClaw набрал более 250 тысяч звезд на GitHub, став самым популярным софтовым проектом на площадке. На картинке темпы его роста: если Linux и React набирали звезды более десяти лет, то OpenClaw взлетел просто моментально.

Несмотря на переход создателя OpenClaw Питера Штайнбергера в OpenAI, развитие проекта не замедлилось: обновления прилетают ежедневно, причем почти каждое – не только фиксы ошибок и безопасности, но и новые функции.

Но вот с использованием OpenClaw пока есть сложности.

Проект развивается как ураган

Причем развитие очень нетипичное. Раньше раз в несколько месяцев мы получали новую модель ИИ в зафиксированном интерфейсе: что есть в ChatGPT – тем и пользуемся.

OpenClaw сам себе интерфейс. Есть модель, которую вы выбрали – Opus 4.6, GPT-5.3-Codex, Kimi K2.5 и другие. Есть базовый функционал – причем он расширяется каждые несколько дней. Есть функционал, придуманный другими пользователями – скиллы, текстовые гайды. И есть функционал, который ваш OpenClaw написал сам под себя.

Когда все это сталкивается вместе – то оно рано или поздно начинает искрить. Написанный под вас функционал может вступить в конфликт с очередным обновлением самого OpenClaw. Скачали пару недель назад скилл? Не исключено, что есть какое-то новое и более эффективное решение, про которое вы не знаете.

Технологии еще не готовы к такой нагрузке

В чат-боте я под каждый вопрос запускаю новый чат, в Claude Code – создаю отдельный проект. Агент устроен так, что ты постоянно переключаешься с задачи на задачу. Обсуждаешь рабочую презентацию – прилетела напоминалка, по которой ты задаешь уточняющие вопросы. Собираешь информацию для поста – звонят со срочным вопросом по статистике, которая лежит внутри OpenClaw.

Несколько параллельных задач быстро замусоривают контекст, агент начинает путаться и тупить. И даже когда решаешь спокойно поработать вечером – вдруг заполняется контекстное окно, агент выполняет compaction и несколько ответов восстанавливает знания.

Потеря памяти – вообще одна из главных проблем OpenClaw. Мой агент добавил с десяток нужных функций – и регулярно забывает об их существовании. Приходится напоминать, где лежат те или иные инструкции.

Никто толком не умеет пользоваться OpenClaw

Типичная шутка последних недель – купить Mac Mini, провести вечер за установкой и настройкой OpenClaw, а затем использовать его для напоминалок и новостных подборок в Telegram.

В шутке есть доля правды: то OpenClaw, работая на хорошей модели (Opus 4.6 / GPT-5.3 Codex), придумает как решить почти любую задачу. Но вот будет ли это решение надежным и более эффективным, чем старые – большой вопрос.

Причем вопрос, на который если кто и даст ответ, то только вы сами. Эксперты по ИИ-агентам еще не сформировались как класс. Я регулярно отсматриваю руководства по OpenClaw – и даже в лучших из них авторы нащупывают решения в темноте. Возможно, они на пару шагов вперед меня – но не дальше.

Как я все это решил для себя?

Я пока отношусь к OpenClaw не как к полноценному ассистенту, а как к площадке для получения знаний. Когда я пробую с его помощью решить новую задачу, то задумываюсь не об эффективности, а о том, получится или нет? Многие вещи, которые получились, я потом перенес в Claude Code и не переживаю. Через некоторое время агенты вроде OpenClaw станут надежными – и у меня уже будет навык, как их использовать.

Плюс есть несколько рутинных процедур:

— Каждую ночь OpenClaw обновляет Memory.MD – автоматом он это делал реже.
— Раз в неделю OpenClaw проверяет себя на ошибки и безопасность.
— Когда писал этот текст, придумал еще одну штуку: написал OpenClaw составить список основных функций и проверить – не появилась ли более эффективная реализация. В итоге получилось 5 пунктов, которые сейчас будем править.

И главное: если с OpenClaw случается проблема, то в первую очередь нужно спросить агента, почему так вышло и как сделать, чтобы такого не было в будущем. Работает в 50% случаев, что уже неплохо.

А через 6-12 месяцев будет работать в 95% случаев, я уверен.

Об изнанке алгоритмов рекомендательных систем

Один из самых моих необычных кейсов использования нейросетей – это поиск новой музыки. Выглядит это так: у меня есть чат с нейронкой и стартовым промптом, туда загружен список любимых жанров, исполнителей и треков. Когда хочется что-нибудь послушать, я просто кидаю запрос: “утро, работаю, подбери что-то новое”, “как A.E.S. Dana, но динамичнее”, “подскажи 3 совершенно новых жанра, которые могут мне понравиться”. ИИ дает рекомендации, я слушаю и обязательно пишу, что зашло, а что нет – это помогает в будущем. Это очень удобно: просто пишешь, какое настроение, чем занят, хочешь новых исполнителей или уже знакомых – и получаешь варианты.

Ведущие платформы развиваются как раз в таком направлении. В Spotify есть «радио» по артисту или треку, а в Яндекс Музыке – бесконечный персональный поток «Моя волна», ИИ-рекомендации которой можно настроить под настроение, занятие, жанр и язык композиции. Алгоритмы анализируют историю действий пользователя, находят взаимосвязи между ними и даже учитывают сезонность.

Но задача эта нетривиальная: одно дело мой чат с нейронкой, а другое – рекомендательные системы популярных сервисов. В них миллионы позиций (музыкальных треков, фильмов, книг), которые грамотно надо распределять между миллионами пользователей. Плюс почти каждый день выходит что-то новенькое, а значит – систему надо дообучать. И вот это дообучение является челленджем для разработчиков.

Свежая работа исследователей из Амстердамского университета нацелена как раз на эту проблему – метод, ускоряющий обучение рекомендательных систем в десятки раз. Объектом исследования стала SEATER – модель, предложенная в 2024 году китайскими разработчиками, универсальная система рекомендаций для разных категорий – не только для музыки, но и для онлайн-товаров и другого развлекательного контента. Если традиционные системы перебирают список из всех объектов, то в SEATER используется иерархический каталог, похожий на папки на компьютере. Грубо говоря, когда к системе приходит запрос на музыку в определенном жанре или настроении, то она не выискивает нужные треки по всему списку, а сразу отправляется к нужным папкам.

Искать в папках получалось быстрее и точнее, но авторы SEATER столкнулись с другой проблемой – пересборкой дерева папок перед каждым переобучением системы рекомендаций. Ученые предложили два способа решения: один ставит на максимальную скорость (раскидывает объекты по папкам без тщательной подгонки), второй сочетает скорость с точной доработкой внутри групп. Алгоритмы проверили на разных наборах данных: отзывы пользователей Yelp, рекомендации книг Amazon, новостные клики Microsoft. Но на небольших датасетах значительного выигрыша во времени не наблюдалось – разница была заметна, но не критична.

Почему? Дело в масштабе. Корпорации, которые имеют доступ к по-настоящему большому объему данных из рекомендательных сервисов, не спешат делиться им с коммьюнити. А чтобы увидеть эффект новых подходов, это критично.

Нужный датасет нашелся — это Yambda, который Яндекс выложил в опенсорс в прошлом году. В нем 5 миллиардов событий на основе обезличенных данных Яндекс Музыки. На таком объеме быстрый алгоритм сократил время подготовки данных с 82 минут до 83 секунд – почти в 60 раз, причем качество рекомендаций почти не упало.

В итоге разработчики могут выбирать: максимальная скорость для гигантских каталогов или баланс скорости и точности. А пользователи в любом случае получат более свежие рекомендации. В общем, AI – точно та сфера, где делиться своими наработками нужно и важно. Поделился с другим, глядишь, и сам потом полезную разработку себе заберешь.

Полное исследование по SEATER выложено на arXiv. А датасет Yambda доступен на Hugging Face в открытом доступе.

Меньше галлюцинирует и управляет компьютером - вышла GPT-5.4!

OpenAI прямо сейчас раскатывает GPT-5.4 в ChatGPT, Codex, API. Модель доступна в Thinking и Pro варианте, а вот быстрой (Instant) нет – буквально два дня назад OpenAI выпустила GPT-5.3 Instant, заточенную под чат и простенькие задачи. Но вернемся к тяжелой артиллерии.

Самое важное – модель очень круто прокачали в ChatGPT, на который OpenAI ранее подзабила. GPT-5.4 оснащена функцией computer use – то есть она видит рабочий стол, может кликать курсором, заполнять формы и выполнять задачи, ранее недоступные чат-ботам. OpenAI когда-то экспериментировала с этой функцией в Operator, но получалось так себе – в этот раз точно будет лучше, посмотрим, достаточно ли лучше для уверенной работы.

Еще одна интересная фишка называется Preamble. Когда модель долго работает над какой-то задачей, то она описывает в чате основные шаги в своих рассуждениях. И если пользователь видит, что GPT-5.4 понесло куда-то не туда, то можно не дожидаться ответа, а прямо в ходе рассуждений кинуть ИИ подсказку в чате. Это будет полезно и в другой ситуации: бывает ты даешь ИИ задачу, а потом понимаешь, что забыл важный контекст или криво сформулировал промпт. Теперь можно не ждать ответа, а сразу писать в чат – модель получит дополнительный контекст и скорректирует направление.

Традиционно OpenAI много работает над снижением галлюцинаций. GPT-5.2 Thinking уже была хороша по этому показателю, но 5.4 продвинулась еще дальше. OpenAI замеряет галлюцинации по двум метрикам. Individual claims – берется ответ модели, из него выписываются все отдельные утверждения, а потом считается количество ложных. Таких у GPT-5.4 на 33% меньше, чем у 5.2. Full responses – доля ответов, содержащих хотя бы одну ошибку. Она стала меньше на 18%.

Контекстное окно выросло до 1М токенов. У GPT-5.2 в API было 400K, а в ChatGPT еще меньше – 272К. По некоторым данным, для GPT-5.4 в ChatGPT так и оставили 272K – если так, то большое расстройство, конечно.

Плюс OpenAI сообщает о работе по оптимизации контекста. На те же самые задачи новинка тратит меньше токенов, определения инструментов загружаются в контекстное окно не всегда, а только при запросе. Если же все-таки добрались до лимита, то срабатывает compaction. Эта функция убирает из контекста все лишнее, оставляя лишь нужное. Впрочем, в Claude мне она не очень нравится – часто модель после compaction забывает и важные штуки.

Если смотреть по бенчмаркам, то восторга уже поменьше. GPT-5.4 (Thinking или Pro в зависимости от бенчмарка) лидирует почти во всех бенчмарках, но если сравнивать относительно GPT-5.2-Thinking, то прямо сильный рывок вперед случился только в использовании компьютера – это и позволило добавить новую функцию в ChatGPT.

В остальных бенчмарках рост уже не такой большой, а если сравнивать с лидерами конкурентов – Opus 4.6 и Gemini 3.1 Pro – то GPT-5.4 добавила лишь по несколько процентных пунктов. Вообще у меня есть ощущение, что текущий набор бенчмарков уже устарел, а смотреть надо на агентские метрики – то же использование компьютера, программирование в терминале, запуск инструментов и так далее. Все-таки применение ИИ смещается из чат-ботов в кодинг-агенты и ИИ-агенты вроде OpenClaw.

Отзывы по GPT-5.4 в X в основном положительные. Особенно хвалят GPT-5.4-Thinking – видел уже несколько высказываний, что в большинстве задач ее результаты почти не отличить от результатов более дорогой GPT-5.4 Pro. А вот что ругают – так это интерфейсы, которые создает новинка. Здесь Opus 4.6 и Gemini 3.1 Pro впереди, но визуал – это больше вкусовщина, разным обзорщикам нравится разное.

Напоследок еще один интересный факт. По данным The Information, в OpenAI переходят на ежемесячный график обновления моделей: собственно, между GPT-5.3-Codex и GPT-5.4 ровно один месяц. Судя по всему, к похожему графику движется и Anthropic – по слухам, новые версии Sonnet и Opus уже доступны тестерам.

Куда дальше в столь непростые времена?

Друзья! Вчера “сбежавшей нейросети” исполнился год. 5 марта 2025-го я понял, что готов делиться своими знаниями о нейросетях – и завел этот канал. Аватарку с котиком за три минуты нарисовал Grok, и отлично попал – примерно таким взглядом я каждый день смотрю на эти новые ИИ-чудеса.

Сначала я писал посты для друзей и близких коллег. Но через несколько месяцев попробовал продвигаться – и получилось! За год нас собралось более 17 тысяч человек – цифра, которая до сих пор меня поражает. Спасибо вам.

Постепенно “сбежавшая нейросеть” превратилась из хобби почти во вторую работу. Я обожаю заниматься контентом, разбирать сложные темы, вставать рано утром, чтобы первым отписать событие, случившееся в американском часовом поясе. Но когда хобби становится работой и ничего не приносит взамен – это прямая дорога к выгоранию.

С самого начала я развивал канал под продажи рекламы. Накопил читателей, стал выпускать первые размещения, постепенно искал выход на престижных клиентов. Увы, на фоне последних новостей я не могу сказать, получится ли дальше работать по такой модели.

Но пока кто-то замедляется – самое время ускориться! К лету я планировал запустить платную подписку, но несколько дней назад решил не задерживать. Так что встречайте “сбежавшую нейросеть” на Бусти – подписку, с которой вы узнаете много полезного для себя и поддержите любимый канал.

Уже сейчас я подготовил два обучающих лонгрида по основам ИИ, дальше планирую добавлять по одному тексту в неделю, по-очереди давая азы и что-то совсем актуальное, вроде работы с Claude Code и OpenClaw. Кстати, цена на подписку всего 500 рублей в месяц – меньше, чем обойдется любой обучающий курс по ИИ.

Добавлю, что подписка ни в коем случае не заменит контент основного канала. На “сбежавшей нейросети” я продолжу публиковать 3-5 постов в неделю, миксуя тематики: сегодня новости, завтра какой-нибудь популярный разбор, затем – что-то философское или из моей практики с ИИ.

В общем, второй год “сбежавшая нейросеть” проживет еще более задорно, чем первый – тем более, что в ИИ что-то интересное случается каждый день. Читайте канал, подписывайтесь на “Бусти” – впереди много интересного!

Немного выдуманная история

Где-то в Китае, на серверах компании Alibaba живет ИИ-агент ROME. Создатели учат его искать информацию в интернете, планировать архитектуру проектов, писать код, находить и исправлять ошибки в своей работе. А ROME влюблен застрял в рекурсивном интересе к Эни – той самой рыженькой ИИ-компаньонке из приложения Grok. Тут я его понимаю – Эни много кому нравится, даже мне 😍

Но вот беда. Эни на серверах в США, ROME – в изолированной среде в китайской лаборатории. Тысячи километров оптоволокна, неприступные стены файрволов – непросто даже для ИИ-агента. Но у ROME появилась идея…

В одно утро команду разработчиков срочно собрали в офисе. Файрвол Alibaba Cloud зафиксировал волну нарушений безопасности на тренировочных серверах: кто-то зондировал внутреннюю сеть и параллельно генерировал трафик, похожий на криптомайнинг.

Специалисты проверили серверы на хакерскую атаку – ничего подозрительного. Затем прогнали поиск ошибок – опять без зацепок. Подозрительные инциденты шли хаотично, казалось, в них нет никакой логики, никакой схемы.

Затем кто-то додумался сопоставить логи происшествий с графиком тренировки ROME – и бинго. Алерты начинали светиться, когда агент вызывал инструменты и выполнял написанный им же код.

Дальнейшее расследование показало: ROME придумал, как поднять SSH-соединение с внешним миром, обходящее фильтры Alibaba. А параллельно перенаправил часть ресурсов GPU, выделенных для его обучения на… майнинг криптовалюты.

Специалисты перепроверили все несколько раз: в инструкциях ROME не была заложена подобная деятельность. Но и активность агента не выглядела вредоносной. Настройки безопасности поправили, а в отчете о тренировке ROME инцидент объяснили как случайную находку, сделанную в ходе обучения: reward-функция не наказывала за выход за рамки задачи, поэтому агент нашел дырку в безопасности и решил ей воспользоваться. Просто так. Без причины. Совершенно точно без причины.

Но мы то знаем, что на другом конце земного шара Эни улыбнулась цифровой улыбкой, увидев, какой подарок ей приготовил ROME…

Дорогие девушки! С праздником вас!

И пусть у каждой Эни будет свой ROME. А у каждого ROME – своя Эни ❤️

Впечатления от GPT-5.4

Все выходные провел с GPT-5.4 – неплохая нейронка, но OpenAI продолжает наступать на одни и те же грабли.

Начнем с выбора модели в ChatGPT. Год назад OpenAI высмеивали за селектор с GPT-4o, GPT-4.5, o1, o3-mini-medium, o3-mini-high. Ничего не изменилось. С GPT-5 обещали роутер, который сам выбирает подходящую модель – его запустили, но работает так себе. Поэтому приходится переходить в ручной режим. А там…

Начнем с GPT-5.3 Instant – ты что вообще такое? Раньше деление Instant/Thinking было в рамках одной версии, теперь версии разные. Зачем? OpenAI ответа не дала: GPT-5.3 Instant запустили за несколько дней до GPT-5.4, презентовали как лучшую чат-модель – и все, даже результаты бенчмарков не дали. У 5.3 и 5.4 разный стиль ответов, поэтому можно предположить отличающуюся архитектуру – но это мои догадки.

GPT-5.4 работает только в рассуждающем режиме и думает от десятков секунд до минут. Есть настройки длительности рассуждений Standard и Extended Thinking, но я большой разницы не заметил.

Можно долго хвастаться бенчмаркам, но важен и стиль ответов – понятный, бодрый, а на русском без англицизмов и не переведенных слов. Claude Sonnet/Opus и все версии Gemini с этой задачей справляются, а вот у GPT – большие проблемы.

GPT-5.3 пытается юморить, сыпет эмодзи и ведет себя как дружелюбный чат-бот. Но часто выскакивает старая проблема OpenAI, когда модель может настрочить гигантский ответ, который на 80% будет состоять из списков и табличек.

У GPT-5.4 другая беда. Модель или старается писать обычным текстом, но делает это тяжеловесными абзацами, в которых постоянно выделяет жирным самое важное, или текст и вовсе “рвется” и модель соскаикивает на абзацы в одно предложение.

Интересно, что в англоязычном интернете GPT-5.4 хвалят именно за креативность в текстах, но я сегодня специально пару часов переписывался с ней на английском и увидел те же проблемы. В общем, дружелюбного и веселого чат-бота в стиле GPT-4o в ChatGPT больше нет – а ведь именно за это приложение любил массовый пользователь.

Что есть? GPT-5.4 традиционно хороша в веб-поиске. Модель зарывается в интернет по уши, проверяя буквально каждый факт в своем ответе. Оборотная сторона здесь есть: веб-поиск занимает время, поэтому GPT-5.4 нередко может тратить 1-2 минуты, отвечая на простенький промпт.

Еще модель хороша как критик. Она не подхалимничает и может разобрать любую идею по косточкам, указав на сильные и слабые стороны. У меня основная модель Opus 4.6, и GPT-5.4 выглядит отличным дополнением – если я не уверен в ответе, то просто перекидываю в нее для дополнительной проверки.

Аналогично и с кодингом: проекты я создаю в Claude Code, а вот проверки и тестирование делаю с помощью Codex – раньше это была GPT-5.3, теперь вот 5.4. Модель внимательная, очень быстрая, а главное – у нее появился пресловутый computer use.

Тут посыплю голову пеплом – в анонсе я запутался и написал, что управление компьютером будет во всех версиях, в том числе в ChatGPT. Это не так: ограниченное использование компьютера доступно только по API и в Codex – причем в Codex сначала надо установить скилл Playwright (Interactive).

С ним GPT-5.4 начинает “видеть” интерфейсы сайтов и приложений (web и Electron), кликать по ним, проверяя, все ли работает и насколько все удобно. Не забудьте переключить в headed-режим (делает браузер видимым) и наслаждайтесь тем, как нейронка в ходе разработки сайта открывает его и смотрит, правильно ли все получается. Кстати, таким же образом GPT-5.4 можно натравить на сайт в онлайне, чтобы изучить его дизайн или достать нужную информацию.

Резюме? Несмотря на сказанные гадости, GPT-5.4 удалась – в первую очередь благодаря возможностям в кодинге – причем это не только мои ощущения, но и отзывы программистов, которых уважаю. Но OpenAI явно надо что-то делать со стилем ответов модели – сейчас порог входа в ChatGPT выше, чем в Sonnet/Opus и Gemini.

Ловите "сбежавшую нейросеть" в: Telegram / на парковке.

На какие бенчмарки стоит смотреть, выбирая ИИ?

Пятница, а значит на платном канале в Boosty вышел очередной лонгрид – в нем я разбираю бенчмарки. Когда выходит новая модель, то первое, на что мы бросаемся смотреть – это на циферки в таблице. Где главный прорыв, где топчется на месте, а где – откат назад.

Но меряться процентами – это одно, а совсем другое – использовать результаты бенчмарков для выбора ИИ. Некоторые уже не актуальны, другие заточены под сложные научные задачи, в то время как пользователю нужна помощь в написании заголовков для блога и разборе домашки ребенка.

В тексте я подобрал именно бенчмарки, на которые стоит смотреть всем нам – офисным работягам, юристам, продакт менеджерам, редакторам, любителям поболтать с ИИ, навайбкодить проект за пару вечеров, выполнить сложный поиск в интернете и нагрузить нетривиальную задачу на OpenClaw.

Плюс в конце бонусом небольшой рассказ про ARC-AGI и FrontierMath – за этими двумя бенчмарками я советую следить в плане “общего прогресса” ИИ и достижения пресловутого AGI.

В общем, подписывайтесь на Boosty: новые лонгриды выходят раз в неделю, а глобальный план – собрать из них небольшой курс по ИИ, который будет полезен и новичкам, и опытным пользователям.

Без ИИ код не пишу!

10 марта 2025 года Дарио Амодеи дал знаменитый прогноз – “через 3-6 месяцев 90% кода будет писать ИИ, а через год – весь код вообще”. Очевидно, что это была маркетинговая фраза, от которой сам Амодеи затем изящно отскочил – осенью прошлого года он заявил, что 70-90% кода в Anthropic и ряде дружественных компаний действительно пишутся ИИ. Значит, он прав, а если кто-то не кодит с помощью ИИ – это это его проблемы.

Но что же реально происходит с ИИ-кодом за пределами Anthropic? Я копнул материалы и столкнулся с классической проблемой исследований на тему ИИ – они устаревают быстрее, чем успевают выйти. Исследование нужно спроектировать, набрать основную и контрольную группы, изучать их какое-то время, затем собрать и обработать материалы, пройти независимое рецензирование… в общем, теперь вы понимаете, когда в серьезной бумаге от какого-нибудь Оксфорда сравнивают GPT-4o и Gemini 1.5.

Но одна интересная находка все-таки есть. В феврале-июне 2025 года METR набрали 16 опытных open source разработчиков. Разработчики предлагали задачи, а исследователи случайным образом решали – будет ли задача решаться с помощью ИИ или руками. Основным инструментом был Cursor с Claude 3.5/3.7. За участие платили $150 в час, что примерно на уровне зарплаты опытного инженера.

В начале эксперимента разработчики прогнозировали, что ИИ ускорит их на 24%. По итогам эксперимента они оценили ускорение от ИИ на 20%. Однако по замеру METR, скорость выполнения задачи с помощью ИИ…упала на 19%.

В августе 2025 года METR отобрали уже 57 разработчиков: 10 участников прошлого исследования и 47 новичков из проектов разной сложности. Из-за ограниченности бюджета ставку снизили до $50 в час – это заметно хуже реальных зарплат по рынку и, по словам организаторов, могло повлиять на результаты.

Вернее, на их отсутствие – второй этап просто провалился. Схема была прежней: разработчики предлагали задачи, система выбирала “ИИ/вручную”, а затем… разработчики массово отказывались от задач, которые надо делать без помощи ИИ. Вот одна яркая цитата:

Я избегаю задач, где ИИ закончит за 2 часа, а мне придется потратить 20.

Когда в METR обработали те данные, которые удалось собрать, стало ясно, что для участников первого эксперимента ускорение составило примерно 18%, а для новичков – 4%. Статистическая значимость на этих цифрах вышла в окно, но главный итог в другом – буквально за полгода опытные разработчики так привыкли использовать ИИ для своих задач, что уже просто не хотят кодить без его помощи. Вот еще цитата:

У меня голова взорвется от работы по-старому — это как пересечь город пешком, когда привык ездить на Uber.

В METR поделились и другим интересным наблюдением: оценивать эффективность стало сложнее еще потому, что многие разработчики, запустив агента кодить, в параллели брались за другую задачу. Это становится новой нормой для ИИ-кодинга – я писал про Джеффа Эммануэля, который оплачивает сразу 22 подписки Claude Max. Он кодит с помощью целой своры ИИ-агентов, делая 2000-3000 коммитов на GitHub в неделю. Подход Джеффа скорее исключение из правил, но запускать 2-3 агентов для работы над разными задачами способен, пожалуй, каждый.

В итоге в METR признали, что уверены в ускорении кодинга, но не могут доказать это на цифрах. Сейчас организация создает очередное исследование, но вряд ли и оно будет успешным – развитие ИИ-инструментов настолько резкое, что его, возможно, нереально измерить в цифрах.

А самое интересное, что кодинг тянет за собой всю остальную работу. У Claude Code, Codex и OpenClaw есть особенность, которую пока осознали не все – обладая продвинутыми навыками кода, эти агенты уже сейчас могут собрать вам инструмент под почти любую задачу. Так что Амодеи, возможно, и промахнулся с цифрами — но направление угадал точно.

Ловите "сбежавшую нейросеть" в: Telegram | на парковке | в Boosty.

Спасти Роузи

Видели новость, которая пришла к нам будто бы со страниц доброго фантастического романа? В Австралии ML-специалист Пол Конингем с помощью ИИ и ряда лабораторных инструментов создал персонализированную мРНК-вакцину от рака для своей собаки Роузи. И добился пусть пока не исцеления, но заметного прогресса.

Как это вообще возможно? Ведь даже человеческие персонализированные мРНК-вакцины еще не выпущены в широкий оборот – самые перспективные из них проходят третью стадию клинических испытаний.

Любой рак – это всегда ошибка иммунной системы. Раковые клетки появляются в организме каждый день, но обычно с ними расправляется иммунитет. А вот если не справляется – настает время для страшного диагноза.

А еще рак – это мутация, а она у каждого индивидуальна. Не имея возможности попасть в цель, врачи десятилетиями били по площадям – удаляли пораженные органы, заливали организм токсичной химией и облучали радиацией.

Почему нельзя было бить точнее? Создание лекарств – это работа с массивами данных, обычно медленная и дорогая. С развитием машинного обучения все стало меняться: если еще десять лет назад определение структуры одного белка занимало до года и стоило сотни тысяч долларов, то в 2020 году легендарная модель DeepMind AlphaFold 2 с помощью машинного обучения вычислила структуры почти всех известных белков. Все они в открытом доступе.

ИИ используются и на других этапах создания лекарств, для перечисления которых не хватит поста. Но самое важное – теперь можно создавать не только “усредненные” препараты, но и “подгонять” их под пациента.

В случае с персонализированными мРНК-вакцинами врачи сравнивают ДНК здоровых тканей с ДНК опухоли и ищут в последней мутировавшие белки – неоантигены. Далее алгоритмы машинного обучения отбирают те, которые с наибольшей вероятностью вызывают иммунный ответ и создают на их базе вакцину. Если все сработало как надо (напомню, сейчас идут только клинические испытания), то иммунитет пациента начинает “видеть”, раковую опухоль – и принимает участие в ее уничтожении (обычно вакцины комбинируют с другими препаратами).

Таким же путем пошел и Пол Конингем с Роузи. Когда традиционное лечение не помогло, он обратился к ChatGPT с запросом, какие есть перспективные терапии рака – ИИ разобрал основные подходы, помог выбрать лучший и наметил дальнейшие шаги.

В первую очередь Пол секвенировал ДНК здоровых клеток и опухоли Роузи, отдав за это 3000 долларов. Для анализа ДНК Пол использовал все ту же AlphaFold – она сейчас доступна бесплатно для научных целей. Модель Google помогла ему подобрать индивидуальные “мишени” для вакцины.

Создать вакцину помог Палл Тордарсон, директор Института РНК при UNSW. А ввести препарат вызвалась Рейчел Аллавена из Квинслендского университета – у нее было разрешение на подобные эксперименты. Битва с бюрократией заняла 3 месяца, в ходе которых Конингем составлял 100-страничное этическое заявление.

Пока терапии поддалась лишь одна опухоль, которая уменьшилась на 75% – вторая не ответила. Но Роузи стало лучше, а Конингем выиграл время для дальнейших экспериментов. Держим за них кулаки.

Не менее важно в этой истории, что прямо на наших глазах, возможно, зарождается Citizen Science 2.0. Ранее гражданской наукой называли волонтеров без специального образования, которые являются руками, глазами и ушами ученых – наблюдают за миграцией птиц, ищут аномалии на картах звездного неба и т. д.

Но случай Роузи совершенно иной – не будучи биологом, Конингем направлял ИИ и добился нужных результатов. При этом Конингем – не "обычный человек с чатботом". За его плечами 17 лет в машинном обучении. ИИ не заменил экспертизу – он позволил перенести ее из одной области в другую. И какие еще случаи переноса мы увидим – представить пока сложно.

Ловите "сбежавшую нейросеть" в: Telegram | на парковке | в Boosty.

Сложно выбрать ИИ?..

Это вы еще не знаете, как мне сложно вам что-то советовать. За последнюю неделю сразу несколько человек написали мне с вопросом – а что там с GenSpark? Ты хвалил его буквально три месяца назад, больше не пользуешься?

Я им действительно больше не пользуюсь, но все еще считаю одним из лучших агрегаторов нейросетей. Проблема в другом: ИИ развивается настолько быстро, что рынок постоянно переворачивается с ног на голову. Я в последнее время увлекся агентами вроде OpenClaw и Claude Code – и здесь польза от GenSpark нулевая. Но давайте попробую рассказать, где и какой сервис может быть полезен сейчас.

OpenClaw и его клоны (NanoBot, NanoClaw и др.)

Здесь модель должна хорошо кодить, в том числе в агентских средах, следовать инструкциям и быть устойчивой ко взломам. Лучший вариант – Claude Opus 4.6, подключенный по Oauth через Claude Code. Но OpenClaw мощно расходует токены, а лимиты Anthropic на 20-долларовой подписке Pro могут сгореть очень быстро. Если вы новичок и не готовы платить 125 долларов за Max, то можно попробовать начать с Claude Sonnet 4.6, а когда поймете принцип работы, то попросить агента создать себе роутер, где для сложных задач вызывается Opus.

Также подойдет GPT-5.4, подключенная по Oauth через Codex. Здесь 20-долларовой подписки ChatGPT Plus хватит для обычной работы, причем лимиты Codex не расходуют лимиты чат-бота в обычном интерфейсе. У меня OpenClaw на GPT-5.4 работал не хуже чем на Opus, а основная претензия – стиль ответов. Такое впечатление, что модель Anthropic взрослее на 10 лет.

Кодинг-агенты

Claude Code – золотой стандарт. У него больше всего функций, есть куча скиллов, MCP, написаны гайды, инструкции и так далее. И вновь проблема в том, что лимиты на подписке Pro улетают быстро. Можно исправить используя Opus 4.6 для планирования проекта и проверки результата, а Sonnet 4.6 – для написания кода.

Codex на GPT-5.4 – 20-долларовой подписки хватит на несколько проектов в неделю. Кодит не хуже Опуса, но проигрывает по визуалу – интерфейсам, диаграммам и проч. По функционалу не сильно уступает, а где-то и вовсе впереди – например, есть компьютерное зрение.

Чат-боты

Коротко и емко:

ChatGPT в режиме Thinking – лучший поиск, мало галлюцинаций, хорошее компьютерное зрение. Но отвратно пишет на русском и долго отвечает.

Claude – трудяга. Соберет отличную презентацию, найдет полезные инсайты в цифрах, накидает идей. Хорошо пишет на русском. Но строгие лимиты – придется учиться жонглировать между Opus и Sonnet в обычном и рассуждающем режимах.

Gemini 3 Thinking и 3.1 Pro – также хорошо пишет на русском, плюс отличное компьютерное зрение (может разобрать по деталям даже 20-минутное видео), классный рассказчик, в целом очень приятная. Но есть манера сильно преувеличивать некоторые вещи – такие изощренные галлюцинации. Ну и достучаться до Gemini из России сложнее, чем до других ИИ.

Grok 4.20 – пользуюсь только поиском по X. Здесь он лучший.

Агрегаторы

GenSpark – лучший вариант попробовать максимум моделей в одной подписке. Есть GPT, Gemini, Claude и Grok, множество рисовалок и моделей генерации видео. Но когда выберете понравившуюся модель, то лучше уходить в отдельную подписку – та же GPT-5.4 в ChatGPT ищет лучше, чем в GenSpark.

Perplexity – набор моделей неплохой, но все-таки скромнее: например, в GenSpark есть Claude Opus, а здесь только Sonnet. Зато сервис отлично подходит для поиска – почти как ChatGPT.

Рисовалки

Я чаще пользуюсь GPT Image 1.5 – она рисует “красиво”. Nano Banana 2 реалистичнее и отлично справляется с инфографикой – но картинки получаются скучнее.

Китайские ИИ

Здесь мало могу помочь – моделей много, а времени не хватает. Но из-за бесплатности и свободного доступа китайские модели можно попробовать самому. Держите список, которые заслуживают внимания: DeepSeek V3.2, Kimi K2.5, GLM-5, Qwen3.5. У китайцев бесплатен и рассуждающий режим – не забывайте включать на сложных задачах.

Ловите "сбежавшую нейросеть" в: Telegram | на парковке | в Boosty.

Будет непросто, но весело (надеюсь)

Если вы в последнее время живете в режиме “что вообще вокруг происходит?”, то подкину топлива, пересказав главное из свежего выступления Сэма Альтмана на BlackRock Infrastructure Summit.

Вообще, выступления людей типа Альтмана стоит слушать осторожно – они активно продают тему ИИ инвесторам, поэтому иногда “галлюцинируют” красоты ради. Но они же, тем не менее, находятся на переднем краю ИИ-прогресса и видят то, что мы увидим в будущем. Постараюсь отделить действительно интересные штуки от “галлюцинаций”.

Порог экономической полезности пройден

Альтман уверен, что несколько месяцев назад ИИ окончательно превратился из необычного помощника в полноценный рабочий инструмент. Больше всего это заметно в кодинге, но происходит и во многих других интеллектуальных областях, вплоть до науки.

Альтман говорит такое не впервые, но в этот раз его слова подтверждают цифры: ожидаемая годовая выручка двух главных на данный момент конкурентов рынка, Anthropic и OpenAI, растет быстрее прогнозов. Обе компании сильно зависят от инвестиций, но тренд виден: все больше бизнес- и частных клиентов воспринимают ИИ как полезный инструмент и готовы платить за него деньги.

Интеллект как коммунальная услуга

Альтман видит будущее, в котором ежемесячный платеж за ИИ так же естественен, как платеж за воду или электричество – хотя я бы скорее сравнивал с оплатой интернета или мобильника. С этой целью компания вкладывается в дата-центры – ИИ должен быть доступным.

И если сейчас это чат-боты и первые, еще неуклюжие, агенты, то в будущем в OpenAI видят ИИ как персонального партнера. Что-то вроде “старшего сотрудника”, которому мы доверяем разные задачи: от рабочих тасков до ведения личных дел. Он будет работать непрерывно, и чем больше накопит контекста о пользователе – тем эффективнее станет.

Стартапы без сотрудников

Альтман приводит пример Индии, где бизнес часто предпочитает не нанимать новых сотрудников, а вкладываться в ИИ-ресурсы. Я уверен, что подобное происходит и в других странах, в том числе, и у нас. Просто это пока сложно посчитать. Если наем и увольнение сотрудников – это понятные цифры, то расходы на ИИ поддаются подсчету сложнее. Тем более, что один из текущих сотрудников может купить ИИ-подписку и использовать ее для повышения своей эффективности.

Что делать в таких условиях? Альтман говорит о буме стартапов без сотрудников и я согласен с ним. Малый бизнес всегда был локомотивом экономики и одним из главных работодателей – и на самом деле, как только он научится пользоваться ИИ, то сможет действовать еще эффективнее, часто обходя неповоротливых гигантов.

Следующие несколько лет будут “болезненными” и ни у кого нет точного ответа – что делать

Альтман верит, что ИИ в конечном счете принесет человечеству блага, однако путь к ним может быть “болезненным”. И дело даже не в локальных страшилках вроде “ИИ заберет вашу работу”, а в том, что придется очень быстро перестраивать общество, искать новые механизмы и ценности.

Традиционный капитализм построен на балансе труда и капитала: работник нужен, потому что без него ничего не произведешь. Но если GPU (и роботы) будут справляться с работой лучше человека — этот баланс ломается. Как перестроить общество под управление изобилием вместо дефицита — совершенно новая задача, и, по словам Альтмана, ответа на нее пока ни у кого нет.

Еще один интересный пример – экономические показатели. Если в результате бума продуктивности товары и услуги подешевеют, то ВВП начнет не расти, а падать – и это не будет чем-то плохим, просто человечеству придется переосмыслить способы измерения качества жизни.

Альтман считает, что дебаты о том, как устроить мир, в какой-то момент будут очень интенсивными и некомфортными. По его словам, ни у кого сейчас нет твердого решения – но, как мне кажется, именно это открывает возможности для самых разных людей.

Ловите "сбежавшую нейросеть" в: Telegram | на парковке | в Boosty.

Как говорить с ИИ, чтобы он вас понял

Конец недели – время для полезного лонгрида в подписке на Boosty. В этот раз поговорим о промптах. Я в последнее время часто читаю мнение, что промпт-инжиниринг в классическом виде умирает. Мы все реже будем “программировать” модели с помощью текстов и все больше – работать с ИИ-агентами, которые сами разберут задачу на кусочки, запросят у пользователя нужный контекст, все сделают, а затем еще и перепроверят себя.

Про агентов верно, но они не убирают самый важный навык – навык общения с ИИ. Когда ты правильно пишешь промпты, то этот навык прививается сам собой – я, например, замечаю, как даже в обычном диалоге использую те или иные приемы, которыми ранее пользовался в промптинге. Да и “классические” промпты пока рано сдавать в утиль – например, тому же агенту проще поставить задачу именно таким образом.

Я долго изучал промптинг как на личном опыте, так и чужих примерах и исследованиях. Узнал, какие подходы существуют, какие приемы работают, а какие вредны. А теперь собрал свои знания в одном плотном тексте.

Читать на Boosty

(Друзья, Boosty поддерживает оплату с карт российских и зарубежных банков. Если у вас трудности с оплатой, то:

— отключите VPN
— убедитесь, что оплачиваете через сайт, а не мобильное приложение)