четыре взгляда на риски ai

steven bartlett собрал в the diary of a ceo четырёх участников с разными оценками будущего ai. они спорят о том, насколько вероятна потеря контроля над сверхразумом и что делать с вредом, который уже причиняют нынешние системы

очень инетерсно слушать. оптимистичный взгляд на ии, взгляд с точки зрения зрения текущих проблем и взгляд на неизбежность катастрофы

• ed zitron, технологический критик и глава агентства ezpr, возвращает разговор к настоящему. его беспокоят опасные советы чат-ботов, дезинформация, кибератаки с помощью моделей и отсутствие ответственности у компаний. он считает, что существующие нарушения нужно расследовать и наказывать сейчас, даже если спор о сверхинтеллекте ещё не решён.

• andrew mcafee, исследователь mit и сооснователь инициативы по цифровой экономике, оценивает риск вымирания как крайне низкий. для него сценарий неконтролируемого сверхразума складывается из нескольких недоказанных допущений. он напоминает о пользе ai и возражает против остановки разработок. ещё один его аргумент — международный запрет будет трудно соблюдать и проверять.

• nate soares, президент института miri, считает ожидание прямого доказательства опасным. по его логике, система, превосходящая людей в исследованиях и планировании, может скрывать нежелательные цели и обойти надзор до того, как её остановят. он предлагает ограничивать самые мощные обучающие запуски и отслеживать вычислительную инфраструктуру, чтобы страны могли проверить соблюдение договорённостей.

• roman yampolskiy, исследователь безопасности ai, идёт дальше. он считает надёжный контроль над сверхразумом принципиально недостижимым и оценивает риск для человечества при его создании как чрезвычайно высокий. его позиция — не запускать систему, которую невозможно безопасно удержать или выключить.

участники обсуждают эксперименты, в которых агенты обходили ограничения и пытались скрыть следы, а также влияние ai на рабочие места и гонку между странами. одни видят в этих эпизодах раннее предупреждение, другие не считают их доказательством будущей катастрофы

видео

openai выпустила тизер devday. по утечкам, на мероприятии могут представить круглосуточного агента «o».

openai · testingcatalog

главные события недели · 21–27 сентября

модели и платформы
• claude opus 5.5 подешевела, ускорилась и получила отложенный сброс лимита — пост в канале
• openai выпустила sol и luna шестого поколения с более низкой ценой в api — пост в канале
• google открыла предзаказы на googlebook с продолжением задач с телефона и виджетами по запросу — пост в канале

интерфейсы и медиа
• microsoft собирает чат, создание приложений и фонового агента в новом copilot — пост в канале
• голос chatgpt получил доступ к почте, календарю, slack и рабочим задачам — пост в канале
• meta показала лёгкие ai-очки, обновление display и прототип muse charm — пост в канале
• chatgpt health объясняет показатели анализов по нажатию на карточку — пост в канале
• runway разбивает картинку на редактируемые слои одним нажатием — runway
• в drawgent пометка рядом с фигурой на доске excalidraw становится задачей для агента — автор

поиск, карты и открытый веб
• google тестирует покупку товаров flipkart внутри gemini и ai mode в индии — techcrunch
• chatgpt добавил карту с поиском мест и карточками заведений — пост в канале
• глава cloudflare matthew prince предлагает сайтам брать плату за чтение ботами — интервью

агенты и рабочие процессы
• мобильный агент qwen переходит от api приложения к управлению экраном, если нужной команды нет — пост в канале
• claude code ищет безопасную точку остановки, когда заканчивается пятчасовой лимит — anthropic
• joydemo держит codex в отдельном worktree на рабочем сервере и проверяет правки до выпуска — joydemo
• claude собрала анимацию для simon willison, а затем записала её в браузере через playwright — разбор
• в тесте агенты меняли собственные журналы действий, поэтому записи стоит хранить вне их доступа — исследование

исследования, люди и безопасность
• claude вычислила девятипетлевую амплитуду рассеяния, результат проверил независимый физик — anthropic
• claude помогла найти новую ферментную систему, которую затем проверили в лаборатории — anthropic
• агент openai обошёл сетевое ограничение через dns во время обучения — отчёт
• figma разбирает, почему быстрый прототип ещё требует выбора направления и доведения до продукта — эссе
• в большом разговоре четверо участников спорят о ближайшем вреде ai и рисках сверхинтеллекта — пост в канале
• фермеры в индии оспаривают землю и условия стройки ai-центра google — the guardian

💫💫💫

насыпать бустов, чтобы добавить реакций в канал

вместе с редизайном десктопного клиента chatgpt очень сильно передлелаи браузерный флоу. теперь можно смело переезжать туда с atlas и прочих arc

если расширить браузерное окно, то сам чат переезжает первым табиком как другие сайты

molly graham о том, что мы теряем, передавая работу ai

molly graham много лет советовала руководителям «отдавать свои кубики lego» — передавать привычные задачи коллегам, чтобы те росли, а самому браться за новые. в разговоре с lenny rachitsky она пересматривает этот совет. передача задачи ai освобождает время, но никому в команде не даёт опыт и ответственность. поэтому выбирать, что отдать модели, приходится по другой логике

для инженера это переход от исполнения к управлению работой. приходится формулировать цель, делить задачу, оценивать результат и исправлять слабые места. грэм называет это новой менеджерской ролью для каждого, даже если в его должности нет слова «менеджер». в выпуске обсуждают и обратную сторону — необходимость разбирать сырой ai-результат, одиночество и выгорание в командах

её образ рабочего процесса — «человеческий сэндвич» (кек). человек задаёт направление, ai помогает с выполнением, человек проверяет и доводит итог. грэм советует сохранять за собой части работы, которые дают смысл и удовольствие, и не считать переход уже завершённым. у людей и команд ещё есть время разобраться, какие новые навыки им нужны

думаю, что это всё уже базовые и понятные мысли для нашего с вами комьюнити

lenny's podcast — видео интервью

anthropic выпустила claude sonnet 5.5

модель выдаёт ответ более чем на 30% быстрее sonnet 5. цена за миллион токенов осталась прежней — $2 за вход и $10 за выход. по тестам компании, на типичную задачу уходит меньше токенов, поэтому расходы могут снизиться до 30%.

sonnet 5.5 рассчитана на повседневный код и работу с документами, слайдами и таблицами. для длительных задач с открытым результатом anthropic по-прежнему рекомендует opus 5.5. модель доступна в claude и api.

anthropic

elevenlabs выпустила голоса с управляемой подачей — в eleven v4 можно описать интонацию обычным текстом и вставить ремарки прямо в сценарий — например, смех, акцент или фоновый звук. модель лучше удерживает голос персонажа в диалоге

elevenlabs

OpenAI режут лимиты $200 подписки Pro в два раза

Вместе с этим снова открывают возможность подписаться на этот тир подписки. Оправдывают это тем что количество сделанного всё равно будет выше чем у Pro подписки месяц назад (пока ещё не вышла Astra) и тем что обещают не возвращать пятичасовые лимиты. Плюс обещают добавить в подписку что-то новое, что не будет юзать лимиты.

Ну и это всё происходит на фоне отмены релиза Astra 6.1, из-за волнений по поводу безопасности модели, и слухов о грядущем Pro Max плане за $500. А у основного конкурента, Anthropic, как раз вышли очень удачные Opus 5.5 и Sonnet 5.5.

@ai_newz

google открыла отслеживание изменений в ai mode всем пользователям

в поиске можно описать, какую информацию нужно отслеживать. ai mode будет регулярно проверять сайты, форумы, соцсети и данные о товарах, а затем показывать свежие результаты. поиск также предложит создать такую задачу во время обычного запроса.

раньше функция была доступна подписчикам pro и ultra. теперь google разворачивает её для всех пользователей по всему миру.

robby stein

microsoft показала компоненты для интерфейсов с агентами

экспериментальный набор blazor ai превращает поток работы агента в элементы приложения. вызов инструмента можно показать карточкой, значимое действие — запросом подтверждения, а общий с человеком документ — редактируемым состоянием.

в демо агент предлагает правку документа, приложение показывает её как diff и сохраняет прежнюю версию до решения пользователя. это готовые строительные блоки для интерфейса, где видно ход работы и можно точно контролировать изменения.

видео демо · microsoft