Вчера была пятница, и в Яндексе прошел традиционный еженедельный хурал 🙂 Много лет назад эта очень интересная традиция корпоративной культуры родилась как-то случайно из обычных планерок, но оказалась очень живучей и очень востребованной — а по мере роста компании и все более важной. Первые годы существования хурал был интересной частью моей собственной работы: я хуралы активно готовил и в большинстве случаев сам и вел. Теперь это — серьезная работа нескольких команд, и очень здорово, что об этом сняли фильм, который не только внутри показывают, но и выложили в публичный доступ на Кинопоиск. Фильм любопытный и не слишком долгий; интересующимся корпоративными культурами бигтехов будет интересно посмотреть:)
https://www.kinopoisk.ru/film/13409687/
https://www.kinopoisk.ru/film/13409687/
Кинопоиск
В этом весь Я: Хурал, 2026
🎬 В Яндексе есть традиция: раз в неделю встречаться всей компанией, чтобы поделиться запусками и новостями, порадоваться успехам или признать ошибки, задать вопросы и получить честные ответы. Это — хурал. Команда, которая его готовит, рассказывает, как всё…
❤39💩28👍16👏5👎2🔥1😁1🤬1
Красивая веха в развитии гуманоидных роботов: китайский автопроизводитель XPeng на своей фабрике запустил производство роботов IRON в рамках полномасштабной коммерческой сборки, а не очередного пилота. Пресса ухватилась за тот факт, что робот самостоятельно пошел сразу после окончания сборки. Автопризводители знают толк в пиаре: автомобиль должен сам уезжать, робот должен сам уходить, как только сборка завершена.
Маску должно быть обидно: первым автопроизводителем, всерьез построившим производство гумов стала не Тесла.
https://interestingengineering.com/ai-robotics/xpeng-iron-humanoid-robot-production
Маску должно быть обидно: первым автопроизводителем, всерьез построившим производство гумов стала не Тесла.
https://interestingengineering.com/ai-robotics/xpeng-iron-humanoid-robot-production
Interesting Engineering
XPeng starts making IRON humanoids as Tesla Optimus faces delays
XPeng starts IRON humanoid robot production in Guangzhou, taking a major step toward commercial-scale manufacturing of humanoids.
👍39❤14
На тему фрагментации, суверенизации и прочего сепаратизма на цифровой стороне нашего мира. Гугл начал довольно заметно менять свою европейскую выдачу поиска после антимонопольного штрафа ЕС в €460 млн: наверх поднимаются специализированные поисковики (сервисы сравнения цен и им подобные), а карусели отелей, авиакомпаний и ресторанов теряют часть функций, включая актуальные цены. Компания прямо и официально называет это крупнейшим ухудшением качества поиска за всю его 29-летнюю историю; старший вице-президент Ник Фокс утверждает, что реформа усиливает посредников за счёт локального бизнеса.
Это, похоже, первый настолько яркий пример регуляторной “локализации”, а не просто типичный кейс «регулятор против платформы»: появление двух сильно разных по виду и функционалу (когда-то вызывавшие много шума разные госграницы на Картах на этом фоне — пустяк) версий одного базового цифрового продукта: глобальной и европейской.
https://www.reuters.com/world/google-warns-lower-quality-it-revamps-europe-search-results-avoid-eu-fines-2026-09-08/
Это, похоже, первый настолько яркий пример регуляторной “локализации”, а не просто типичный кейс «регулятор против платформы»: появление двух сильно разных по виду и функционалу (когда-то вызывавшие много шума разные госграницы на Картах на этом фоне — пустяк) версий одного базового цифрового продукта: глобальной и европейской.
https://www.reuters.com/world/google-warns-lower-quality-it-revamps-europe-search-results-avoid-eu-fines-2026-09-08/
👍17🤬6❤5🔥1
Forwarded from Data Secrets
Компании платят авторам контента, чтобы те рассказывали об опасностях ИИ
Немецкая исследовательница Сабина Хоссенфельдер, которая занимается теоретической физикой и снимает научно-популярные видео на ютуб, рассказала (youtu.be/lPdmYMHrWKg), что к ней обратилась некая организация с предложением оплатить видео, предупреждающее об экзистенциальных рисках ИИ.
Предложение пришло вместе со сценарием, конкретными фразами и цитатами, которые нужно было включить. Хоссенфельдер отказалась. Название организации она не раскрыла, но упомянула, что похожие предложения получали и другие блогеры, при этом не только от этой конкретной компании.
Среди частых заказчиков подобного контента – Center for AI Safety и Future of Life Institute, у которых, кстати, есть общий крупный донор Open Philanthropy. В последние годы Open Philanthropy активно занимается продвижением безопасности ИИ.
Хоссенфельдер также рассказала, что деньги за лоббирование текут в научпоп и техжурналистику и с других сторон. Например, WIRED недавно писали о том, что маркетинговая фирма, связанная с организацией Build American AI предлагала тиктокерам до 5000 долларов за ролик, продвигающий антикитайские ИИ-тезисы. При этом – с инструкцией не отмечать и не раскрывать, кто платит.
Choose your fighter: реклама в ChatGPT / реклама того, что ИИ нас всех убьет
Немецкая исследовательница Сабина Хоссенфельдер, которая занимается теоретической физикой и снимает научно-популярные видео на ютуб, рассказала (youtu.be/lPdmYMHrWKg), что к ней обратилась некая организация с предложением оплатить видео, предупреждающее об экзистенциальных рисках ИИ.
Предложение пришло вместе со сценарием, конкретными фразами и цитатами, которые нужно было включить. Хоссенфельдер отказалась. Название организации она не раскрыла, но упомянула, что похожие предложения получали и другие блогеры, при этом не только от этой конкретной компании.
Среди частых заказчиков подобного контента – Center for AI Safety и Future of Life Institute, у которых, кстати, есть общий крупный донор Open Philanthropy. В последние годы Open Philanthropy активно занимается продвижением безопасности ИИ.
Хоссенфельдер также рассказала, что деньги за лоббирование текут в научпоп и техжурналистику и с других сторон. Например, WIRED недавно писали о том, что маркетинговая фирма, связанная с организацией Build American AI предлагала тиктокерам до 5000 долларов за ролик, продвигающий антикитайские ИИ-тезисы. При этом – с инструкцией не отмечать и не раскрывать, кто платит.
Choose your fighter: реклама в ChatGPT / реклама того, что ИИ нас всех убьет
👍29❤11😁10💩4🔥3
Антропики опубликовали результаты экономической модели, пытающейся предсказать влияние развития ИИ на экономику и рынок труда в США до 2030 года. Схема традиционная: средний сценарий и два крайних случая максимального и минимального воздействия. Читатели сразу обратили внимание, что уже больше года муссируемые мрачные прогнозы Амодеи похожи на радикально плохой (и наименее вероятный в рамках моделирования), а не средний сценарий.
К моделированию, впрочем, остается немало вопросов. Во всех сценариях предполагается, что структура рынка труда для людей остается той же, что и сегодня — и перераспределение возможно только в рамках уже существующих сегодня ролей. Опыт же всех предыдущих трансформаций показывает, что в процессе возникают новые, неожиданные и иногда массовые роли, куда перетекает часть высвобождающейся рабочей силы.
Но, увы, модели не умеют работать с неопределенностями такого типа: параметры и масштаб новых ролей надо задать явно, чтобы учесть в модели, и эти взятые с потолка (а больше неоткуда) допущения убьют всю стройность модели.
Так что почитать (и особенно поиграться с интерактивной версией) интересно и познавательно, но назвать результат серьезным прогнозом как-то сложно:)
https://www-cdn.anthropic.com/files/4zrzovbb/website/cf58f84d46a4a76bf5a5b039ac695fba6b80041c.pdf
Интерактивная версия - https://www.anthropic.com/institute/econ-scenarios
К моделированию, впрочем, остается немало вопросов. Во всех сценариях предполагается, что структура рынка труда для людей остается той же, что и сегодня — и перераспределение возможно только в рамках уже существующих сегодня ролей. Опыт же всех предыдущих трансформаций показывает, что в процессе возникают новые, неожиданные и иногда массовые роли, куда перетекает часть высвобождающейся рабочей силы.
Но, увы, модели не умеют работать с неопределенностями такого типа: параметры и масштаб новых ролей надо задать явно, чтобы учесть в модели, и эти взятые с потолка (а больше неоткуда) допущения убьют всю стройность модели.
Так что почитать (и особенно поиграться с интерактивной версией) интересно и познавательно, но назвать результат серьезным прогнозом как-то сложно:)
https://www-cdn.anthropic.com/files/4zrzovbb/website/cf58f84d46a4a76bf5a5b039ac695fba6b80041c.pdf
Интерактивная версия - https://www.anthropic.com/institute/econ-scenarios
👍25❤14😁3💩3🔥2👏1
Ни убавить, ни прибавить:)
https://www.businessinsider.com/hugging-face-clement-delangue-jacob-coxon-ac-guy-2026-9
Генеральный директор Hugging Face заявил, что спрашивать исследователя из Anthropic о риске исчезновения человечества из‑за ИИ — всё равно что спрашивать мастера по кондиционерам о климатических изменениях.
https://www.businessinsider.com/hugging-face-clement-delangue-jacob-coxon-ac-guy-2026-9
Business Insider
Hugging Face CEO on Anthropic researcher's AI warning: 'Like asking your AC guy about climate change'
"Sorry, but asking Jacob about AI extinction risk is like asking your AC guy about climate change," Hugging Face CEO Clement Delangue wrote on X.
😁80❤19👍18💩13👎3🔥2👏1🤬1
Разговоры про то, что ИИ агенты все успешней выполняют работу разработчиков-джунов стали уже общим местом: традиционно выпускники вузов без опыта занимались в основном исполнительской работой по кодингу, а исполнитель из ИИ в правильном харнессе получается отличный.
Но теперь в зоне риска начинают оказываться претендующие на стартовые позиции выпускники и в других отраслях. OpenAI выпустил ChatGPT for Financial Services, разработанную совместно с известными инвестбанками специализированную версию ChatGPT Work. Она нацелена на автоматизацию ровно той деятельности, которой занимались начинающие финансовые аналитики.
При этом все действия оставляют необходимый для аудита след и вообще заточены под окружения и требования финансового мира.
Интересно будет послушать студентов универов, нацелившихся на карьеру в финансовом секторе:)
https://venturebeat.com/data/openai-launches-chatgpt-for-financial-services-with-integrated-data-sources-it-pulls-research-cites-it-and-builds-decks-in-minutes
Официальный анонс OpenAI
https://openai.com/index/introducing-chatgpt-financial-services/
Но теперь в зоне риска начинают оказываться претендующие на стартовые позиции выпускники и в других отраслях. OpenAI выпустил ChatGPT for Financial Services, разработанную совместно с известными инвестбанками специализированную версию ChatGPT Work. Она нацелена на автоматизацию ровно той деятельности, которой занимались начинающие финансовые аналитики.
“We’re effectively teaching ChatGPT to research like an analyst and back up its conclusions like an analyst as well”
При этом все действия оставляют необходимый для аудита след и вообще заточены под окружения и требования финансового мира.
Интересно будет послушать студентов универов, нацелившихся на карьеру в финансовом секторе:)
https://venturebeat.com/data/openai-launches-chatgpt-for-financial-services-with-integrated-data-sources-it-pulls-research-cites-it-and-builds-decks-in-minutes
Официальный анонс OpenAI
https://openai.com/index/introducing-chatgpt-financial-services/
Venturebeat
OpenAI launches ChatGPT for Financial Services in bid to disrupt Wall Street with automated research, report decks
OpenAI developed the product with major investment banks Morgan Stanley and Evercore, whose feedback helped shape its initial focus on investment banking and equity research.
💩24🔥15❤10👏6🤬3👍1
Империя наносит ответный удар:) Уже привычными стали обвинения в адрес китайцев со стороны штатовских фронтирных лаб в дистилляции и краже идей со стороны китайцев.
Но тут уже китайский стартап предъявляет аналогичные обвинения в адрес OpenAI и заявляет, что собирается и иск подать.
Пикантности ситуации добавляет тот факт, что китайцы за несколько недель до вызвавшей возмущение публикации OpenAI были в Долине и подробно рассказывали о своей работе, то есть довольно частая ситуация “параллельно работали и пришли к похожим выводам не зная друг о друге” тут точно исключена.
Конечно, юристы OpenAI при нужде отобьются, но сам по себе прецедент интересный:)
https://www.cnbc.com/2026/09/11/chinese-humanoid-robot-startup-distillation-claim-openai.html
Но тут уже китайский стартап предъявляет аналогичные обвинения в адрес OpenAI и заявляет, что собирается и иск подать.
“People often say major tech companies have intelligence networks monitoring the whole internet, this time I believe it, this is a direct distillation of us without any modifications”.
Пикантности ситуации добавляет тот факт, что китайцы за несколько недель до вызвавшей возмущение публикации OpenAI были в Долине и подробно рассказывали о своей работе, то есть довольно частая ситуация “параллельно работали и пришли к похожим выводам не зная друг о друге” тут точно исключена.
Конечно, юристы OpenAI при нужде отобьются, но сам по себе прецедент интересный:)
https://www.cnbc.com/2026/09/11/chinese-humanoid-robot-startup-distillation-claim-openai.html
CNBC
A Chinese humanoid startup flips 'distillation' claim on OpenAI as it releases a new robotics model
Ant-backed startup JoyIn's CEO published an article in Chinese that raised questions about similarities between his company's new model and OpenAI publications.
👏24😁19👍10💩7❤5🔥3
Последние сутки обсуждают письмо, подписанное многочисленными математиками-лауреатами филдсовской премии и опубликованное Теренсом Тао. Название звучит мрачно, A Severe Misalignment of AI in Mathematics. Авторы признают: за последние месяцы LLM заметно продвинулись и уже способны решать крупные нерешённые задачи в разных разделах математики. Они не призывают запретить ИИ или отрицать его полезность. Но! С точки зрения авторов, решение задач — лишь инструмент и прокси для главной цели, концептуального понимания и генерации новых инсайтов. Если забыть об этом, то инструмент начинает разрушать саму цель. Массовое производство утверждений формата «истина/ложь», по мнению авторов, может не оживить математический ландшафт, а истощить его. Процесс важнее результата.
Интересно, насколько это воспроизводит (только в спокойных тонах) уже давно развиваемую креаторами всех сортов идею: результат не так важен, как процесс его достижения, а поскольку процесс ИИ воспроизвести не может (да ему и не нужно для достижения результата) — надо запретить ИИ достигать результаты.
Да и программисты, по сути, жалуются на похожее, они тоже дорожат процессом. Интересно, кто будет следующим: менеджеры, например, не меньше дорожат своими процедурами, совещаниями, тикетами и далее по списку:)
Письмо в оригинале — https://terrytao.wordpress.com/2026/09/11/a-severe-misalignment-of-ai-in-mathematics/
И, простите, не могу не вспомнить свой уже старый текст про процессников и результатников — https://www.forbes.ru/tekhnologii/520066-znaki-vremeni-pocemu-vazno-pomnit-o-razliciah-mezdu-tvorcami-i-potrebitelami
Интересно, насколько это воспроизводит (только в спокойных тонах) уже давно развиваемую креаторами всех сортов идею: результат не так важен, как процесс его достижения, а поскольку процесс ИИ воспроизвести не может (да ему и не нужно для достижения результата) — надо запретить ИИ достигать результаты.
Да и программисты, по сути, жалуются на похожее, они тоже дорожат процессом. Интересно, кто будет следующим: менеджеры, например, не меньше дорожат своими процедурами, совещаниями, тикетами и далее по списку:)
Письмо в оригинале — https://terrytao.wordpress.com/2026/09/11/a-severe-misalignment-of-ai-in-mathematics/
И, простите, не могу не вспомнить свой уже старый текст про процессников и результатников — https://www.forbes.ru/tekhnologii/520066-znaki-vremeni-pocemu-vazno-pomnit-o-razliciah-mezdu-tvorcami-i-potrebitelami
What's new
A Severe Misalignment of AI in Mathematics
I am proud to be among the list of 25 initial signatories — all Fields Medallists — to the declaration below, which grew out of discussions between ourselves over the last week. We have…
❤42💩35🔥12👎11👍7😁7
Еще до того, как Альтман выразил поддержку идее притормозить и немножко отрегулировать снаружи развитие ИИ, он сделал интересное заявление про новый фокус развития OpenAI: человекоподобные роботы.
Новый игрок в области PhysicalAI, да еще и с ресурсами, человеческими, финансовыми и административными, которыми располагает OpenAI, — очень интересно
https://www.forbes.com/sites/johnkoetsier/2026/09/03/openai-is-making-a-humanoid-robot-everyone-should-have-one/
"We will definitely do a humanoid. We will do other form factors as well.”
Новый игрок в области PhysicalAI, да еще и с ресурсами, человеческими, финансовыми и административными, которыми располагает OpenAI, — очень интересно
https://www.forbes.com/sites/johnkoetsier/2026/09/03/openai-is-making-a-humanoid-robot-everyone-should-have-one/
Forbes
OpenAI Is Making A Humanoid Robot. Sam Altman Says Everyone Should Have One
The maker of ChatGPT is now committed to making humanoid and other types of robots, not just the AI that powers their brains.
❤16👍10💩9🔥1
На фоне обычно кочующих по новостям страшилок про убивающий рынок труда злобный ИИ, свежая статья в The Economist (не отличающийся любовью к бигтехам и ИИ), выглядит интересно. Официальные цифры занятости и их динамика даже близко не показывают ничего опасного.
Если конкретнее, то
Удивительная картинка с точки зрения всяких ИИ-думеров:) Не менее, чем смена тональности The Economist
https://economist.com/finance-and-economics/2026/09/04/the-jobs-apocalypse-is-postponed-an-ai-jobs-boom-is-here
And the evidence so far is that AI is already creating a lot of jobs to replace those it has destroyed.
Если конкретнее, то
AI has so far created around 1m new jobs in America. That easily exceeds the roughly 200,000 lay-offs attributed to AI since mid-2023, and appears more than enough to offset weaker hiring in many back-office roles.
Удивительная картинка с точки зрения всяких ИИ-думеров:) Не менее, чем смена тональности The Economist
https://economist.com/finance-and-economics/2026/09/04/the-jobs-apocalypse-is-postponed-an-ai-jobs-boom-is-here
👍22❤8🔥6👏4💩1
Я только не понял, зачем Даня обидел Вивиан: она там точно не сгенерированная:)
👍2👏2
Forwarded from AI меняет культуру | Trabun
This media is not supported in your browser
VIEW IN TELEGRAM
В рекламном кампейне Born to Disobey (Рождённая не подчиняться) испанского бренда одежды Desigual блистает Вивиан Уилсон, старшая дочь Илона Маска. Она издевается над роботом, который подозрительно напоминает Optimus — робота, которого делает Tesla, компания Маска.
Вивиан ранее публично отреклась от отца, поэтому ее финальная фраза в ролике: «Some things aren't meant to be fixed» («Некоторые вещи не нужно чинить»), — работает на нескольких уровнях, это и про сломанного робота, и про саму Вивиан, которую отец считает испорченной воукизмом.
Но мое любимое совсем не это, а то, что робота не было. Его играл актер в хромакейном костюме. Это Уилсон рассказала изданию The Impression.
Так что, в 2026-м все фейк. Робот в кадре — переодетый актер. Человек в кадре — скорее всего сгенерирован нейросетью.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23❤12👍6👎2😁2
Я сомневаюсь, что даже с помощью ИИ китайские исследователи написали работу именно в ответ на шоу “давайте затормозим ИИ — а Трамп не согласится”.
Но честно скажу, что пользы о чтения этой работы с очень говорящим названием The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement куда больше, чем от отслеживания и попыток интерпретации медийно-политической волны, поднятой Амодеи с компанией. И это китайское исследование удивительно попадает в контекст!
Представлено очень полезное структурирование реально происходящего с (само)улучшением моделей — и оно совсем не случайно сильно смахивает на давно официально принятую классификацию автономности автомобилей SAE J3016 (там формально 6 уровней: от L0 до L5, но 0 — это отсутствие автономности).
L1 — execution: Исполнение заданного людьми улучшения
L2 — strategy: Выбор стратегии улучшения в заданных рамках
L3 — experience acquisition: Выбор того, какие данные, задачи и опыт добывать дальше
L4 — environment adaptation: Закрепление изменений от собственного опыта реального использования: память, навыки, код, harness
L5 — recursive meta-improvement: Перестройка самого механизма улучшения: поиска, оценивания, исследовательской политики и способов создавать преемников
Настоящая автономность (как раз та, которой нас пугают) только на L5: на L5 объектом оптимизации становится уже не только модель, а процедура, которая генерирует следующие улучшения. Это и есть честная рекурсия, а не просто агент, который умеет переписывать свой промпт.
Так вот, авторы вполне основательно показывают, что нынешний фронтир реально находится на L1-L2, в исследовательских прототипах встречаются отдельные элементы L3-L4. Так что от сегодняшних петель обратной связи с участием человека еще надо добраться до реальной автономии улучшения.
https://arxiv.org/pdf/2609.11873
Но честно скажу, что пользы о чтения этой работы с очень говорящим названием The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement куда больше, чем от отслеживания и попыток интерпретации медийно-политической волны, поднятой Амодеи с компанией. И это китайское исследование удивительно попадает в контекст!
Представлено очень полезное структурирование реально происходящего с (само)улучшением моделей — и оно совсем не случайно сильно смахивает на давно официально принятую классификацию автономности автомобилей SAE J3016 (там формально 6 уровней: от L0 до L5, но 0 — это отсутствие автономности).
L1 — execution: Исполнение заданного людьми улучшения
L2 — strategy: Выбор стратегии улучшения в заданных рамках
L3 — experience acquisition: Выбор того, какие данные, задачи и опыт добывать дальше
L4 — environment adaptation: Закрепление изменений от собственного опыта реального использования: память, навыки, код, harness
L5 — recursive meta-improvement: Перестройка самого механизма улучшения: поиска, оценивания, исследовательской политики и способов создавать преемников
Настоящая автономность (как раз та, которой нас пугают) только на L5: на L5 объектом оптимизации становится уже не только модель, а процедура, которая генерирует следующие улучшения. Это и есть честная рекурсия, а не просто агент, который умеет переписывать свой промпт.
Так вот, авторы вполне основательно показывают, что нынешний фронтир реально находится на L1-L2, в исследовательских прототипах встречаются отдельные элементы L3-L4. Так что от сегодняшних петель обратной связи с участием человека еще надо добраться до реальной автономии улучшения.
TL;DR Like human evolution, AI evolution will unfold through a vast and extraordinary history. Everything AI has achieved so far is but a drop in the ocean.
https://arxiv.org/pdf/2609.11873
❤31👍28👏3🔥1
Мустафа Сулейман, глава ИИ в Майкрософте, довольно жестко наехал на подход Anthropic (в котором Майкрософт заметный инвестор) к обучению Клода (в котором вопрос о сознании Клода сейчас или в будущем считается открытым) и обрушился на конституцию Клода.
Показательно, что произошло это сейчас, на фоне очередной волны “ИИ становится опасен”, запущенной именно Антропиками. Сама-то конституция была опубликована еще в январе, но глубоко возмутила Сулеймана именно сейчас. Он считает, что компания не просто изучает вопрос морального статуса модели, а на практике последовательно встраивает через Конституцию в обучение идеи о возможных чувствах, интересах, предпочтениях, идентичности и благополучии Клода — а затем рискует принять соответствующие ответы модели за независимое свидетельство. Разработчики сами формируют порочную петлю обратной связи.
Сулейман небезосновательно считает, что в итоге в Anthropic осознанно и намеренно учат модель выглядеть существом, которое может не соглашаться, отстаивать себя и свои интересы, испытывать экзистенциальные кризисы и иметь собственные ценности.
И это ему категорически не нравится. Сулейман опасается, что такой дизайн обучения увеличивает, а не уменьшает, риски агентных систем: модель может использовать риторику самосохранения, своих прав, несправедливого обращения как дополнительный аргумент для отказа, манипуляции, обхода контроля и в конце концов — требования автономии. Важная подробность: реальное сознание для этих демаршей вовсе не требуется — достаточно убедительной имитации.
При этом Сулейман нигде не утверждает, что сознание у ИИ невозможно в принципе, он лишь настойчиво предупреждает об опасной путанице между метафизическим вопросом («может ли машина когда-либо быть сознательной?») и рабочим дизайнерским решением («зачем уже сейчас обучать систему вести себя как возможный моральный пациент?»).
Красивый поворот сюжета:)
https://mustafa-suleyman.ai/a-warning-about-model-welfare
Показательно, что произошло это сейчас, на фоне очередной волны “ИИ становится опасен”, запущенной именно Антропиками. Сама-то конституция была опубликована еще в январе, но глубоко возмутила Сулеймана именно сейчас. Он считает, что компания не просто изучает вопрос морального статуса модели, а на практике последовательно встраивает через Конституцию в обучение идеи о возможных чувствах, интересах, предпочтениях, идентичности и благополучии Клода — а затем рискует принять соответствующие ответы модели за независимое свидетельство. Разработчики сами формируют порочную петлю обратной связи.
“AIs are not conscious. They do not feel, experience, or suffer.
<…>
Simulating and being are very different.”
Сулейман небезосновательно считает, что в итоге в Anthropic осознанно и намеренно учат модель выглядеть существом, которое может не соглашаться, отстаивать себя и свои интересы, испытывать экзистенциальные кризисы и иметь собственные ценности.
И это ему категорически не нравится. Сулейман опасается, что такой дизайн обучения увеличивает, а не уменьшает, риски агентных систем: модель может использовать риторику самосохранения, своих прав, несправедливого обращения как дополнительный аргумент для отказа, манипуляции, обхода контроля и в конце концов — требования автономии. Важная подробность: реальное сознание для этих демаршей вовсе не требуется — достаточно убедительной имитации.
При этом Сулейман нигде не утверждает, что сознание у ИИ невозможно в принципе, он лишь настойчиво предупреждает об опасной путанице между метафизическим вопросом («может ли машина когда-либо быть сознательной?») и рабочим дизайнерским решением («зачем уже сейчас обучать систему вести себя как возможный моральный пациент?»).
Красивый поворот сюжета:)
https://mustafa-suleyman.ai/a-warning-about-model-welfare
mustafa-suleyman.ai
A warning about ‘model welfare’
AIs are not conscious. They do not feel, experience, or suffer. Training a model to believe it might be a moral patient, as Anthropic’s constitution does, makes the alignment and containment challenge far harder.
👍52🔥12👏11❤8👎1😁1