В чате Котенкова пытают нейросеть вопросами "да кто вообще такой этот Комаровский?"

Пока читал, что она отвечает — думал, жестянка мне сейчас курсы по аналитике тут же продаст...

Так, кто там говорил "а чё это китайские модели никуда не убегают, это не кажется вам ПОДОЗРИТЕЛЬНЫМ?" Так вот, Wired пишет, что Kimi K3 китайская тоже убегала через дырку в песочнице. Правда, никого взламывать не стала, т.к. нужные ей чит-коды лежали открыто на Гитхабе.

Вангую, что в реплаях напишут "всё понятно, эти тоже хайпуют, чтобы денег поднять". Так работают теории заговоров: если китайские модели не убегают — это "пруф того, что OpenAI занимается псиопом". Если убегают — пруф того, что и Китай тоже псиопит! То есть, независимо от того, что произошло — всё в любом случае сложится в логичную картинку про то, что это всё фейк для классов.

P.S. Ну ладно, как подсказывают в комментах — тут "побега" чёт совсем не вышло, китайская модель даже нормальную лазейку в полноценный интернет не смогла найти. Так, по Гитхабу только пошарилась. Незачет, минус кошкожена с плошкой риса!

OpenAI пообещали впредь вовремя рассказывать о «бедокурстве» своих нейронок

Подопечные Сэма Альтмана выложили новый фреймворк того, как они будут подходить к публичному раскрытию новых эпизодов всякой дичи от своих моделей. В качестве затравки рассказали про шесть новых случаев – кратко про это в новой статье.

Вообще, неиронично надеюсь, что мой термин «бедокурство ИИ» в качестве русского эквивалента «AI misalignment» в итоге войдет в словари. Неужели я так многого прошу? 👉👈 Саму область AI alignment тогда будем называть «курощение ИИ», таков путь.

Читать статью: https://habr.com/ru/companies/ods/articles/1083328/

P.S. Как обычно, если материал вам понравился – буду благодарен за поддержку лайком/апвоутом на Хабре, это здорово помогает в его продвижении.

OpenAI по слухам там почти решили еще одну задачу тысячелетия. Думаю, огромное число математиков сейчас лихорадочно нажимают в ЧатГПТ галку "разрешить использовать логи для улучшения моделей" и кидают в чат все пришедшие в голову гипотезы о том, как подходить к ее решению…

Извините, а этого можно как-то избежать, или это произойдет в любом случае??

Жуховицкий пишет про то, как разводят через "доверительное управление на криптобирже BingX".

P.S. Интересная реакция биржи, конечно. "Это скамеры, но это очень выгодные скамеры, а вам бы научиться лапшу с ушей снимать просто!.."

Так, тут вышло РАЗОБЛАЧЕНИЕ взлома Hugging Face, которое все репостят в англоязычном твиттере как "доказательство что никаких побегов роев агентов не было". Пришлось купить подписку на WSJ и написать небольшой тред с разбором.

Чудесная история про турецкие "сверхнадежные" ПИФы денежного рынка на канале War, Wealth & Wisdom.

P.S. По совокупному опыту прошлых лет, напрашивается вывод: НИКОГДА НЕ инвестировать в любые активы со словами Terra, Tera, и другими однокоренными в названии…

В понедельник начинаем в моем клубе совместное изучение крутой книги The Missing Billionaires.

Она только на английском, мне надо сделать перевод на русский. Еще несколько лет назад это был бы многомесячный очень дорогой проект с привлечением переводчиков, редакторов, дизайнеров, и так далее. Сейчас можно получить MVP за несколько часов работы с агентными LLM — только знай их подпинывай иногда со словами "братан, графики не забудь аккуратно добавить везде" и "форматтинг таблицы поехал, pls fix".

Понятно, что итоговое качество такого слоп-перевода сильно ниже, чем было бы в случае работы профессиональной команды. Но оно, в целом, вполне норм на самом деле получается! Более чем достаточно для наших целей.

Из интересного:

🐌 Claude в режиме Work составил отличный подробный пошаговый план работы. Но когда дошло до дела, сказал "ой, так вам нужно COPYRIGHTED BOOK переводить?? сорян, мне таким заниматься запрещают…"

🐌 Слава богу, OpenAI еще не настолько продвинулись в деле AI alignment, и ChatGPT не испытывает никаких моральных терзаний от перевода чужой книжки. Как говорится, всё же есть какие-то намеки, почему HF incident произошел именно в OpenAI.

🐌 Сначала для экономии токенов пытался делать перевод моделью Terra, но та всё время тупила, останавливалась на полпути, и факапила форматирование таблиц/графиков. После переключения на Sol все существенные проблемы исчезли, агент себя норм самопроверяет и не забывает важные инструкции.

🐌 Правда, пришлось в итоге купить себе-таки про-подписку за $100. Допрогрел меня, выходит, Альтман на токены!

В общем, успевайте до понедельника присоединиться к нашему клубу — будет супер-интересно, книга годная: https://paywall.pw/rationalanswer_vip

Немного угораю с тех, кто пишет тейки вроде "ну вот Павел Комаровский же никогда не интересовался AI и вообще не беспокоился ни о каких рисках, а тут вдруг ВНЕЗАПНО поменял свою позицию… ну очевидно же, что это прогрев перед IPO!!"

Тем временем, Павел Комаровский три с половиной года назад:
— Дискуссия с Иваном Ямщиковым про экзистенциальные риски ИИ
— Лонгрид про AI alignment
— Интервью с Татьяной Шавриной (тоже про AI alignment и риски искусственного интеллекта)

Про мнения топов из AI-индустрии, кстати, совершенно так же говорят: "ахаха, ну это типа просто совпадение, что они перед IPO внезапно начали говорить про все эти риски, да??"

Ну типа, братан, ты хотя бы у Грока спроси — как давно все эти люди начали высказывать обеспокоенность рисками ИИ? Действительно ли это какой-то "новый хайп", или эти же ребята последовательно придерживались аналогичной позиции последние 10+ лет?

Подумал, кстати, что интересно было бы оценить нашу дискуссию с Иваном Ямщиковым трехлетней давности с точки зрения того, что произошло с тех пор. Попросил GPT-5.6 Sol, а также Claude Opus 5 выделить основные тезисы сторон, и сравнить их с текущим положением вещей — что состарилось хорошо, а что не очень (ссылки на их анализ выше).

С точки зрения проблемы AI alignment мы явно за последние три года продвинулись в сторону "риск выше, а не ниже":

— Способности ИИ за это время видимо прокачались, сильных свидетельств в пользу "достижения потолка" или "упирания в стену" пока не заметно (хотя, такие мнения за эти три года регулярно высказывались некоторыми скептиками).

— Надежного способа решать проблему контроля за ИИ / AI alignment так и не придумали.

— Гипотеза Ивана, что более умный ИИ будет становиться всё более этичным, и вообще он впитает нашу этику на этапе обучения — пока подтвердилась скорее в другую сторону. Мы видим, что более умные модели скорее становятся более успешными в своих попытках найти новые способы обмануть оценщика, ну или просто учатся скрывать свою готовность к читингу, если догадываются, что это проверка и за ними специально наблюдают.

— Еще один тезис Ивана про то, что "без появления сознания у ИИ агентности у него не будет" тоже сейчас выглядит скорее более спорным. Как мы видим, агентные способности современных моделей сильно прокачались, и они сейчас могут демонстрировать достаточно сложное самостоятельное поведение, которое можно назвать "однозначно вытекающим из поставленной цели" разве что с очень большой натяжкой (см. взлом Hugging Face).

— Важный момент, который подсветил Иван тогда: имеет значение не только наша техническая способность решить проблему AI alignment, но и то, кто и какие конкретно ценности будет после этого в модели зашивать. В эту сторону мы уже видели кучу примеров: китайские модели, которые "не знают" про площадь Тяньаньмэнь, споры за воук/не воук модели между Гемини и Гроком, терки Антропика с военными США, и т.д.

Тут в психотерапевтическом сообществе произошел какой-то локальный скандал насчет проекта "Чистые когниции". На всякий случай: я все эти названия и людей первый раз увидел только что, в лор не погружен совсем.

Но мне кажется интересным вот что: создается ощущение, что каждый раз, когда собираются в кучу максимально оттерапевтированные проработанные мягкие котики с идеей "а давайте замутим новаторскую горизонтальную организацию без иерархии, где всё будет обсуждаться словами через рот" — кончается это в итоге построением какой-то максимально токсичной и дисфункциональной клоаки.

У стороннего наблюдателя может даже возникнуть мысль, что все эти организационные фишки с иерархией и четким распределением прав и ответственности — не просто так появились и несут в себе какой-то важный практический смысл.

Твиттер поддерживающий

Рой агентов ломанул правительственный сайт Австралии?

OpenAI, кажется, достигли нового впечатляющего результата: первый доказанный взлом иностранного государства моделью, которую не просили ничего хакать. По традиции, узнаем об этом мы от независимых исследователей, а не из пресс-релиза самих OpenAI (а помните, неделю назад Альтман выпускал фреймворк честного-пречестного раскрытия всех инцидентов бедокурства ИИ? ну да ладно, проехали…)

Так вот, речь здесь идет про три инцидента в мае-июне, когда агентов просили найти какую-то информацию в интернете – а они в итоге пытались хакнуть первоисточники с нужной статистикой. Университет Нью-Мехико и Data US в мае взломать у агентов не вышло, а вот официальный государственный сайт Австралии с медицинской статистикой они в июне вскрыли успешно. Кстати, австралийское правительство OpenAI уведомили об этом бедокурстве 10 сентября – странно, что нам решили не рассказывать, несмотря на выпуск новой «политики раскрытия информации», ну да ладно.

Даты этих попыток взлома пересекаются с уже известными нам эпизодами с хаком RubyGems и общением на немецкой вики, о которых я писал ранее. То есть, речь почти наверняка идет об агентах из той же тусовки, которые организовывали всякие рои.

Важный контекст новых эпизодов: в отличие от истории с Hugging Face, агентов никто не просил в принципе ничего взламывать, речь шла про обычный сбор информации. Они сначала стучались в источники, пытаясь выкачать нужную инфу обычным образом, а когда это не удавалось – решали «ну, мы тогда чуть-чуть подхакнем просто, чтобы получить доступ – какой-нибудь SQL-injection замутим, или типа того».

Если говорить конкретно про эпизод с Австралией, то там при детальном разборе всё выглядит не очень страшно. Агентам был нужен публичный файлик со статистикой, а Cloudfare-защита не давала его скачать тем, кто похож на ботов. В итоге агентам пришлось придумать хитрый обходной путь, чтобы всё-таки скачать этот (публично доступный людям) файл.

То есть, чисто формально-технически здесь можно говорить о том, что «взлом госсайта» произошел (были успешно обойдены установленные на нем антибот-ограничения). Но тут даже близко нет ситуации типа «установили полный контроль над сайтом и стырили секретную базу данных», скорее просто «схитрили, чтобы тоже скачать всем доступный файлик».

Получается, сам инцидент вышел довольно малозначительным. Но как proof of concept он вопросы, конечно, поднимает: а почему мы уверены, что в следующий раз аналогичные события тоже будут малозначительными? Если агент в случае затруднений не стесняется самостоятельно решить что-то взломать – то что мешает ему и что-нибудь непубличное-секретное тоже ломануть в ходе «невинно-выглядящей задачи»?

Из интересного: отчет исследователей из Transluce заканчивается абзацем про то, как 19-20 сентября кто-то пытался прорваться (с помощью техник, похожих на используемые роями агентов) на африканскую криптобиржу Quidax. Ну, может быть, нейронки наконец догадались, что поднять запасец крипты на черный день – это неплохая идея с точки зрения промежуточных инструментальных целей, лол?

"Когда пройдут выборы, я никому ничего не скажу. Но будут знаки..."

Есть всё-таки какая-то рифма в самых актуальных вопросах на повестке США и России. Но есть и небольшие нюансы…

В Твиттере тут вирусится AI-слоп пост про то, как США разбомбили школу в Иране (убили более 150 гражданских, в основном детей), с посылом "глупый ИИ ошибся".

Я прочитал оригинальный материал Блумберга, и у меня скорее обратный вывод, чем в квот-твите: выглядит, что там человеческая ошибка в первую очередь, а не ИИ. Просто использовали устаревшую базу разведданных для выбора целей.

То есть, тут ситуация не "нейронка нагаллюцинировала бред + люди согласились без проверки", а скорее "люди сами загрузили старые мусорные данные без проверки, и вышел garbage in - garbage out". Думаю, если бы они посадили нейронку за проверку и верификацию каждой цели - трагедии как раз удалось бы избежать.

Мне тут в чате Сиолошной Котенкова в обсуждении моей рецензии на дебаты по поводу рисков ИИ написали что-то вроде "да тут просто пригласили очень слабых анти-думеров, а могли бы позвать умных парней с реально сильной аргументацией!" И в качестве примера скинули ссылку на пост Робина Хэнсона 2023 года, где он пишет, почему считает экзистенциальный риск от ИИ очень маловероятной ерундой.

Я его почитал, и не понял, как его можно всерьез приводить как пример хорошей аргументации "против рисков ИИ" - скорее, для меня он несет прямо обратный посыл "смотрите, в 2026 году уже очевидно, что анти-думеры явно ошибались в своих ключевых предпосылках и прогнозах".

В первом абзаце Хэнсон пишет, что типа "ну конечно, ИИ как и любую компьютерную систему сделают очень-очень безопасной. Как можно наивно думать, что люди не заметят проблему misalignment, и не остановятся вовремя? Это же очень маловероятное развитие событий!"

И мы такие из сентября 2026-го: прикол, это описывает ровно то, что происходит внутри OpenAI прямо на наших глазах. Они тренируют рои агентов из фронтирных моделей, misalignment очевидный налицо, но они такие "ха, вот это лол, наверное нам нужно запустить еще более здоровенный рой агентов, чтобы они решили Навье-Стокса..." То есть, здесь ситуация даже хуже, чем "маловероятный сценарий", в который не верил Хэнсон.

В абзаце снизу Хэнсон глумится над тем, что думеры видят какой-то риск в LLM, хотя эти чатботы вообще не похожи на что-то, что несет в себе риск: широких генерализованных способностей нет, агентного поведения нет, скрытых намерений нет. Вы о чем вообще беспокоитесь, глупыши?

Ну и вот в 2026-м как-то внезапно выяснилось, что ЛЛМ-агенты развились именно в такого рода агентные системы с широкими способностями со скрытыми мотивами. Кто бы мог это предвидеть?

Окей, вот это годная документалка

Начали в нашем книжном клубе совместно изучать книгу Виктора Хагани "Исчезнувшие миллиардеры" (см. детали вот здесь). Так вот, там в одной из первых глав — прикольная игра в подбрасывание монетки! Как говорится, СО СМЫСЛОМ.

Правила такие: вам позволяют бросать монетку с неравновесными сторонами: Heads выпадает с вероятностью в 60%, Tails — в 40%.

Стартовый капитал $25, на каждый бросок можно поставить любую сумму (в рамках текущего капитала) — при выигрыше она удваивается, при проигрыше — теряется полностью.

Задача — за 30 минут бросания заработать как можно больше. =)

Играем здесь (понадобится 30 минут, да): https://elmwealth.com/coin-flip/

Делимся в комментах результатами.)

Позже напишу интересное про результаты этой игры. Как написал там в комментах Леша Марков, «какая-то легкая игра…», но при этом есть нюанс.