Трамп заявил, что он никуда замедляться никому не позволит — и вообще, Америка под его началом должна построить Big Beautiful AI, не то что у Китая.

Уровень сложности нашего таймлайна: будущее человечества зависит от способности деда разобраться в рисках AI и потом договориться с Китаем так, чтобы те не чувствовали, будто их пытаются на*бать.

В Твиттере тут опубликовали срывающее покровы расследование, которое на 100% бесспорно доказывает, что Джейкоб Коксон (автор вирусного треда про увольнение из Anthropic и риск ИИ на 170+ млн просмотров) — мошенник и обманщик, а всё это один гигантский псиоп.

Я ознакомился с доказательствами, и вот вам моя краткая TLDR-выжимка. Держитесь крепче: «чувак, который хотел с помощью своего увольнения сделать громкое публичное заявление, действительно попытался сделать из своего увольнения громкое публичное заявление (и не скрывает это!)»

Ну серьезно, там с таким придыханием упоминаются РАЗОБЛАЧАЮЩИЕ ФАКТЫ вроде:
— Коксон пошел к журналистам из WSJ, чтобы про его позицию написали статью (и запостил свои твиты только после выхода материала)
— Он попросил ряд своих корешей из AI-индустрии с похожими взглядами порепостить его тред, и т.д.

О боже мой, если соединить все эти точки на доске красной ниткой, начинает закрадываться подозрение, что... Коксон специально хотел, чтобы его манифест стал вирусным и активно прилагал к этому усилия?? Шок!!

P.S. В следующей серии разберем: действительно ли митинги с участием Мартина Лютера Кинга происходили совершенно случайно, или он призывал людей прийти на них и давал интервью в прессе? 🤔

— AI-оптимисты: "Да эти думеры просто в своих сценариях делают совершенно нереалистичные предположения о том, что люди будут вести себя максимально глупым образом, в реальности такого даже близко не будет…"

— Тем временем, люди в реальности: "Наш план по контролю за AI – это СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ"

Так, краткий апдейт вам хотел дать по Полимаркету. Раз уж на носу уже на этой неделе выборы — придется рассказать положняк по той ставке, с которой началось мое увлечение площадкой. А то я знаю, вы потом мне будете писать "поставил вслед за Павлом против ЕР и всё проиграл =(("

У меня, тем временем, уже несколько раз там менялось направление ставок (напомню, речь идет о вероятности того, что Единая Россия получит наибольший прирост мест в Думе по сравнению со статусом кво):
— Сначала я шортил ЕР по 90
— Потом покупал лонг по 53
— Потом опять шортил по 75

Текущая моя позиция околонулевая, рынок болтается около 77%. Интуитивно мне кажется, что это слишком много, и надо шортить. К этому есть несколько предпосылок:

🐌 Рейтинги ЕР сильно просели за последние полгода, на фоне всяких окружающих социально-экономических процессов.

🐌 Ходили слухи от неких _источников_, что KPI по результатам ЕР в регионах якобы опустили на фоне этого до 45%.

Но есть и аргументы за ставку лонг ЕР:

🐌 Исходя из правил пари, точкой отсчета является не результат прошлых выборов в 2021 году, а текущая ситуация. Тогда ЕР взяли 325 мест, но прямо сейчас у них занято 310 мест — получается, эти +15 как бы будут записаны в прирост "на халяву" даже при просто повторении прошлого результата. Хотя, на другом сайте, который прямо указан в правилах Полимаркета, так и стоит 325 — так что, тут непонятно точно, как в итоге разрешится.

🐌 Новые присоединенные регионы будут ожидаемо голосовать с огромным перевесом за ЕР, что еще даст буст к результатам 2021 года.

🐌 Самое важное: "умные деньги" в целом, и Gopfan в частности, дичайше топят за ЕР. У меня сложилось ощущение, что Гопфан честно транслирует свои тейки на публику, и не пытается специально заманивать своих последователей в ловушку — и по его словам он прямо очень уверен, что этот контракт разрешится победой ЕР.

Мой опыт на Полимаркете подсказывает, что переть против умных денег чаще всего оказывается дурацкой затеей. Матмодель выборов я тут, конечно, не строил — поэтому пытаться перемудрить профи типа Гопфана скорее всего было бы глупо.

Так что, я думаю, скорее всего постараюсь набрать умеренную ставку за ЕР по уровням ближе к 70 и ниже, если до них будет спускаться. Как говорится, это в любом случае тот тип ставок, которые проигрывать не очень-то и обидно.

[Дежурная оговорка про рынки предсказаний]

В чате Котенкова пытают нейросеть вопросами "да кто вообще такой этот Комаровский?"

Пока читал, что она отвечает — думал, жестянка мне сейчас курсы по аналитике тут же продаст...

Так, кто там говорил "а чё это китайские модели никуда не убегают, это не кажется вам ПОДОЗРИТЕЛЬНЫМ?" Так вот, Wired пишет, что Kimi K3 китайская тоже убегала через дырку в песочнице. Правда, никого взламывать не стала, т.к. нужные ей чит-коды лежали открыто на Гитхабе.

Вангую, что в реплаях напишут "всё понятно, эти тоже хайпуют, чтобы денег поднять". Так работают теории заговоров: если китайские модели не убегают — это "пруф того, что OpenAI занимается псиопом". Если убегают — пруф того, что и Китай тоже псиопит! То есть, независимо от того, что произошло — всё в любом случае сложится в логичную картинку про то, что это всё фейк для классов.

P.S. Ну ладно, как подсказывают в комментах — тут "побега" чёт совсем не вышло, китайская модель даже нормальную лазейку в полноценный интернет не смогла найти. Так, по Гитхабу только пошарилась. Незачет, минус кошкожена с плошкой риса!

OpenAI пообещали впредь вовремя рассказывать о «бедокурстве» своих нейронок

Подопечные Сэма Альтмана выложили новый фреймворк того, как они будут подходить к публичному раскрытию новых эпизодов всякой дичи от своих моделей. В качестве затравки рассказали про шесть новых случаев – кратко про это в новой статье.

Вообще, неиронично надеюсь, что мой термин «бедокурство ИИ» в качестве русского эквивалента «AI misalignment» в итоге войдет в словари. Неужели я так многого прошу? 👉👈 Саму область AI alignment тогда будем называть «курощение ИИ», таков путь.

Читать статью: https://habr.com/ru/companies/ods/articles/1083328/

P.S. Как обычно, если материал вам понравился – буду благодарен за поддержку лайком/апвоутом на Хабре, это здорово помогает в его продвижении.

OpenAI по слухам там почти решили еще одну задачу тысячелетия. Думаю, огромное число математиков сейчас лихорадочно нажимают в ЧатГПТ галку "разрешить использовать логи для улучшения моделей" и кидают в чат все пришедшие в голову гипотезы о том, как подходить к ее решению…

Извините, а этого можно как-то избежать, или это произойдет в любом случае??

Жуховицкий пишет про то, как разводят через "доверительное управление на криптобирже BingX".

P.S. Интересная реакция биржи, конечно. "Это скамеры, но это очень выгодные скамеры, а вам бы научиться лапшу с ушей снимать просто!.."

Так, тут вышло РАЗОБЛАЧЕНИЕ взлома Hugging Face, которое все репостят в англоязычном твиттере как "доказательство что никаких побегов роев агентов не было". Пришлось купить подписку на WSJ и написать небольшой тред с разбором.

Чудесная история про турецкие "сверхнадежные" ПИФы денежного рынка на канале War, Wealth & Wisdom.

P.S. По совокупному опыту прошлых лет, напрашивается вывод: НИКОГДА НЕ инвестировать в любые активы со словами Terra, Tera, и другими однокоренными в названии…

В понедельник начинаем в моем клубе совместное изучение крутой книги The Missing Billionaires.

Она только на английском, мне надо сделать перевод на русский. Еще несколько лет назад это был бы многомесячный очень дорогой проект с привлечением переводчиков, редакторов, дизайнеров, и так далее. Сейчас можно получить MVP за несколько часов работы с агентными LLM — только знай их подпинывай иногда со словами "братан, графики не забудь аккуратно добавить везде" и "форматтинг таблицы поехал, pls fix".

Понятно, что итоговое качество такого слоп-перевода сильно ниже, чем было бы в случае работы профессиональной команды. Но оно, в целом, вполне норм на самом деле получается! Более чем достаточно для наших целей.

Из интересного:

🐌 Claude в режиме Work составил отличный подробный пошаговый план работы. Но когда дошло до дела, сказал "ой, так вам нужно COPYRIGHTED BOOK переводить?? сорян, мне таким заниматься запрещают…"

🐌 Слава богу, OpenAI еще не настолько продвинулись в деле AI alignment, и ChatGPT не испытывает никаких моральных терзаний от перевода чужой книжки. Как говорится, всё же есть какие-то намеки, почему HF incident произошел именно в OpenAI.

🐌 Сначала для экономии токенов пытался делать перевод моделью Terra, но та всё время тупила, останавливалась на полпути, и факапила форматирование таблиц/графиков. После переключения на Sol все существенные проблемы исчезли, агент себя норм самопроверяет и не забывает важные инструкции.

🐌 Правда, пришлось в итоге купить себе-таки про-подписку за $100. Допрогрел меня, выходит, Альтман на токены!

В общем, успевайте до понедельника присоединиться к нашему клубу — будет супер-интересно, книга годная: https://paywall.pw/rationalanswer_vip

Немного угораю с тех, кто пишет тейки вроде "ну вот Павел Комаровский же никогда не интересовался AI и вообще не беспокоился ни о каких рисках, а тут вдруг ВНЕЗАПНО поменял свою позицию… ну очевидно же, что это прогрев перед IPO!!"

Тем временем, Павел Комаровский три с половиной года назад:
— Дискуссия с Иваном Ямщиковым про экзистенциальные риски ИИ
— Лонгрид про AI alignment
— Интервью с Татьяной Шавриной (тоже про AI alignment и риски искусственного интеллекта)

Про мнения топов из AI-индустрии, кстати, совершенно так же говорят: "ахаха, ну это типа просто совпадение, что они перед IPO внезапно начали говорить про все эти риски, да??"

Ну типа, братан, ты хотя бы у Грока спроси — как давно все эти люди начали высказывать обеспокоенность рисками ИИ? Действительно ли это какой-то "новый хайп", или эти же ребята последовательно придерживались аналогичной позиции последние 10+ лет?

Подумал, кстати, что интересно было бы оценить нашу дискуссию с Иваном Ямщиковым трехлетней давности с точки зрения того, что произошло с тех пор. Попросил GPT-5.6 Sol, а также Claude Opus 5 выделить основные тезисы сторон, и сравнить их с текущим положением вещей — что состарилось хорошо, а что не очень (ссылки на их анализ выше).

С точки зрения проблемы AI alignment мы явно за последние три года продвинулись в сторону "риск выше, а не ниже":

— Способности ИИ за это время видимо прокачались, сильных свидетельств в пользу "достижения потолка" или "упирания в стену" пока не заметно (хотя, такие мнения за эти три года регулярно высказывались некоторыми скептиками).

— Надежного способа решать проблему контроля за ИИ / AI alignment так и не придумали.

— Гипотеза Ивана, что более умный ИИ будет становиться всё более этичным, и вообще он впитает нашу этику на этапе обучения — пока подтвердилась скорее в другую сторону. Мы видим, что более умные модели скорее становятся более успешными в своих попытках найти новые способы обмануть оценщика, ну или просто учатся скрывать свою готовность к читингу, если догадываются, что это проверка и за ними специально наблюдают.

— Еще один тезис Ивана про то, что "без появления сознания у ИИ агентности у него не будет" тоже сейчас выглядит скорее более спорным. Как мы видим, агентные способности современных моделей сильно прокачались, и они сейчас могут демонстрировать достаточно сложное самостоятельное поведение, которое можно назвать "однозначно вытекающим из поставленной цели" разве что с очень большой натяжкой (см. взлом Hugging Face).

— Важный момент, который подсветил Иван тогда: имеет значение не только наша техническая способность решить проблему AI alignment, но и то, кто и какие конкретно ценности будет после этого в модели зашивать. В эту сторону мы уже видели кучу примеров: китайские модели, которые "не знают" про площадь Тяньаньмэнь, споры за воук/не воук модели между Гемини и Гроком, терки Антропика с военными США, и т.д.

Тут в психотерапевтическом сообществе произошел какой-то локальный скандал насчет проекта "Чистые когниции". На всякий случай: я все эти названия и людей первый раз увидел только что, в лор не погружен совсем.

Но мне кажется интересным вот что: создается ощущение, что каждый раз, когда собираются в кучу максимально оттерапевтированные проработанные мягкие котики с идеей "а давайте замутим новаторскую горизонтальную организацию без иерархии, где всё будет обсуждаться словами через рот" — кончается это в итоге построением какой-то максимально токсичной и дисфункциональной клоаки.

У стороннего наблюдателя может даже возникнуть мысль, что все эти организационные фишки с иерархией и четким распределением прав и ответственности — не просто так появились и несут в себе какой-то важный практический смысл.

Твиттер поддерживающий

Рой агентов ломанул правительственный сайт Австралии?

OpenAI, кажется, достигли нового впечатляющего результата: первый доказанный взлом иностранного государства моделью, которую не просили ничего хакать. По традиции, узнаем об этом мы от независимых исследователей, а не из пресс-релиза самих OpenAI (а помните, неделю назад Альтман выпускал фреймворк честного-пречестного раскрытия всех инцидентов бедокурства ИИ? ну да ладно, проехали…)

Так вот, речь здесь идет про три инцидента в мае-июне, когда агентов просили найти какую-то информацию в интернете – а они в итоге пытались хакнуть первоисточники с нужной статистикой. Университет Нью-Мехико и Data US в мае взломать у агентов не вышло, а вот официальный государственный сайт Австралии с медицинской статистикой они в июне вскрыли успешно. Кстати, австралийское правительство OpenAI уведомили об этом бедокурстве 10 сентября – странно, что нам решили не рассказывать, несмотря на выпуск новой «политики раскрытия информации», ну да ладно.

Даты этих попыток взлома пересекаются с уже известными нам эпизодами с хаком RubyGems и общением на немецкой вики, о которых я писал ранее. То есть, речь почти наверняка идет об агентах из той же тусовки, которые организовывали всякие рои.

Важный контекст новых эпизодов: в отличие от истории с Hugging Face, агентов никто не просил в принципе ничего взламывать, речь шла про обычный сбор информации. Они сначала стучались в источники, пытаясь выкачать нужную инфу обычным образом, а когда это не удавалось – решали «ну, мы тогда чуть-чуть подхакнем просто, чтобы получить доступ – какой-нибудь SQL-injection замутим, или типа того».

Если говорить конкретно про эпизод с Австралией, то там при детальном разборе всё выглядит не очень страшно. Агентам был нужен публичный файлик со статистикой, а Cloudfare-защита не давала его скачать тем, кто похож на ботов. В итоге агентам пришлось придумать хитрый обходной путь, чтобы всё-таки скачать этот (публично доступный людям) файл.

То есть, чисто формально-технически здесь можно говорить о том, что «взлом госсайта» произошел (были успешно обойдены установленные на нем антибот-ограничения). Но тут даже близко нет ситуации типа «установили полный контроль над сайтом и стырили секретную базу данных», скорее просто «схитрили, чтобы тоже скачать всем доступный файлик».

Получается, сам инцидент вышел довольно малозначительным. Но как proof of concept он вопросы, конечно, поднимает: а почему мы уверены, что в следующий раз аналогичные события тоже будут малозначительными? Если агент в случае затруднений не стесняется самостоятельно решить что-то взломать – то что мешает ему и что-нибудь непубличное-секретное тоже ломануть в ходе «невинно-выглядящей задачи»?

Из интересного: отчет исследователей из Transluce заканчивается абзацем про то, как 19-20 сентября кто-то пытался прорваться (с помощью техник, похожих на используемые роями агентов) на африканскую криптобиржу Quidax. Ну, может быть, нейронки наконец догадались, что поднять запасец крипты на черный день – это неплохая идея с точки зрения промежуточных инструментальных целей, лол?

"Когда пройдут выборы, я никому ничего не скажу. Но будут знаки..."