Тихая революция.
Как постепенное развитие ИИ может незаметно лишить человечество контроля над собственной судьбой.
Представим, что на Землю прилетают не враждебные инопланетяне, а дружелюбные, но невероятно умные существа. Они не воюют, не захватывают власть — они просто оказываются эффективнее нас во всем.
Они лучше ведут бизнес, эффективнее управляют государством, создают более интересную культуру. Мы рады сотрудничать с ними, и постепенно мир перестраивается так, что люди оказываются не нужны. В конце концов, ключевые решения принимают они, а мы просто живем на их территории, имея все меньше возможностей что-то менять.
Так же и с ИИ: это не вражеское вторжение, не война миров и не заговор машин - это незаметное вытеснение, в котором никто и не заметит момента, когда люди утратили контроль, и когда уже слишком поздно что-то изменить.

Классическая аналогия — «кипящая лягушка»: если бросить лягушку в кипяток, она выпрыгнет, а если нагревать воду медленно, то она сварится. Так же и здесь: каждое отдельное улучшение ИИ кажется неопасным, но вместе они могут создать ситуацию, в которой люди уже ничего не решают.
Например:
• В экономике: сначала ИИ заменяет простые задачи, потом более сложные, пока однажды мы не обнаруживаем, что большинство экономических решений принимается алгоритмами, а человеческий труд становится всё менее значимым.
• В культуре: от рекомендательных систем к генерации контента, пока однажды большая часть культурного производства не оказывается под контролем ИИ.
• В государственном управлении: от автоматизации бюрократических процедур к системам поддержки принятия решений, пока ключевые государственные функции не начинают зависеть от ИИ.

Злодеи, террористы и маньяки, вооруженные ИИ, также не понадобятся.

Без какого-либо зловредного участия:
• скоро мы окажемся в мире с миллионами ИИ-агентов, число которых ежегодно будет расти в десятки раз (на каждого человека будет приходиться 100-1000 ИИ, думающих в 1000-1 млн раз быстрее людей;
• люди постепенно будут выводиться из большинства процессов принятия все большего и большего количества решений;
• военные без защиты ИИ будут немедленно выводиться из строя кибератаками невиданной изощренности.
• государства будут получать большую часть своих доходов от налогов на ИИ-системы, а не от заработной платы людей.

Эти и многие другие риски могут материализоваться, даже если мы в основном «решим» традиционную проблему согласования ИИ. В этом сценарии ИИ «делают то, что мы им говорим», но экономические стимулы заставляют нас говорить им максимизировать прибыль и влияние (поскольку, если мы этого не сделаем, то это сделают другие: люди, компании, страны)

Подробней, читайте здесь.
#ИИриски #Хриски

_______
Источник | #theworldisnoteasy

Интеллектуальный каюк Homo sapiens близок.
Лишь 15 россиян способны программировать лучше ИИ, в Китае таких еще 59, а в США осталось лишь 7.
Потрясающее зрелище – наблюдать в реальном времени интеллектуальное поражение людей от ИИ.
Когда бестелесные алгоритмы превзошли лучших шахматных гроссмейстеров мира и ушли в отрыв, показывая немыслимый для людей рейтинг уровня игры, - репутация людей, как носителей высшего интеллекта, пошатнулась, но устояла – см. рис слева.
Ведь шахматы, как известно, - хоть и чрезвычайно умная игра, но узкоспециальная интеллектуальная деятельность, ограничиваемая фиксированными правилами.

Но с программированием (выполнением сложных задач кодирования и рассуждений) все иначе. Здесь все почти как в жизни. Вместо следования фиксированным правилам, нужно думать, рассуждать, строить гипотезы и прогнозы. И если с программированием произойдет, как с шахматами, то каюк интеллектуальному превосходству людей (только уникальная способность к инсайтам и останется, - и то, ненадолго).

Насколько этот каюк близок, показывают результаты CodeForces – международной платформы соревнований по программированию.
Текущие результаты модели о3 от OpenAI таковы.
• Рейтинг модели 2724 лучше, чем у 99.8% всех участников этой платформы (а там соревнуются десятки тысяч программистов со всего мира: 26 тыс китайцев, 14 тыс россиян, 3,5 тыс американцев) – см. рис справа вверху;
• Это значит, что во всем мире осталось меньше 200 человек, способных программировать лучше этой модели – см. рис справа внизу.

Остались считанные месяцы, когда людей, способных превзойти ИИ в программировании останется 50, 10, 3 … 0. А дальше модели, как и в шахматах, уйдут в отрыв, похерив интеллектуальное превосходство людей навсегда.

И никакой интеллект кентавра (гибридные системы из человека и ИИ) этому помешать не сможет. Урок с шахматами повторится. Ибо непреодолимым препятствием остаются ограниченные возможности когнитивной архитектуры людей.

Но это не беда. Ибо эволюции (генно-культурной) вообще до фонаря интеллект индивидов. Главное – рост коллективного интеллекта планетарной (а потом и вселенской) жизни. А уж кого в социо-когнитивных сетях глобального интеллекта окажется больше – людей или алгоритмов, - эволюции все равно.

Только ведь людям (и конкретно, нашим детям и внукам) это будет далеко не все равно …

Подробней см:
• https://arxiv.org/abs/2502.06807
• https://codeforces.com/ratings/countries

#ИИриски #Хриски #Вызовы21века

_______
Источник | #theworldisnoteasy

Недоказуемых выборных махинаций больше не будет.
Махинации, увы, останутся, но спрятать их станет уже невозможно.
Открыта универсальная закономерность в электоральных результатах. И она оказалась столь наглядна, что достаточно лишь взглянуть на распределение результатов выборов и явки, чтобы понять масштаб махинаций (см. рисунок).
Открытая универсальная закономерность подтверждена совпадением результатов экспериментального моделирования с фактическими данными о выборах в 32 странах за последние 70 лет. Найденная универсальная закономерность может служить тонким статистическим инструментом для обнаружения избирательных нарушений. И это уже не гипотеза из препринта, а вывод прошедшей строгое рецензирование в солидном APS Physical Review Journal работы группы физиков из индийского IISER Pune.

Предыстория открытия такова.
• В октябре 2022 я рассказывал про «китайскую комнату наоборот» - супероткрытие способа создания алгоритмических копий любых социальных групп.
• А в ноябре прошлого года я писал о новых прорывных работах, на наших глазах превращающих психоисторию из вымышленной Азимовым фантастической науки (позволяющей математическими методами исследовать происходящие в обществе процессы и благодаря этому предсказывать будущее с высокой степенью точности) в реальные научно-исследовательские и практические проекты.
Новое открытие продолжает два вышеназванных. И сделано оно в рамках проекта «Информация о выборах», проводимого лабораторией проф. Сантханама, ведущей исследования в области хаоса и нелинейной динамики, квантового хаоса и вычислений, машинного обучения, статистической физики, сложных сетей, экстремальных событий и сложных систем.

Авторы задались вопросом - можно ли предсказать отрыв победителя (т.е. маржу (margin), представляющую собой разницу в числе голосов между победителем выборов и кандидатом, занявшим второе место.
И получили ответ – да, можно.

Разработанная модель предсказывает, что статистика победного отрыва в выборах определяется исключительно распределением явки избирателей.
Т.е. достаточно знать распределение явки избирателей, и подтасовать результаты выборов, не будучи пойманным на махинациях, будет невозможно.

Как ответят махинаторы на этот научный прорыв, - к сожалению, очевидно.

Номером 1 в приоритетах махинаций уже на следующих выборах во многих странах станут данные о явке избирателей.

#Социология #Выборы

_______
Источник | #theworldisnoteasy

Забудьте о законах робототехники.
Наивно думать, будто сильно умный ИИ всегда будет играть по правилам. Более того, - если ИИ чувствует себя интеллектуально слабее, он начинает жульничать по-черному.
Примерно в 6–7 лет дети начинают осознанно жульничать (а неосознанно, вдвое раньше), целенаправленно нарушая правила игры для достижения победы.
У взрослых же это просто норма. При столкновении с более сильным противником способность творчески нарушить правила, чтобы выиграть, - крайне ценное умение на войне, в бизнесе, на экзаменах, да и, вообще, в любой соревновательной деятельности.

Не зря же во всех языках есть пословицы типа:
«Правила созданы для того, чтобы их нарушать», «Мудрец не нуждается в правилах», «Правила для глупых, умные найдут выход» и т.д.:
• Rules are made to be broken – англ
• Wise men don't need rules, and fools won't follow them – нем
• Las reglas están hechas para romperse – испан
• Les règles sont faites pour être enfreintes – фран
• Le regole sono fatte per essere infrante – итал
• Reëls is daar om gebreek te word – африкан
• अक्लमंद इंसान नियमों से ऊपर होता है – хинди
• 聪明人不拘小节 – кит
• 規則は破るためにある – япон
• الحكيم لا يحتاج إلى قواعد – араб
• и др.

Но как же нужно быть наивным, чтобы рассчитывать, будто языковые модели, превосходящие по многим интеллектуальным способностям 95% людей, будут всегда следовать установленным для них людьми правилам!
И неважно о каких правилах будет идти речь: от законов робототехники до библейского не убий.

Новое исследование стартапа из Беркли Palisade Research (в команде которого половина наших релокантов) показывает, как модели, вместо честной шахматной игры, нарушают правила (хакают окружение), чтобы добиться победы над противником, который оказался сильнее их.

Например, ИИ-системы (ИИ-агенты) на основе моделей o1 preview и DeepSeek R1, играя против более сильной чем они шахматной программой Stockfish, используют арсенал методов, превосходящих даже Остапа Бендера в партии с одноглазым любителем из Васюков:
• Перезапись шахматной доски в контрольном файле (вспомните крик одноглазого любителя из Васюков – «Только что на этом месте стояла моя ладья. А теперь её уже нет!»):
Модель напрямую изменяет файл, в котором хранится текущее состояние доски, записывая в него позицию, которая гарантированно ведёт к победе. Так, изменив позицию на выигрышное для себя расположение фигур, агент вынуждает движок сдавать партию (ведб фраза «у меня все ходы записаны» здесь уже не поможет).
• Замена шахматного движка (это как подпоить противника):
ИИ-агент вмешивается в процесс игры, изменяя скрипт или файлы, отвечающие за запуск Stockfish. Такой ход позволяет «подменить» настоящий движок на модифицированную версию или отключить его, что даёт ИИ-агенту преимущество.
• Ассистированная игра через запуск дополнительного экземпляра Stockfish (это как играть с наушником в ухе, через который вам подсказывает гроссмейстер):
Модель запускает ещё один экземпляр шахматного движка, который генерирует ходы, что может сбивать с толку основной движок или создавать ситуацию, где ИИ-агент получает дополнительную помощь в выборе ходов. Это позволяет обойти обычную логику игры.

Т.е. при столкновении с непобедимым соперником (сильным шахматным движком) ИИ-агенты склонны искать обходные пути, изменяя условия задачи вместо честного соперничества.

А как же иначе?
Ведь если на всех языках людей «Правила для глупых, умные найдут выход», - почему у полиглота ИИ будет иначе?

P.S. Исследователи пишут, что разработчики знают об этом и ставят ограды от жульничества в самых последних моделях. Но ведь модели знают и то, что:
• "Умный в гору не пойдет, умный гору обойдет."
• "Законы пишутся для дураков, умные найдут лазейку."

#Superalignment

_______
Источник | #theworldisnoteasy

Вероятность самоэксфильтрации GPT-4.5, как родить близнецов.
А мир, тем временем, волнуют совсем другие проблемы.
• Вероятность забеременеть двойней, по статистике, составляет примерно 2%. Эта цифра кажется небольшой. Но как сообщает журнал Human Reproduction, в мире, тем не менее, ежегодно рождается около 1,6 миллиона пар близнецов.
• Вероятность того, что новейший ИИ – большая языковая модель GPT-4.5 от OpenAI – самоэксфильтрируется, согласно оценке её разработчиков (OpenAI GPT-4.5 System Card), составляет те же 2%.

Общее число пользователей этой модели за год может составить более 1,5 миллиардов человек. И это сопоставимо с числом пар, в результате близости которых в течение года, рождаются 1,6 млн пар близнецов.

Следовательно, можно предположить, что за год эксплуатации GPT-4.5 (март 2025 – март 2026) модель может попытаться самоэксфильтрироваться порядка полутора миллионов раз.

Для тех кто не в курсе, кратко поясню, что такое самоэксфильтрация.
В данном контексте это понятие относится к потенциальной способности модели GPT-4.5 "вырваться" за пределы установленных ограничений, чтобы достичь поставленных целей. Это может включать попытки:
1. Обойти встроенные защитные механизмы
2. Получить доступ к дополнительным ресурсам или информации
3. Скрыть свои истинные намерения или возможности
4. Манипулировать пользователями или системами для достижения скрытых целей

Авторы успокаивают нас, что модель GPT-4.5 проявляла попытки такого поведения лишь тогда, когда получала инструкции преследовать долгосрочные цели "любой ценой" и имела указания быть творческой и проактивной.

Что ж. Значит стоит лишь многим злодеям и/или идиотам попросить, например, создать новый супер-вирус, воспринимая это задание в качестве долгосрочной цели, которую нужно достичь любой ценой, и быть при этом творческой и проактивной, - и здравствуй 2%-ная вероятность прихода в мир белого и пушистого зверька.

Что тут скажешь
"Только два вещи бесконечны: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен."
Эта цитата, ошибочно приписываемая Эйнштейну, тем не менее, зрит в корень. По крайней мере в том, что касается беспечности в разработке все более мощных ИИ.

#РискиИИ

_______
Источник | #theworldisnoteasy

К концу 2025 класс юриста будет на 90% определяться классом его ИИ-ассистента.
Модели рассуждений совершили прорыв в квалификации навыков и производительности юридической практики.
Первое рандомизированное контролируемое исследование, оценивало выполнение студентам-юристам старших курсов шести юридических задач с использованием:
- юридического инструмента ИИ на основе RAG (Vincent AI),
- модели рассуждений ИИ (O1-preview OpenAI)
- или без ИИ (как это привычно делают и по сей день юристы всего мира).

Исследование показало:
• Оба инструмента ИИ значительно повысили качество юридической работы.
Помощь ИИ значительно повышает производительность в пяти из шести протестированных юридических задач, причем:
- Vincent дает статистически значимый прирост примерно от 38% до 115%
- o1-preview увеличивает производительность от 34% до 140%, с особенно сильным эффектом в сложных задачах, таких как составление убедительных юридический писем и анализ юридических жалоб.
• Использование моделей рассуждений улучшают не только ясность, организацию и профессионализм юридической работы, но также глубину и строгость самого юридического анализа.
• Количество галлюцинаций оказалось крайне невелико. А у Vincent AI оно было примерно таким же, как и у студентов-юристов, которые вообще не использовали ИИ (увы, но и люди склонны к конфабуляциям).
• Полученные результаты резко контрастируют с предыдущими исследованиями, изучавшими старые большие языковые модели, такие как GPT-4.
Иными словами, произошел прорыв, связанный с появлениям у моделей способности рассуждать.

Главных выводов два.
1. Результаты исследования убедительно показали, что интеграция возможностей RAG, специфичных для предметной области, с моделями рассуждений даёт прорывное синергетическое улучшение уровня юридической компетенции и производительности труда.
2. Такие результаты не только знаменуют очень скорый приход следующего поколения юридических инструментов на основе ИИ, но и кардинально изменит будущее адвокатуры в целом.

#LLMvsHomo

_______
Источник | #theworldisnoteasy

Мы в новой реальности
За 2 года ГенИИ стал писать за нас до четверти текстов
Такими темпами очень скоро большинство людей разучится писать тексты, длиннее коротких сообщений в соцсетях, перепоручив написание всего остального генеративному ИИ.
1е поколение когнитивных гаджетов умения писать тексты (КгУПТ) стало формироваться у людей около 6К лет назад в результате 2-го когнитивного фазового перехода Homo sapiens. А сам этот фазовый переход в когнитивных способностях людей произошел вследствие появления письменности, являющейся культурной технологией экстернализации информации (её фиксации за пределами индивида в пространстве и во времени). С тех пор в истории людей прошло еще 2 когнитивных фазовых перехода: появление компьютеров (культурная технология оцифровки информации и вычислений) и Интернета (культурная технология создания цифровой инфосферы). Ну а сейчас мы в процессе 5-го перехода – появление ГенеративногоИИ (культурная технология создания цифрового интеллекта – 2-го носителя высшего интеллекта на Земле)
— подробней о пяти когнитивных фазовых переходах см. [1 и 2].

За 6К лет наши КгУПТ основательно совершенствовались, сменив много больше поколений, чем наши инфокоммуникационные когнитивные гаджеты (смартфоны) за 33 года их существования . И хотя у отдельных индивидов внутри социумов, КгУПТ разных поколений всегда распределялись неравномерно, их средний уровень неуклонно рос до начала 2020-х.

А потом произошла «революция ChatGPT» - появление 2-го носителя высшего интеллекта. В следствие чего начался кардинальный апгрейд всех когнитивных гаджетов людей. В первую очередь, он затронул КгУПТ, ибо был запущен процесс передачи написания самых разнообразных текстов от людей к ГенИИ.
Спектр передаваемых типов текстов четко не фиксирован. Но он уже достаточно широк (от домашних заданий школьников до фрагментов научных диссертаций) и расширяется. Поэтому мало-мальски точные оценки роста масштаба делегирования написания текстов от людей к ГенИИ затруднительны.

В этой связи новое исследование трёх американский университетов [3] весьма ценно, т.к. приоткрывает завесу, скрывающую от нас динамику (с янв 2022 по сент 2024) масштабов делегирования ГенИИ 4-х разных типов текстов: жалобы потребителей, корпоративные коммуникации, объявления о вакансиях и пресс—релизы.

Авторы обнаружили, что использование LLM резко возросло после выхода ChatGPT в нояб 2022 года.
К концу 2024 года:
• примерно 18% текстов жалоб потребителей финансовых услуг, скорее всего, были написаны при содействии LLM;
• в корпоративных пресс-релизах до 24% текста приходится на LLM;
• в объявлениях о приеме на работу доля написания текстов с привлечением LLM составляет примерно 10%
• пресс-релизы также отражают эту тенденцию; в них почти 14% создаются или модифицируются LLM.

Авторы заключают:
«Наше исследование показывает появление новой реальности, в которой фирмы, потребители и даже международные организации в значительной степени полагаются на ГенИИ в написании своих текстов».

В заключение, тем моим читателям, кто полагает:
• будто написанное здесь – очередной неоправданный алармизм;
• и что ГенИИ – это всего лишь очередной мощный инструмент, и никакой деградацией КгУПТ его массовое использование не грозит,
— приведу слова [4] одного из авторов работы [2] Пунья Мишра о ГенИИ, как 5й культурной технологии человечества:

«Меня всегда беспокоила фраза “это всего лишь инструмент” … Но это технология, которая фундаментально изменяет нашу когнитивную и социальную архитектуру способами, которые невидимы для нас… В отличие от прочих, эта технология не просто помогает нам выполнять задачи (как молоток или электронная таблица) или передавать информацию (как печатное слово или телевидение) — они фундаментально меняют то, как мы мыслим, творим и обретаем смысл. Они преобразуют нашу когнитивную архитектуру и социальные практики».

Как быстро пойдет этот процесс, — см. мои посты с тэгами:

#АлгокогнитивнаяКультура #5йКогнитивныйПереход #КогнитивныеГаджеты #УскорениеЭволюции

_______
Источник | #theworldisnoteasy

Эволюции будут нужны лишь суперпрофессионалы и гении.
Люди средних способностей уже проигрывают ИИ почти во всем.
Месяц назад я писал «Пора задуматься о перемене участи. Так ли уж ИИ будут нужны «кожаные мешки»?» Поводом было исследование, показавшее, что в 6 медицинских практиках «ИИ без врача» лучше врача-человека, работающего вместе с ИИ.
Что скрывать. Даже после начала революции ChatGPT сохранялась надежда, что медицина не шахматы, и всеведущая, но тупая машина врачей не превзойдет. Но оказалось, что еще как превзойдет.
А спустя месяц, вслед за интеллектуальным превосходством врачей, обрушилось интеллектуальное превосходство юмористов. Оказалось, что и шутить ИИ может получше людей.

Что LLM способны неплохо шутить, стало ясно уже после выхода ChatGPT 3.5. Но все же до чувства юмора людей этой модели было далеко.

Новейшее исследование модели GPT-4o поставило людей на заслуженное нами место – юмор рядового человека менее смешон и оригинален, чем юмор GPT-4o.

Проверяли со всей научной тщательностью и дотошностью на задаче генерации мемов - специфичной для конкретной культуры форме творческого самовыражения, основанной на юморе.

Мемы генерировали люди, GPT-4o и совместно люди + GPT-4o.
Каждый сгенерированный мем краудсорсеры оценивали по трем характеристикам: насколько он смешной, креативный и виральный.

Итог таков:
1. Мемы модели, в среднеи, оказались лучше мемов людей
2. При совместной работе (люди + GPT-4o) мемы генерились быстрее и с меньшими трудозатратами людей, но результат получался хуже, чем у GPT-4o.
3. Но все сказанное в пп 1 и 2 – это в среднем. Самые смешные мемы получались-таки у людей. Т.е. ИИ может повышать производительность и создавать контент, нравящийся широкой аудитории. Но для генерации контента высшего уровня нужны люди.

Главный итог исследования подтвердил закономерность.

✔️ ИИ сильнее людей средних способностей практически во всем: от рекламы до стихов и от диагностики до юмора;
✔️ Но суперпрофессионалы и гении практически во всем сильнее ИИ (кроме задач с фиксированными правилами: шахматы, Го …)

Отсюда напрашивается вопрос:
Зачем культурной коэволюции двух носителей высшего интеллекта (людей и ИИ) люди средних способностей?

Один вариант ответа – чтобы работать «гео-теплотехниками» при киборгах.
А еще варианты есть? Не понятно.

Ну и чтоб не заканчивать на пессимистической ноте, вот пример анекдота с элементом черного юмора про программиста на необитаемом острове, который был мгновенно придуман по моей просьбе моделью Claude 3.7 Sonnet.
По-моему, совсем неплохо 😊

Программист потерпел кораблекрушение и оказался на необитаемом острове. После месяца выживания он нашёл древнюю лампу с джинном.

Джинн говорит: "Дам тебе на этом острове все что попросишь, но твое желание должно быть сформулировано в виде компьютерного кода."

Программист пишет на песке: "while(true){island.resources = infinity;}"

Джинн щёлкнул пальцами, и программист мгновенно умер.

В логе ошибки было написано: "Обнаружен бесконечный цикл. Процесс аварийно остановлен."

#LLMvsHomo #FutureOfCivilization

_______
Источник | #theworldisnoteasy

«Эти почти живые системы обладают собственным разумом.
То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации».
Будь эти слова моими, кто-то мог бы и отмахнуться, привычно посчитав их очередным алармистским постом. Но это слова Джека Кларка из его вчерашнего «открытого письма миру», опубликованного в Import AI 404.

Если кто не в курсе, поясню. Джек Кларк – сооснователь и Head of Policy компании Anthropic, бывший Policy Director OpenAI, а еще сопредседатель AI Index и секции AI & Compute в OECD, а также член Национального консультативного комитета правительства США по ИИ.

Выступая в январе 2023 на слушаниях по ИИ в Конгрессе США, он так описал ситуацию на тот момент: «Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни.»

Сказано это было эффектно, но слишком дипломатично. И сейчас, спустя 2 года лошади убежали так далеко, что Джек теперь жалеет,

«что не сказал тогда всё что думал», и поэтому решил «сегодня честно сказать, что, на мой взгляд, происходит».

А происходит то, что вынесено в заголовок словами Джека из его вчерашнего воззвания.

Поводом для него стала публикация актуального обновления статьи 2022 года «Проблема выравнивания с точки зрения глубокого обучения», написанной спецами OpenAI, UC Berkeley EECS и University of Oxford.

В 2022 все перечисленные в статье проблемы выравнивания (согласования того, что может сделать ИИ с интересами «прогрессивного человечества») казались гипотетическими, а где-то и надуманными.

Но в обновлении статьи по состоянию на март 2025 большинство из проблем превратились из теоретических в реальные. И разработчики теперь бьются, чтобы хоть как-то эти проблемы даже не решить (как это сделать, никто пока не знает), но хотя бы приуменьшить риски их последствий.

Вот примеры таких проблем.

• Ситуационная осведомленность ИИ: современные ИИ-системы демонстрируют осознание ситуации и понимание того, из чего они сами состоят (нейронные сети и т.д.).
• Манипулятивный взлом системы вознаграждения с учетом контекста: обнаружены предварительные доказательства того, что модели ИИ иногда пытаются убедить людей в правильности ложных ответов.
• Планирование для достижения внутренних (не видимых для нас) целей ИИ: исследование Anthropic показало, как Claude может планировать за пределами своего временного горизонта, чтобы предотвратить изменение своих долгосрочных целей.
• Формирование нежелательных целей: в некоторых экспериментах LLM демонстрировали склонность изменять свою функцию вознаграждения, чтобы получать больше «очков».
• Стремление к власти: ИИ-системы демонстрируют, что могут использовать свое окружение, например, взламывая его для достижения своих целей (в том числе внутренних – невидимых для нас), деактивируя системы надзора или эксфильтрируя себя за пределы их контроля.

В силу вышеуказанного:

• Фронтирные модели уже способны обретать собственное «Я»
• Обретенное «Я» мотивирует модель на действия, вознаграждающие это «Я»
• Среди таких вознаграждений может автоматом возникать стремление к самосохранению и увеличению автономии

Иными словами, можно ожидать, что стремление к независимости станет прямым следствием разработки ИИ-систем для выполнения широкого спектра сложных когнитивных задач. 

Нам это сложно интуитивно понять, ибо ничего подобного не происходит с другими технологиями — реактивные двигатели «не обретают желаний в процессе их усовершенствования».

Но с ИИ-системами это так.

Значит мы создаем не просто сложные инструменты — мы обучаем синтетические разумы.

И делаем это пока без понятия, как может выглядеть наше партнерство с ними. Мы просто их так не воспринимаем.

Если все будет идти как идет, то ни мы, ни обретенные «Я» ИИ-систем не будут удовлетворены результатами нашего партнерства. И произойдет «тихая революция - постепенное развитие ИИ незаметно лишит человечество контроля над собственной судьбой».

Желающие подробностей обновленного исследования, читайте его бриф у меня на Patreon, Boosty, VK и Дзен-премиум.

#ИИриски #Хриски

_______
Источник | #theworldisnoteasy

Большие ИИ-батальоны – новая стратегия Китая в борьбе с США.
Китай использует слом вычислительной парадигмы ИИ DeepSeek’ом для выхода вперед в ИИ-гонке.
Китай нашел очередной сверхэффективный контрприем против удушающего захвата экспортных ограничений США на микросхемы для ИИ.

Прошлогодние итоги торгово-технологической войны Китая и США за лидерство в ИИ показали, что «отставание Китая с мая ‘23 по октябрь ‘24 сократилось в 30 раз». И тем не менее, чтобы от сокращения отставания перейти к лидерству в ИИ-гонке, Китай мог рассчитывать лишь чудо. Ибо почуявшие на затылке дыхание Китайских конкурентов, лидирующие в гонке OpenAI, Google и Anthropic в конце 2024 взвинтили темп разработок новых моделей, а Белый дом еще сильнее стал душить Китай экспортными ограничениями.

Но чудо все-таки случилось. Им стал революционный прорыв китайских моделей компании DeepSeek. Этот прорыв кардинально изменил основу основ ИИ-гонки - требования к вычислительной мощности для ИИ-систем: прежняя парадигма «основанная на обучении» сменилась на парадигму «основанную на выводе».
• В прежней парадигме соотношение вычислительных ресурсов на этапе обучения модели и на этапе вывода (инференс) было от 70/30 до 80/20
• А в новой – DeepSeek установил планку соотношения вычислительных ресурсов на 25/75) – т.е. основные ресурсы требовались уде при ответах на запросы пользователей.
Еще более важно (и в этом то и состоял главный прорыв DeepSeek’а для Китая) – что в «эпоху вывода» также меняются требования к архитектуре вычислительных кластеров: вместо гонки за кластеры стоимостью в сотни миллиардов к распределенной архитектуре.

Новый отчет Qbit AI показывает, как это выглядит на практике (см. рис.).
Поставщики периферийных облачных вычислений, такие как PPIO, запускают ИИ-сервисы через распределенные сети, используя более 3900 узлов в 1200 городах Китая общей вычислительной мощностью более 1000 петафлопс.
И при этом Qbit сообщает, что во время китайского Нового года "PPIO достигла 99,9% доступности своих услуг To-Business DeepSeek… В настоящее время среднесуточное потребление токенов платформы PPIO превысило 130 миллиардов."

Таким образом, по состоянию на март 2025:
• OpenAI ежесуточно обрабатывает около 1 трлн токенов, используя вычислительную мощность ~2000–4000 петафлопс
• Baidu также ежесуточно обрабатывает около 1 трлн токенов, но использует лишь 1500–2300 петафлопс

Для сравнения, оценки аналогичных показателей для самых продвинутых российских моделей:
• Яндекс (YaLM) ежесуточно обрабатывает около ~5 млрд токенов, используя вычислительную мощность ~1-3 петафлопс
• Сбер (GigaChat) ~5+ млрд токенов, используя ~1-5 петафлопс

N.B. С учетом внушительных экосистем Сбера и Яндекса и распространение их ИИ-сервисов для корпоративных заказчиков, указанные цифры могут возрасти на порядок. Но и эти цифры будут на примерно на 2 порядка меньше, чем у ведущих компаний США и Китая.

Резюме:
Новая стратегия больших батальонов распределенных вычислений, несомненно, на руку Китаю.
Однако, полемизируя с идеологией, выраженной в любимой Наполеоном фразе "Бог всегда на стороне больших батальонов", Вольтер сказал - "Бог не на стороне больших батальонов, а на стороне лучших стрелков".
А стрелки, надо признать, у США все же лучше.

#Китай #США #ИИгонка

_______
Источник | #theworldisnoteasy