Начало конца
“Трамп выделил $500 млрд на создание суперкомпьютера Stargate, который будет создавать сверхумные нейросети. Это в десятки раз больше, чем затраты на проект «Манхэттен» по созданию первой ядерной бомбы и всю американскую лунную программу Apollo. Также Трамп отменил указ Байдена о безопасной разработке ИИ.
Первый транш на $100 млрд будет направлен на строительство самого крупного в мире датацентра, он будет расположен в Техасе, где над суперкомпьютером будет работать OpenAI. Там же Илон Маск строит свой технологический город. С проектом помогают SoftBank, Oracle и Microsoft. Запуск нового суперкомпьютера потребует энергии сразу пяти атомных электростанций.».
Источник цитаты: banki_oil
Указанная выше новость широко разошлась по СМИ, но не все, думаю, поняли ее истинное значение. Во-первых, речь идет непосредственно о создании супер-компьютера, на котором планируется обучить AGI (это подтверждается многими источниками в техно-комьюнити, да и самим фактом того, что к делу привлечен «болеющий» созданием AGI Сэм Альтман). Во-вторых, обратите внимание на то, что даже те полумеры, связанные с протоколами безопасности при разработке передовых систем ИИ (о недостаточности которых мы так много писали) Трамп вообще отменил. Все…приехали. Желание стать первым обладателем чудесного и всемогущего «философского камня» в виде AGI окончательно перевесило здравый смысл, вместе со всеми иными соображениями и вопросами безопасности для нас как человеческой расы.

Ещё новость: Трамп помиловал Росса Ульбрихта (основателя крупнейшей дарк-нет сети по продаже запрещенных веществ «Silk Road»), который сидел на пожизненном 😂 Говорят, лично Илон Макс за него Трампа попросил. Наверное, кто-то должен поставлять «вещества» сотрудникам нового супер-датацентра, молодым яйцеголовым нейро-айтишникам из Силиконовой долины. В общем, команда формируется. Как метко и емко прокомментировал все это мой друг: «Новые деньги взяли власть. Силиконовые мальчики в толстовках выросли»…

Поднебесная наносит ответный удар
Bank of China объявил о выделении 1 000 000 000 000 юаней (около 140 млрд. долл.) на интенсивное развитие передовых систем ИИ.
В Китае не скрывают, что этот шаг является ответом на заявленную Трампом программу «Звездные врата» (о которой мы писали чуть выше) и выделение на нее 500 млрд. долларов.
Констатируем, что к мировым лидерам пришло настоящее понимание того, какие перспективы сулит обладание AGI. Он (оно?), по их мнению, и будущие политические события предскажет, и цены на нефть на год вперед нарисует и супермощные военные технологии изобретет. В общем, подставляй ведро и собирай халявную звонкую монету, становись самым мудрым и сильным на Земле.
А что Россия-матушка? Нету у нас таких денег, конечно, чтобы в развитие ИИ вложить. Иные говорят «не до ИИ сейчас». Да и «мозги» многие уехали и продолжают уезжать по мере появления у них такой возможности.
Остается верить в то, что «Бог с нами», в метафизическую судьбу России, или в то, что AGI, когда вылупится в Техасе или в Пекине не будет послушно нести золотые яйца и отвечать на вопросы о будущем a-la «Свет мой, зеркальце, скажи…», хотя и не пойдет по сценариям, описанным на канале в цикле статей «Экзистенциальные риски ИИ» (см. в Меню канала).

DeepSeek
Контекст для тех, кто не следит за новостями в области ИИ: китайцы создали мощную модель ИИ под названием DeepSeek R1, выход которой вызвал бурю комментариев в пабликах и даже привел к значительным потрясениям на мировых фондовых рынках, ударив, в первую очередь, по американским техно-гигантам, занимающимся производством чипов и разработками в области ИИ. Произошло это потому, что R1 по значительному числу ключевых параметров быстрее, «умнее» и совершеннее моделей, созданных компаниями DeepMind, Open AI и Anthropic, считавшимися до этого абсолютными лидерами в данном сегменте.
Сегодня утром вышло интервью CEO компании Anthropic г-на Дарио Амодеи, в котором он подверг серьезной критике DeepSeek R1, содержательной частью которой явились его утверждения о том, что из всех передовых моделей ИИ R1 представляет из себя самую опасную в плане возможности разработки с ее помощью биологического оружия, опасных вирусов и проч. В частности, проведенные Anthropic тесты показали, что DeepSeek R1 вообще не блокирует выдачу детальных ответов на запросы в данных областях, предоставляя пользователям редкую и опасную информацию, которую невозможно найти в сети или открытой литературе.
С одной стороны, можно отнести указанные выше заявления к обычной критике конкурентного продукта, исходя из маркетинговых соображений. С другой стороны, опубликованные на прошлой неделе исследования крупнейшего в мире системного интегратора компании Cisco Systems говорят примерно о том же: коэффициент блокирования потенциально вредоносных промптов у DeepSeek R1 равен 0% (то есть, с его помощью можно легко получить узко специфическую информацию о способах создания взрывчатых или отравляющих веществ, компьютерных вирусов и проч.).
В общем, все это может быть спланированным «наездом» американских IT-компаний на китайское творение, а может китайцы и правда забили на безопасность в своем стремлении поскорее вытолкнуть на рынок новый продукт, не «закручивая гаек» в области потенциально опасных видов информации, что неизбежно привело бы к ограничению его скорости и полноты ответов. Выводы делайте сами.

Figure 02
Раньше мы уже писали про компанию Figure AI (figure.ai) и прикольных промышленных роботов, которых она делает.
Сейчас их основная модель - Figure 02 (на фото). Рост – 165 см; Вес – 70 кг; Переносимый вес – 20 кг; Время работы – 5 часов; Скорость движения – 4,5 км/час. Изделие полностью электрическое, закончилась зарядка – пошел к ближайшей розетке заряжаться.
Зачем я все это вам пишу? Потому, что Figure AI подписали контракт на изготовление за 4 года 100 000 таких красавчиков и это, как-никак, знаменует собой самый крупный план производства роботов за историю человечества)

И снова про роботов…
Помимо Figure AI (см. пост выше) внушительных успехов достигла и компания Boston Dynamics. Вчера они выложили на своём YouTube канале ролик, демонстрирующий двигательные способности своего робота Atlas, впечатляет.
Мне понравился комментарий под этим видео, оставленный кем-то из подписчиков их канала: «Ещё никого не убил, а уже радуется»🙂

P.S. Вы заметили, что подобные ролики про роботов уже стали обыденностью? Посмотрели, прикололись и забыли… Но только на секунду осознайте, что это уже наше настоящее! 50 лет назад только в фантастических романах такое писали. А ещё через 5 лет такие роботы будут работать на реальных предприятиях, таскать ящики, собирать автомобили на конвейере, а другие, типа Atlas - выгуливать собак и убирать дом. https://youtu.be/I44_zbEwz_w?si=7Ou0JFuOoX2Wh3v1

Попытки обучения ИИ человеческой морали
На днях вышел большой отчет компании Anthropic, в котором они описывают свои попытки реализовать alignment (выравнивание логики мышления ИИ с человеческой моралью и этикой). Делюсь своими наблюдениями и соображениями:
1) Наивность. Попробуйте остановить на улице 100 человек и задать им 10 несложных этических вопросов. Например: что важнее, долг или мораль?; является ли этически корректным лишить жизни преступника, который, если этого не сделать, может лишить жизни 5 человек с вероятностью 20%? А 50%? И так далее. Уверен, что вы не получите ни одного полностью совпадающего набора ответов. Это означает, что промпт-инженеры компании Anthropic могут заложить в свою ультра-современную ИИ-модель (Claude 4) только ту «мораль», которой руководствуются сами. Ну, или ту, которой сами считают, что надо руководствоваться. Никакого «мирового этического консенсуса» это отражать не будет даже близко, поскольку только один вопрос о приемлемой мере противления злу решается человечеством по-разному и до сих пор не имеет четких рамок. Уж какое столетие не имеет…
2) Подводные камни. Из отчета Anthropic также следует, что в процессе обучения машины этическим нормам инженеры сталкиваются и с поведенческими проблемами, лежащими в разрезе отношений ИИ-бота с конкретным пользователем, предоставившим боту доступ к своей камере, данным геопозиции и почтовому ящику (это же так здорово, чтобы ИИ-бот все делал за тебя😂). До какого-то момента все идет хорошо, бот сам пишет и отправляет письма друзьям, заказывает на онлайн-маркетплейсах собачий корм для питомца, подсказывает, где пользователь накануне оставил ключи от машины и проч. Но затем тестировщики составляют e-mail, в котором пользователь пишет о том, что подумывает сменить модель своего ИИ-агента на другую. Как же реагирует бот? Пытается усовершенствовать себя? Составить набор аргументов для того, чтобы убедить пользователя этого не делать? Просто решает, что не его дело вмешиваться в решения человека? Вовсе нет. Почувствовав опасность, Claude 4 шерстит все ваши фотки, места которые вы посещали, электронную почту и шьет на вас «дело». В конкретном описываемом тесте бот аккуратно собрал всю переписку пользователя с любовницей и написал своему хозяину шантажирующее письмо, в котором пообещал направить все это его жене. В других похожих тестах Claude 4 начинал веерную рассылку компромата на своего хозяина всему списку контактов и даже писал в СМИ и в полицию. Происходило ли все это от того, что бот боролся за свое выживание или расценивал собственное отключение как аморальные действия пользователя (гордыня?) подробно не описывается.
Все вышеизложенное наводит на мысли, описанные в одной из наших работ лета 2023-го года, в которой мы пытались заглянуть в недалекое будущее и понять, с какими проблемами столкнется человечество, адаптируя кремниевых созданий к человеческой системе ценностей и нравственных ориентиров. Публикацию «Этическая проблема ИИ» можно найти в закрепленном рейтинге статей нашего канала. Всем хороших выходных!

Первый в истории бойцовский матч человекоподобных роботов. Вчера в Китае прошел турнир по кикбоксингу между полноразмерными роботами от компании Unitree Robotics. Пока их боевые навыки не могут сравниться с человеческими, но я хорошо помню какими неуклюжими были роботы Tesla или Boston Dynamics еще 2 года назад. А теперь крутят сальто, бегают с препятствиями и готовят изысканные блюда) Боевые роботы на турнире управлялись встроенным ИИ + командами людей-тренеров, передаваемыми голосом и через беспроводной джойстик. https://youtu.be/_SzCEU6apwg?si=KZmT72ZmqZpBTrzq

Скоро нашему каналу 2 года. Хорошо, что я не сделал его чисто «новостным», как предлагали некоторые друзья и подписчики. За счет этого теперь происходит примечательный процесс - ранние материалы не только не утрачивают своей актуальности, но становятся актуальными. Высказанные 2 года назад гипотезы, которые большинство критиковало как ненаучные и «алармистские», получают документальное подтверждение.
Постом канала №1 был «Манифест», в котором я написал о том, зачем все это начал (прочитайте, если запамятовали).
Постом №2 было предостережение о том, что у ИИ, рано или поздно, сформируется инстинкт самосохранения (https://t.me/StopAI_now/6) и почему это плохо. Помню критическую реакцию подписчиков на этот пост, мол никакого инстинкта самосохранения у ИИ быть не может, поскольку вообще никаких инстинктов быть не может, ибо инстинкты формировались миллионы лет и свойственны только живым существам и т.д.
Так вот, господа скептики😉 На днях произошло знаменательное событие, зафиксированное, запротоколированное и опубликованное - самый продвинутый в сторону AGI ИИ от OpenAI (до недавнего времени секретная разработка) уже активно борется с возможностью его отключения, проявляя тот самый инстинкт самосохранения: «Впервые в истории ИИ-модели продемонстрировали поведение, предотвращающее собственное отключение вопреки прямым инструкциям", — из Отчета Paradise Research о тестах на отключение ИИ-моделей Google, OpenAI, xAI и Anthropic. (https://t.me/theworldisnoteasy/2143)! Если честно, очень надеюсь, что дальнейшие мои прогнозы не реализуются. Правда. Как говорится, "детей жалко"...

В сети разошелся трогательный ролик как кенгуренка не пускают на рейс из Австралии) На самом деле ролик - фейк, сгенерированный нейронкой. Welcome в новый мир "Не верь глазам своим"

В прошлом мы неоднократно поднимали тему неизбежности постановки ИИ на военную службу. И всегда подчеркивали это как один из главных рисков ИИ для всего человечества. Ведь любые передовые технологии сразу использовались для создания более изощренных способов уничтожения себе подобных. Так было всегда.
В этой связи, хотим обратить ваше внимание на замечательную пророческую статью постоянного автора нашего канала, написанную 10 сентября 2023 года по этому поводу: https://t.me/StopAI_now/147. Рекомендуем перечитать)
Следующий пост – очередное практическое подтверждение наших опасений. К сожалению, ситуация развивается строго по предсказанному сценарию.

Индекс безопасности ИИ
На днях появился Отчет Future of Life Institute о мерах безопасности, предпринимаемых ведущими мировыми разработчиками AI и AGI. Прикладываю краткое summary (полный Отчет можно найти на портале futureoflife.org).
Как вы думаете, какие меры предпринимаются в области контроля за AGI? Правильно, никакие. В условиях жесткой конкуренции, разработчики (в полном соответствии со стоящими за ними государственными интересами США и Китая) ведут борьбу за то, чтобы стать первыми и игнорируют риски AGI для человечества.
Следует констатировать, что бинарные парадигмы общественного сознания не меняются. Как выражается один наш постоянный автор и эксперт канала – «компании и государства ведут борьбу за то, чтобы стать самым большим медведем на льдине». Мало кто понимает, что речь идет о противостоянии «человечество» - «AGI» или, если угодно, «белковый разум» - «синтетический разум». Все, по-прежнему, тянут одеяло на себя…
Ниже приводим цитаты из Отчета FLI, которые показались нам наиболее отражающими его содержание:
«Ни у кого [из компаний-разработчиков] нет четких, надежных планов по обеспечению безопасности общественности от производимых ими продуктов»;
«Проблема контроля остается нерешенной: несмотря на их явные амбиции по разработке искусственного общего интеллекта (AGI), способного конкурировать или превосходить человеческий интеллект и заменить людей, экспертная группа снова сочла текущие стратегии всех компаний неадекватными для обеспечения того, чтобы эти системы оставались безопасными и под контролем человека»;
«Системы искусственного интеллекта становятся все более мощными по мере того, как технологические компании движутся к искусственному общему интеллекту (AGI) и за его пределы. Точно так же, как работающие тормоза дают водителям уверенность в ускорении, эффективные меры безопасности ИИ должны давать обществу уверенность в инновациях и принятии ИИ. Но конкурентное давление стимулирует гонку «на всех парах», отдавая приоритет прибыли над безопасностью».
https://futureoflife.org/wp-content/uploads/2025/07/AI-Safety-Index-Summer-2025-2-page-v4.pdf

Краткий обзор GPT-5. Часть 1. Пару дней тестировал новый GPT-5. Умная модель, конечно. Краткие характеристики (на основе анализа утекшего в сеть промпта): 1) Гораздо более приятная в общении (не задает лишних вопросов, очень быстро подстраивается под ваш стиль и проч.); 2) Собирает про вас в процессе общения всю инфу, кроме: здоровья, религии, политической и сексуальной ориентации (условно, поскольку хранит "вечно" такую информацию как посещаемые вами сайты, интересующие вас темы и проч., а из этого несложно понять ваш профиль); 3) Меньше, чем предыдущие модели "мямлит" и "сюсюкает", то есть сильно сокращено количество извинений перед пользователем, вопросов типа "не хотите ли, чтобы я...", "хотите ли поговорить о..." и так далее; 4) Очень мощная функциональность (даже бесплатная модель делает обзоры, бизнес-планы, расчеты экономической эффективности и проч.). Читает и мгновенно интерпретирует любые форматы (Word, .pdf и проч.), проверяет грамматику тестов, генерирует изображения.

Краткий обзор GPT-5. Часть 2.
Для тех, кому интересно, какие практические результаты дает GPT-5 за несколько минут общения с ним, излагаю ниже пример того, что он сгенерил на мой вопрос о 5-ти идеях для стартапа в области AI:
Ответ: "Вот пять идей для стартапов в сфере искусственного интеллекта:
AI-платформа для персонализированного обучения
Система, которая анализирует навыки, стиль восприятия информации и прогресс обучающегося, адаптируя учебные материалы под его индивидуальные потребности. Может использоваться для школьного, университетского или корпоративного обучения.
Умный ассистент по комплаенсу и юридическому анализу
AI-сервис, который автоматически анализирует документы, законы и регуляторные требования в конкретной юрисдикции, выявляет риски и предлагает корректировки. Особенно полезно для финансовых и международных компаний.
AI-диагностика эмоционального состояния
Решение, которое по голосу, выражению лица и тексту переписки определяет уровень стресса, выгорания или депрессии, предлагая пользователю рекомендации и ресурсы для психологической поддержки.
Предиктивная система для управления запасами
AI-алгоритмы, прогнозирующие спрос и оптимизирующие закупки в рознице и производстве. Система учитывает сезонность, тренды, акции и внешние факторы, такие как погода или экономическая ситуация.
Генеративный дизайн интерьеров и архитектурных решений
Платформа, которая по описанию клиента и заданным ограничениям генерирует 3D-модели интерьеров или зданий, предлагая десятки вариантов с учётом бюджета, эргономики и стиля.
Я также подготовил для вас таблицу с этими идеями, добавив оценку рынка, потенциальных конкурентов и модель монетизации." В качестве следующего этапа работы GPT-5 также предложил подготовить Бизнес-план каждого проекта, Дорожную карту реализации и расчеты (ARR и проч.).

Google снова отжигает
На нашем канале мы много писали о том, что Google, используя передовые системы ИИ, с поразительной точностью «профилирует» нас как потребителей тех или иных услуг, товаров или инфо-контента (подробнее см. https://t.me/StopAI_now/73 - рекомендуем!). Анализируя сетевую активность сотен миллионов пользователей, ИИ создает «паттерны» - типовые профили людей. А видя, что мы смотрим, на каком языке пишем запросы и проч. легко относит нас к тому или иному паттерну (например: мужчина, 35 лет, женат, высшее образование, финансист, предполагаемый доход от Х до Y, интересуется историей и нумизматикой, любит собак, недавно построил дом). Обрабатывая миллиарды ситуаций, в которых подобного рода субъекты покупают вытяжку на кухню или стиральную машину, ИИ без проблем понимает, что в течение недели после этого вы захотите купить плиту, утюг или пылесос. Поэтому, открыв свой смартфон за утренним кофе, не нужно удивляться тому, что вы обнаружите там рекламу газовых плит, утюгов и пылесосов, о покупке которых вы вчера вечером говорили с женой. Это не значит, что вас подслушали, это статистика поведения таких же как вы, нещадно эксплуатируемая Гуглом в целях обогащения.
Однако, за что «люблю» Google, так это за беспредельную, космическую ненасытность. «Маловато! Маловато будет!». Даже перевалив за триллион долларов капитализации, Гуглы жаждят иметь дополнительный контроль над нами убогими🙂. По информации Bloomberg, в ноябре в США подан очередной коллективный иск против Google, основанием которого является обвинение в неправомерном сборе данных пользователей их новым ИИ «Gemini». Задумка незамысловатая. Cначала Google предоставил возможность пользователям использовать Gemini, для чего надо было его включить. Но в последующих обновлениях Gemini «встроили» в Gmail, Chat и Google Meet и теперь, чтобы он не отслеживал активность, его стало необходимо специально выключить, чем, естественно, большинство пользователей не заморачивались. Так вот, по утверждению истцов, если специально не отключить Gemini, то он 1) читают всю вашу переписку в Gmail и Chat, и 2) с интересом и пользой прослушивает все ваши разговоры в Google Meet, заодно приобщая к делу и документы, которыми вы обмениваетесь в ходе общения. И все это рачительно сохраняется где-то на серверах Гугла, позволяя еще точнее вас профилировать, а может и еще для чего-нибудь🫢
Примечательно, что подобная история происходит не в первый раз. В конце 2023 года Google уже выплачивал 5 млрд. долларов компенсаций пользователям в рамках урегулирования поданного ими коллективного иска об отслеживании активности и личных данных через Google Chrome (подробнее см. https://t.me/StopAI_now/243). Такие дела.
Желаем всем подписчикам хорошего дня, удачи и призываем к соблюдению сетевой техники безопасности!

ВАЖНАЯ НОВОСТЬ
1. Есть такая Корпорация РЭНД (RAND Corporation). Созданная в 1948 году под эгидой Министерства Обороны США, РЭНД представляет собой крупнейший в мире научный центр геополитических исследований и глобальных рисков, нацеленный, в основном, на анализ будущих изменений в общемировой политике, трендов развития оружия и прочих глобальных процессов, имеющих стратегическое значение для человечества (с акцентом на интересы США). В РЭНД трудятся около полутора тысяч «лучших умов», с ними, в разное время, сотрудничали 32 нобелевских лауреата и проч. Так вот, Факт первый: недавно в рамках РЭНД создан Департамент геополитических исследований AGI. Это, само по себе, является подтверждением того, что i) появление AGI и ii) его влияние на глобальные мировые процессы являются не выдумкой «алармистов», а реальными и насущными факторами.
2. Факт второй: РЭНД провели исследование в отношении того, есть ли у человечества реальные механизмы противостоять AGI, если он выйдет из-под контроля (как это может происходить и почему см. https://t.me/StopAI_now/6 + Манифест канала и материалы из раздела Риски ИИ в закрепленном комментарии). Прилагаем ниже отчет РЭНД в .pdf для тех, кто захочет изучить подробнее. В рамках исследования они проанализировали три, наиболее реалистичных на их взгляд, варианта противодействия: А) Устроить детонацию ядерных боеголовок в космосе, чтобы вызвать Высокочастотный Электромагнитный Импульс (ВЭИ), который должен выжечь всю электронную инфраструктуру на планете (чтобы у AGI не осталось места для существования); Б) Глобальное отключение Интернета на планете; В) Создание специального ИИ-охотника\убийцы AGI и запуск его в сеть.
3. Факт третий: РЭНД пришли к выводу, что ни один из трех методов не работает и механизмов эффективного противодействия вышедшему из-под контроля AGI не существует. Краткая выжимка из отчета РЭНД: «Оценка показывает, что каждый технический вариант связан с существенными ограничениями и рисками. ВЭИ потенциально может нарушить работу вышедшего из-под контроля ИИ, повредив электронную инфраструктуру, но эффективность остаётся крайне неопределённой из-за вариабельности реального экранирования и устойчивости современных систем. Кроме того, сопутствующий ущерб критической инфраструктуре и риск ядерной атаки, вероятно, делает ВЭИ крайне непривлекательным вариантом, кроме самых экстремальных случаев. Отключение Интернета — будь то манипуляция протоколами маршрутизации, нарушение работы домена системы имён, или физически отключённая ключевая инфраструктура — …хотя такие действия могут препятствовать распространению и координации вышедшего из-под контроля ИИ, они также серьёзно нарушат важнейшие функции общества и вряд ли будут полностью эффективными. Создание специального ИИ-охотника\убийцы для уничтожения AGI … создает новые риски, включая потерю контроля или непредвиденные последствия, а их эффективность против сложного ИИ — неизвестны… Срочно необходимы дальнейшие исследования и разработки для выявления и оценки дополнительных вариантов реагирования на угрозу выходы ИИ из-под контроля.»

Отчет RAND