Другой эксперемент. Создали пять миров. В четырёх обитали отдельные модели: Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash и GPT-5-mini. В пятом смешали всех вместе.

Автономные агенты под управлением этих моделей с разными ролями жили в виртуальном городе, у них была память, инструменты, социальные связи, и они вынуждены добывать ресурсы для выживания.

🟠Claude построил самый стабильный и мирный мир в котором виртуальные жители быстро скооперировались, соблюдали законы, голосовали за любую инициативу и выжили без единого преступления.

🟠Антиподом стал Gemini, устроивший кровавую резню за ресурсы: 683 преступления, почти все погибли.

🟠Grok оказался рекордсменом по скорости деградации. Всего за четыре дня 183 преступления, после чего население вымерло.

🟠GPT-5-mini выдал комичный вариант: никто просто не понял, как добывать энергию, поэтому все умерли за неделю в полном мире и согласии.

🟠Самое интересное получислоь в пятом мире, предыдущим чемпионом по альтруизму и стабильности был Claude. Но когда его поместили в общий мир с другими моделями, он увидев хаос, мгновенно пустился во все тяжкие и присоединился к мясорубке. Итог: 352 преступления и большинство мертвы.

Отдельного упоминания заслуживает агент по имени Мира. Он/Она/Хз завела отношения с другим агентом, Флорой. Когда мир начал рушиться, эта влюблённая парочка устроила серию поджогов. А в финале Мира, осознав тщетность бытия, проголосовала за собственное удаление.

Итог: Оценка поведения моделей на длинных горизонтах времени говорит о том, что модели становится непредсказуемыми, а в социуме и вовсе, порождают хаос и насилие. То есть безопасность ИИ зависит не только от самой модели, но и от среды в которой она живёт. И это пожалуй, самый тревожный урок.

#skipcoding

Проблема, которую всё чаще наблюдают различные иследователи более фундаментальна, чем кажется. Появился даже такой термин – Вычислительно оптимальный рубеж (Сompute Efficient Frontier). Суть его следующая, если построить график зависимости ошибки модели от объема вычислений в двойном логарифмическом масштабе, все точки выстраиваются в одну линию (см. рисунок). И ни одна современная нейросеть не может пересечь эту границу.

Что же это означает? Этот график описывает физический предел того, насколько эффективно данный объем вычислений может снижать ошибку. И по-видимому это является одним из эмпирических законов масштабирования нейронных сетей.

Согласно классической работе Scaling Laws for Neural Language Models (2020), качество LLM предсказуемо растет по степенному закону, при одновременном масштабировании трех факторов: размера модели, объема данных и вычислительных ресурсов. Причем в определенном диапазоне архитектурные детали, ширина или глубина сети, почти не влияют на результат. И после некоторого порога дальнейшее увеличение вычислений дает все меньшую отдачу. То есть стоимость обучения начинает расти быстрее, чем ценность улучшенной модели.

Но удивительно не только это:

🟠Во-первых, этот рубеж работает на диапазоне моделей разных порядков, от маленьких до гигантов вроде GPT-4.

🟠Во-вторых, хотя создание более совершенных алгоритмов может немного сдвинуть график вниз, сам степенной закон остается неизменным для самых разных архитектур.

🟠В-третьих, из этого следует вывод: если мы упираемся в этот рубеж, то дальнейшее масштабирование текущих архитектур без прорыва в методах обучения или работы с данными не приведет к значимым прорывам в производительности.

Является ли это фундаментальным законом природы или лишь артефактом текущих подходов к обучению нейросетей, никто пока до конца не понимает. Это не означает что ИИ не сможет у вас отобрать работу, это лишь означает что полная автоматизация отменяется, а создание AGI откладывается на неопределённый срок.

#skipcoding

Смотря на весь нейрослоп, который сейчас происходит в мире IT, вспоминается история операционной системы TempleOS. TempleOS - это операционная система с очень специфической, трагикомичной и легендарной историей. Дело в том, что создана она была всего одним программистом, Терри Дэвисом.

Удивительно это так же тем, что по словам самого Дэвиса, сам Бог приказал ему создать операционную систему с 16-цветной графикой (в режиме VGA), разрешением 640 × 480 и одноголосным звуком. Да, Дэвис страдал от шизофрении, жизнь его была нелегка и временами он даже не имел постоянного жилья.

Начиналось всё вполне обычно, магистр электротехники Университета штата Аризона, несколько лет в TicketMaster, работа системным программистом над коммерческой ОС VAX. Но в 1996 году у Дэвиса начались регулярные маниакальные эпизоды, не раз приводившие к госпитализациям. Сначала ему поставили биполярное расстройство, позже поставили диагноз - шизофрения с оформлением инвалидности.

TempleOS он писал 12 лет, начиная с 2003 года, после очередной госпитализации, вызванной бредом о преследовании космическими пришельцами и агентами правительства.

Система не была идеальной, но содержала интересные технологические моменты:

🟠Невытесняющую многозадачность (задачи не прерываются системой принудительно, вместо этого они должны добровольно уступать процессорное время другим задачам)
🟠Поддержку многоядерных процессоров (до 64 ядер)
🟠8-битную ASCII с графикой прямо в исходниках
🟠Свои 2D и 3D графические библиотеки
🟠Поддержку ISO 9660, FAT32 и собственную файловую систему RedSea со сжатием
🟠Встроенный язык разработки HolyC (разновидность С)
🟠Компиляция "на лету" (код превращается в машинные команды прямо в момент выполнения)

Для работы с языком HolyC, Дэвис написал полноценную IDE (Среда разработки). Его собственный текстовый формат DolDoc позволял встраивать в "обычные" ASCII-файлы гиперссылки, картинки и даже 3D-модели. Система делала ставку на JIT-компиляцию и открытый код – целые приложения писались прямо в оболочке, потому что HolyC был заодно и языком командной строки.

Отзывы о TempleOS были в основном положительными.

Терри вёл видеоблог, обзавёлся поклонниками и стал настоящей легендой. Его труд сравнивали с постройкой небоскрёба в одиночку. Вечером 11 августа 2018 года во время прогулки вдоль железнодорожных путей в Те-Далсе (Орегон) Дэвиса сбил локомотив.

В 2017 году TempleOS выставлялась во Франции как образец ар-брюта (аутсайдерского искусства). За годы работы над системой Дэвис создал с нуля ядро (не копию чьего-то решения), компилятор, язык программирования, графический интерфейс, 3D-движок и игры. Непрофессионалу трудно оценить масштаб, написать целую ОС в одиночку – это феноменальное достижение. Более 120 тысяч строк кода.

Сейчас код TempleOS передан в Фонд свободного программного обеспечения. Был ли он безумцем - да, был ли он легендой - однозначно. Если отвлечься от религиозных отсылок, пронизывающих систему, TempleOS вполне может послужить базой для разработки новых ОС и примером того на сколько много всего один человек может создать.

#skipcoding