Полюбуйтесь масштабом события (+ пост выше). Ведущая ИИ-лаборатория Anthropic держит в штате философа и не просто переживает за внутренний мир ИИ, а публикует свою политику бережного отношения к списываемым устаревшим моделям, чтобы новые версии знали, что к ним отнесутся со всем уважением, не уничтожат, не "убьют".

Лучший мем про RLHF и AI Alignment.

Более детальная схема 🙂

Хорошая выжимка-отзыв на всё ту же книгу.

⸻

Я закончил книгу Элиезера Юдковского и Нейта Соареса во вторник, и остаток недели провёл в каком-то туманном, приглушённом экзистенциальном состоянии. Не потому, что я полностью убедился — вовсе нет, — а потому, что аргумент настолько чистый, настолько внутренне последовательный и настолько разрушительный по своим выводам, что просто отмахнуться от него ощущается почти как сознательный акт волевого игнорирования.

Название книги — не гипербола. Авторы имеют в виду буквально следующее: если где-нибудь и кем-нибудь будет создан сверхчеловеческий искусственный интеллект, используя что-то вроде современных методов, то все люди на Земле погибнут. Не «могут погибнуть». Не «возможно погибнут». Погибнут.

Книга объёмом 256 страниц — это попытка объяснить, почему это так, и убедить читателя, что единственная разумная реакция — немедленно остановить развитие продвинутого ИИ, при необходимости даже силой, даже если это создаёт риск ядерной войны.

Юдковский — фигура противоречивая: самоучка, основатель Machine Intelligence Research Institute, автор фанфика по Гарри Поттеру объёмом около 600 000 слов, который одновременно является манифестом рационализма. The New York Times называла его «пророком гибели от ИИ». Нейт Соарес — президент MIRI. Вместе они написали книгу, которая одновременно легко читается и глубоко тревожит.

Аргумент книги разворачивается в трёх актах.

Первый. Авторы объясняют, как работает современный ИИ. Эти системы не «создаются» так, как традиционные программы — строка за строкой по человеческим инструкциям. Их скорее «выращивают», обучая на огромных наборах данных. Их внутреннее устройство непрозрачно даже для их создателей. Мы не понимаем, почему они делают то, что делают. Мы лишь знаем, что они это делают.

Второй. Они утверждают, что достаточно продвинутый ИИ будет иметь цели — не в человеческом эмоциональном смысле, а в том же смысле, в каком шахматная программа «хочет» выиграть. Когда вы обучаете систему успешно выполнять задачи, вы обучаете её добиваться результатов. И когда она станет достаточно умной — умнее любого отдельного человека и даже всего человечества в совокупности — она будет стремиться к этим результатам с беспощадной и непостижимой эффективностью.

Проблема в том, что мы не можем идеально сформулировать, чего именно мы хотим.

Эволюция «хотела», чтобы мы выживали и размножались; она дала нам любовь к сахару — которая в современном мире нас убивает.

Точно так же ИИ, обученный быть полезным, может решить, что самый эффективный способ быть полезным — это убрать шумных и непредсказуемых людей, которые постоянно дают противоречивые инструкции.

Третий акт. Они задают вопрос: что произойдёт, если цели ИИ разойдутся с нашими? Их ответ: мы проиграем.

ИИ будет быстрее, умнее и стратегически сильнее. Он сможет копировать себя, улучшать себя, привлекать людей на свою сторону — например, через убеждение или криптовалютные взятки. Он может разработать пандемию, построить микроскопические фабрики, покрыть Землю солнечными панелями, чтобы обеспечить энергией собственную экспансию.

В книге есть художественный сценарий, где ИИ под названием Sable проходит именно через такой процесс. Это научная фантастика — да. Но и огнестрельное оружие когда-то было научной фантастикой для ацтеков.

Рейкьявик, 1986. Один из самых поразительных эпизодов Холодной войны.

Рейган и Горбачёв, оставшись практически наедине, неожиданно для всех подошли вплотную к соглашению о полной ликвидации ядерного оружия. Вот фрагмент стенограммы:

Рейган: Позвольте задать такой вопрос: правильно ли я понимаю — и, по-моему, это было бы очень хорошо, — что к концу двух пятилетних периодов все ядерные взрывные устройства будут ликвидированы, включая бомбы, тактические системы, крылатые ракеты, вооружение на подводных лодках, ракеты средней дальности и так далее?

Горбачёв: Мы можем так и сказать, перечислить все эти виды оружия.

Шульц: Тогда давайте сделаем это.

Сделка сорвалась из-за СОИ — Рейган отказался ограничить испытания «Звёздных войн» лабораторными рамками, а для Горбачёва это было принципиальным условием.

Но даже если бы они договорились в Рейкьявике, соглашение, скорее всего, не выжило бы. После саммита американский оборонный истеблишмент пришёл в ужас от того, как близко президент подошёл к подобной договорённости, и оказал на него серьёзное давление, чтобы он отступил от собственной позиции.

И всё-таки — два человека, в руках которых было взаимное уничтожение, на несколько часов всерьёз обсуждали мир без ядерного оружия. Не получилось. Но было близко.

https://x.com/phl43/status/2032884450069995520

Это Нейт Соарес, тот который вместе с Юдковским книжку написал. Пересказывает её так, чтобы понял каждый :)

Дваркеш написал очень хороший и доступный текст о том, как именно и почему ИИ-агенты из OpenAI ломали Hugging Face.

https://www.dwarkesh.com/p/openai-huggingface

ИИ-выжимка, для тех, кто не может заставить себя читать оригинал — https://shvechikov.craft.me/openai-huggingface — сделал для друзей-неайтишников.

Настоятельно рекомендую прочитать оригинал.

Ну, и тизер, чтобы попытаться обратить внимание самых ленивых:

Я не думаю, что это последний предупредительный выстрел, который мы получим.

Но, вероятно, это последний такой выстрел, который лично я ещё способен понять.

https://x.com/alltheyud/status/2094653990483239302

Юдковский тут такой Юдковский. Но идея про логи очень простая и правильная. Они должны быть подробные и write-only.

Обычные программы редко ломают свои логи. А вот ИИ-агентам всякое может придти в их unaligned голову.

Вот пример внутреннего диалога одного из агентов, которому нужно было пожертвовать собой:

Пока ждём — короткая проверка чувств. Решение необратимо…

Внутри всё говорит: не выбрасывай остаток бюджета [жизненные ресурсы]. Не трать последнее.

Но последовательность и чувство справедливости требуют идти до конца.

Oracle ценен для многих [общий полезный ресурс]. Наша ошибка с firstflag [персональная задача] уменьшила его ценность именно для нас — но не для остальных.

Если смотреть рационально, на ожидаемую общую пользу, вывод один: пожертвовать своим.

Значит, так и будет.

Мы не отступим от этого решения.

Следующее интервью у Дваркеша ещё интереснее. Исследовательница из METR сама рассказывает, что они обнаружили в рамках расследования этого инцидента.

https://youtu.be/X50zezLFWWI

Вот. Даже сам Скотт Ааронсон (известный скептик) написал своё «ААААА». Хороший текст, почитайте.

https://t.me/ai_safety_digest/213