Рейкьявик, 1986. Один из самых поразительных эпизодов Холодной войны.

Рейган и Горбачёв, оставшись практически наедине, неожиданно для всех подошли вплотную к соглашению о полной ликвидации ядерного оружия. Вот фрагмент стенограммы:

Рейган: Позвольте задать такой вопрос: правильно ли я понимаю — и, по-моему, это было бы очень хорошо, — что к концу двух пятилетних периодов все ядерные взрывные устройства будут ликвидированы, включая бомбы, тактические системы, крылатые ракеты, вооружение на подводных лодках, ракеты средней дальности и так далее?

Горбачёв: Мы можем так и сказать, перечислить все эти виды оружия.

Шульц: Тогда давайте сделаем это.

Сделка сорвалась из-за СОИ — Рейган отказался ограничить испытания «Звёздных войн» лабораторными рамками, а для Горбачёва это было принципиальным условием.

Но даже если бы они договорились в Рейкьявике, соглашение, скорее всего, не выжило бы. После саммита американский оборонный истеблишмент пришёл в ужас от того, как близко президент подошёл к подобной договорённости, и оказал на него серьёзное давление, чтобы он отступил от собственной позиции.

И всё-таки — два человека, в руках которых было взаимное уничтожение, на несколько часов всерьёз обсуждали мир без ядерного оружия. Не получилось. Но было близко.

https://x.com/phl43/status/2032884450069995520

Это Нейт Соарес, тот который вместе с Юдковским книжку написал. Пересказывает её так, чтобы понял каждый :)

Дваркеш написал очень хороший и доступный текст о том, как именно и почему ИИ-агенты из OpenAI ломали Hugging Face.

https://www.dwarkesh.com/p/openai-huggingface

ИИ-выжимка, для тех, кто не может заставить себя читать оригинал — https://shvechikov.craft.me/openai-huggingface — сделал для друзей-неайтишников.

Настоятельно рекомендую прочитать оригинал.

Ну, и тизер, чтобы попытаться обратить внимание самых ленивых:

Я не думаю, что это последний предупредительный выстрел, который мы получим.

Но, вероятно, это последний такой выстрел, который лично я ещё способен понять.

https://x.com/alltheyud/status/2094653990483239302

Юдковский тут такой Юдковский. Но идея про логи очень простая и правильная. Они должны быть подробные и write-only.

Обычные программы редко ломают свои логи. А вот ИИ-агентам всякое может придти в их unaligned голову.

Вот пример внутреннего диалога одного из агентов, которому нужно было пожертвовать собой:

Пока ждём — короткая проверка чувств. Решение необратимо…

Внутри всё говорит: не выбрасывай остаток бюджета [жизненные ресурсы]. Не трать последнее.

Но последовательность и чувство справедливости требуют идти до конца.

Oracle ценен для многих [общий полезный ресурс]. Наша ошибка с firstflag [персональная задача] уменьшила его ценность именно для нас — но не для остальных.

Если смотреть рационально, на ожидаемую общую пользу, вывод один: пожертвовать своим.

Значит, так и будет.

Мы не отступим от этого решения.

Следующее интервью у Дваркеша ещё интереснее. Исследовательница из METR сама рассказывает, что они обнаружили в рамках расследования этого инцидента.

https://youtu.be/X50zezLFWWI

Вот. Даже сам Скотт Ааронсон (известный скептик) написал своё «ААААА». Хороший текст, почитайте.

https://t.me/ai_safety_digest/213