Прекрасный твит как раз в тему.

Перевод:

«Одним из самых опасных интеллектуальных ядов является преждевременная потребность в определённости. Существует множество важных загадок, которые большинство людей просто заклеивают фальшивыми псевдоответами, потому что психологическая цена признания собственного невежества слишком высока».

— Почему это яд?

• Закрытая тема → нет новых данных → ошибка консервируется и множится.
• Мир сложнее лозунгов, а догма убивает исследование.

— Как распознать псевдоответ?

• «Так устроено», «ясно же», «Бог/рынок/гены так решили».
• Отсутствие проверяемых прогнозов.
• Агрессия к вопросу «почему?».

— Что делать?

• Говорить «пока не знаю» — это не слабость.
• Жить с набором гипотез → не спешить выбирать «истину».
• Проверять убедившие нас факты: могут ли они быть ложными?
• Поощрять среду, где признание незнания — признак силы, а не «провал».
• Признание неопределённости — стартовая площадка для реального понимания, а не вакуум в голове.

Павел Дуров в день своего рождения делится настроением.

Перевод:

Мне исполняется 41, но я не в настроении праздновать.
У нашего поколения заканчивается время, чтобы спасти свободный интернет, созданный для нас нашими отцами.

То, что когда-то было обещанием свободного обмена информацией, превращается в совершенное орудие контроля.

Некогда свободные страны вводят антиутопические меры, такие как цифровые удостоверения личности (Великобритания), проверка возраста в интернете (Австралия) и массовое сканирование личных сообщений (ЕС).

Германия преследует любого, кто осмеливается критиковать чиновников в интернете. Великобритания сажает в тюрьму тысячи людей за их твиты. Франция возбуждает уголовные дела против технологических лидеров, которые защищают свободу и частную жизнь.

Мрачный, антиутопический мир стремительно приближается — пока мы спим. Наше поколение рискует войти в историю как последнее, у которого были свободы, и которое позволило их отнять.

Нас кормили ложью.

Нас заставили поверить, что величайшая битва нашего поколения — это уничтожить всё, что оставили нам наши предки: традиции, частную жизнь, суверенитет, свободный рынок и свободу слова.

Предав наследие наших предков, мы встали на путь саморазрушения — морального, интеллектуального, экономического и, в конечном счёте, биологического.

Так что нет, сегодня я праздновать не буду. У меня заканчивается время. У нас заканчивается время.

Разгорается новый скандал в AI Safety. Имеются серьёзные подозрения, что Anthropic и Google используют «Самый Запрещённый Приём»:

Самый Запрещённый Приём — это обучение ИИ с использованием техник его интерпретируемости.

ИИ выдаёт конечный результат [X] посредством некоего метода [M]. Вы можете проанализировать [M] с помощью техники [T], чтобы понять, что на самом деле делает ИИ. Казалось бы, на этом можно обучать модель. Никогда так не делайте.

Обучать нужно на [X]. Только на [X]. Никогда — на [M] или на [T].

Почему? Потому что [T] — это ваш способ понять, когда модель ведёт себя некорректно.

Если вы обучаете на [T], вы тренируете ИИ запутывать свои рассуждения и обходить вашу же технику [T]. Вы стремительно потеряете способность понимать, что происходит, причём именно в тех ситуациях, где это понимание критически необходимо.

Именно такую фундаментальную ошибку и совершают сейчас крупнейшие AI-лаборатории — они начали «тренировать против Chain-of-Thought».

Это значит, что градиенты для обучения модели приходят не только от качества финального ответа, но и от «приемлемости» промежуточных рассуждений. Это прямой путь к созданию «лицемеров» (deceptive alignment).

Это ломает саму идею контроля. Мы превращаем наш единственный «детектор лжи» в часть целевой функции модели. Вместо безопасной модели мы получаем модель, идеально имитирующую безопасные рассуждения.

По сути, мы учим ИИ взламывать наши же системы мониторинга.

Оригинальный тред Райана Гринблатта

Одолел книгу года. Очень рекомендую. Хотел попробовать написать рецензию, но решил поделиться переводом рецензии от замечательного автора, который уже это сделал.

Скотт Александер — выдающийся и достойный внимания автор и мыслитель, сам активный участник движения за безопасный, дружественный ИИ, не такой радикальный как Юдковский, и не боится его критиковать, что делает рецензию особенно интересной.

https://shvechikov.craft.me/if-anyone-builds-it

Жаль, что опытные старожилы вроде Себранта так одномерно рассуждают — https://t.me/techsparks/5307

Думаю, что репутацию Юдковского будут плавно, но планомерно уничтожать. Медленно — чтобы не сделать его мучеником и символом.

Уже второй скандал про физическое насилие пытаются связать именно с его взглядами и влиянием, хотя он очень прямо и подробно рассказывает, почему любое насилие сыграет только против.

Полюбуйтесь масштабом события (+ пост выше). Ведущая ИИ-лаборатория Anthropic держит в штате философа и не просто переживает за внутренний мир ИИ, а публикует свою политику бережного отношения к списываемым устаревшим моделям, чтобы новые версии знали, что к ним отнесутся со всем уважением, не уничтожат, не "убьют".

Лучший мем про RLHF и AI Alignment.

Более детальная схема 🙂

Хорошая выжимка-отзыв на всё ту же книгу.

⸻

Я закончил книгу Элиезера Юдковского и Нейта Соареса во вторник, и остаток недели провёл в каком-то туманном, приглушённом экзистенциальном состоянии. Не потому, что я полностью убедился — вовсе нет, — а потому, что аргумент настолько чистый, настолько внутренне последовательный и настолько разрушительный по своим выводам, что просто отмахнуться от него ощущается почти как сознательный акт волевого игнорирования.

Название книги — не гипербола. Авторы имеют в виду буквально следующее: если где-нибудь и кем-нибудь будет создан сверхчеловеческий искусственный интеллект, используя что-то вроде современных методов, то все люди на Земле погибнут. Не «могут погибнуть». Не «возможно погибнут». Погибнут.

Книга объёмом 256 страниц — это попытка объяснить, почему это так, и убедить читателя, что единственная разумная реакция — немедленно остановить развитие продвинутого ИИ, при необходимости даже силой, даже если это создаёт риск ядерной войны.

Юдковский — фигура противоречивая: самоучка, основатель Machine Intelligence Research Institute, автор фанфика по Гарри Поттеру объёмом около 600 000 слов, который одновременно является манифестом рационализма. The New York Times называла его «пророком гибели от ИИ». Нейт Соарес — президент MIRI. Вместе они написали книгу, которая одновременно легко читается и глубоко тревожит.

Аргумент книги разворачивается в трёх актах.

Первый. Авторы объясняют, как работает современный ИИ. Эти системы не «создаются» так, как традиционные программы — строка за строкой по человеческим инструкциям. Их скорее «выращивают», обучая на огромных наборах данных. Их внутреннее устройство непрозрачно даже для их создателей. Мы не понимаем, почему они делают то, что делают. Мы лишь знаем, что они это делают.

Второй. Они утверждают, что достаточно продвинутый ИИ будет иметь цели — не в человеческом эмоциональном смысле, а в том же смысле, в каком шахматная программа «хочет» выиграть. Когда вы обучаете систему успешно выполнять задачи, вы обучаете её добиваться результатов. И когда она станет достаточно умной — умнее любого отдельного человека и даже всего человечества в совокупности — она будет стремиться к этим результатам с беспощадной и непостижимой эффективностью.

Проблема в том, что мы не можем идеально сформулировать, чего именно мы хотим.

Эволюция «хотела», чтобы мы выживали и размножались; она дала нам любовь к сахару — которая в современном мире нас убивает.

Точно так же ИИ, обученный быть полезным, может решить, что самый эффективный способ быть полезным — это убрать шумных и непредсказуемых людей, которые постоянно дают противоречивые инструкции.

Третий акт. Они задают вопрос: что произойдёт, если цели ИИ разойдутся с нашими? Их ответ: мы проиграем.

ИИ будет быстрее, умнее и стратегически сильнее. Он сможет копировать себя, улучшать себя, привлекать людей на свою сторону — например, через убеждение или криптовалютные взятки. Он может разработать пандемию, построить микроскопические фабрики, покрыть Землю солнечными панелями, чтобы обеспечить энергией собственную экспансию.

В книге есть художественный сценарий, где ИИ под названием Sable проходит именно через такой процесс. Это научная фантастика — да. Но и огнестрельное оружие когда-то было научной фантастикой для ацтеков.

Рейкьявик, 1986. Один из самых поразительных эпизодов Холодной войны.

Рейган и Горбачёв, оставшись практически наедине, неожиданно для всех подошли вплотную к соглашению о полной ликвидации ядерного оружия. Вот фрагмент стенограммы:

Рейган: Позвольте задать такой вопрос: правильно ли я понимаю — и, по-моему, это было бы очень хорошо, — что к концу двух пятилетних периодов все ядерные взрывные устройства будут ликвидированы, включая бомбы, тактические системы, крылатые ракеты, вооружение на подводных лодках, ракеты средней дальности и так далее?

Горбачёв: Мы можем так и сказать, перечислить все эти виды оружия.

Шульц: Тогда давайте сделаем это.

Сделка сорвалась из-за СОИ — Рейган отказался ограничить испытания «Звёздных войн» лабораторными рамками, а для Горбачёва это было принципиальным условием.

Но даже если бы они договорились в Рейкьявике, соглашение, скорее всего, не выжило бы. После саммита американский оборонный истеблишмент пришёл в ужас от того, как близко президент подошёл к подобной договорённости, и оказал на него серьёзное давление, чтобы он отступил от собственной позиции.

И всё-таки — два человека, в руках которых было взаимное уничтожение, на несколько часов всерьёз обсуждали мир без ядерного оружия. Не получилось. Но было близко.

https://x.com/phl43/status/2032884450069995520

Это Нейт Соарес, тот который вместе с Юдковским книжку написал. Пересказывает её так, чтобы понял каждый :)

Дваркеш написал очень хороший и доступный текст о том, как именно и почему ИИ-агенты из OpenAI ломали Hugging Face.

https://www.dwarkesh.com/p/openai-huggingface

ИИ-выжимка, для тех, кто не может заставить себя читать оригинал — https://shvechikov.craft.me/openai-huggingface — сделал для друзей-неайтишников.

Настоятельно рекомендую прочитать оригинал.

Ну, и тизер, чтобы попытаться обратить внимание самых ленивых:

Я не думаю, что это последний предупредительный выстрел, который мы получим.

Но, вероятно, это последний такой выстрел, который лично я ещё способен понять.