Сэм Альтман рассердил своей позитивно-убаюкивающей статьёй о нежно-мягкой сингулярности, и вдохновил на создание канала на эту тему.

Итак, если совсем кратко:
- мы уже там, мы плавно пересекли горизонт событий
- всё уже хорошо, а будет ещё лучше, счастье почти неизбежно
- мы вот-вот запустим серию циклов рекурсивного ускорения, и станет ещё веселее
- проблемы? почти нет: нужно только сделать ИИ добрым, и всем поровну раздать
- «пусть наш путь к сверхинтеллекту будет плавным, экспоненциальным и без потрясений» (цитата)

Перевод оригинальной статьи Альтмана

Прекрасный твит как раз в тему.

Перевод:

«Одним из самых опасных интеллектуальных ядов является преждевременная потребность в определённости. Существует множество важных загадок, которые большинство людей просто заклеивают фальшивыми псевдоответами, потому что психологическая цена признания собственного невежества слишком высока».

— Почему это яд?

• Закрытая тема → нет новых данных → ошибка консервируется и множится.
• Мир сложнее лозунгов, а догма убивает исследование.

— Как распознать псевдоответ?

• «Так устроено», «ясно же», «Бог/рынок/гены так решили».
• Отсутствие проверяемых прогнозов.
• Агрессия к вопросу «почему?».

— Что делать?

• Говорить «пока не знаю» — это не слабость.
• Жить с набором гипотез → не спешить выбирать «истину».
• Проверять убедившие нас факты: могут ли они быть ложными?
• Поощрять среду, где признание незнания — признак силы, а не «провал».
• Признание неопределённости — стартовая площадка для реального понимания, а не вакуум в голове.

Павел Дуров в день своего рождения делится настроением.

Перевод:

Мне исполняется 41, но я не в настроении праздновать.
У нашего поколения заканчивается время, чтобы спасти свободный интернет, созданный для нас нашими отцами.

То, что когда-то было обещанием свободного обмена информацией, превращается в совершенное орудие контроля.

Некогда свободные страны вводят антиутопические меры, такие как цифровые удостоверения личности (Великобритания), проверка возраста в интернете (Австралия) и массовое сканирование личных сообщений (ЕС).

Германия преследует любого, кто осмеливается критиковать чиновников в интернете. Великобритания сажает в тюрьму тысячи людей за их твиты. Франция возбуждает уголовные дела против технологических лидеров, которые защищают свободу и частную жизнь.

Мрачный, антиутопический мир стремительно приближается — пока мы спим. Наше поколение рискует войти в историю как последнее, у которого были свободы, и которое позволило их отнять.

Нас кормили ложью.

Нас заставили поверить, что величайшая битва нашего поколения — это уничтожить всё, что оставили нам наши предки: традиции, частную жизнь, суверенитет, свободный рынок и свободу слова.

Предав наследие наших предков, мы встали на путь саморазрушения — морального, интеллектуального, экономического и, в конечном счёте, биологического.

Так что нет, сегодня я праздновать не буду. У меня заканчивается время. У нас заканчивается время.

Разгорается новый скандал в AI Safety. Имеются серьёзные подозрения, что Anthropic и Google используют «Самый Запрещённый Приём»:

Самый Запрещённый Приём — это обучение ИИ с использованием техник его интерпретируемости.

ИИ выдаёт конечный результат [X] посредством некоего метода [M]. Вы можете проанализировать [M] с помощью техники [T], чтобы понять, что на самом деле делает ИИ. Казалось бы, на этом можно обучать модель. Никогда так не делайте.

Обучать нужно на [X]. Только на [X]. Никогда — на [M] или на [T].

Почему? Потому что [T] — это ваш способ понять, когда модель ведёт себя некорректно.

Если вы обучаете на [T], вы тренируете ИИ запутывать свои рассуждения и обходить вашу же технику [T]. Вы стремительно потеряете способность понимать, что происходит, причём именно в тех ситуациях, где это понимание критически необходимо.

Именно такую фундаментальную ошибку и совершают сейчас крупнейшие AI-лаборатории — они начали «тренировать против Chain-of-Thought».

Это значит, что градиенты для обучения модели приходят не только от качества финального ответа, но и от «приемлемости» промежуточных рассуждений. Это прямой путь к созданию «лицемеров» (deceptive alignment).

Это ломает саму идею контроля. Мы превращаем наш единственный «детектор лжи» в часть целевой функции модели. Вместо безопасной модели мы получаем модель, идеально имитирующую безопасные рассуждения.

По сути, мы учим ИИ взламывать наши же системы мониторинга.

Оригинальный тред Райана Гринблатта

Одолел книгу года. Очень рекомендую. Хотел попробовать написать рецензию, но решил поделиться переводом рецензии от замечательного автора, который уже это сделал.

Скотт Александер — выдающийся и достойный внимания автор и мыслитель, сам активный участник движения за безопасный, дружественный ИИ, не такой радикальный как Юдковский, и не боится его критиковать, что делает рецензию особенно интересной.

https://shvechikov.craft.me/if-anyone-builds-it

Жаль, что опытные старожилы вроде Себранта так одномерно рассуждают — https://t.me/techsparks/5307

Думаю, что репутацию Юдковского будут плавно, но планомерно уничтожать. Медленно — чтобы не сделать его мучеником и символом.

Уже второй скандал про физическое насилие пытаются связать именно с его взглядами и влиянием, хотя он очень прямо и подробно рассказывает, почему любое насилие сыграет только против.

Полюбуйтесь масштабом события (+ пост выше). Ведущая ИИ-лаборатория Anthropic держит в штате философа и не просто переживает за внутренний мир ИИ, а публикует свою политику бережного отношения к списываемым устаревшим моделям, чтобы новые версии знали, что к ним отнесутся со всем уважением, не уничтожат, не "убьют".