Forwarded from Andrey
8. Пока я примеривался делать это (уже имея некоторый внутренний конфликт, но "поверь в меня, того, кто верит в тебя") и писал минимальное объяснение, куда пропали сообщения и почему, в треде уже появился запрос на что-то подобное, но не футбол, а затем - ссылка на биржу предсказаний от Славы. Необходимость удалять тред, в котором отметился примарх, ещё сильнее усилила внутренний конфликт и сильнее пошатнула мою уверенность в полезности моих действий. Но поскольку у меня были шестерёнки, почему делать то, что я делаю, скорее полезно; а равно шестерёнки, почему те шестерёнки могут быть неочевидными, то я решил, что в данном случае аргумент затмевает авторитет. При этом необходимость побыстрее удалить имеющиеся сообщения, пока их немного, и перезапуска треда в более очищенной форме, создавали цейтнот - не было времени искать идеальное решение (несмотря на мой перфекционизм) и кракситься по поводу оптимальности подхода. Так что я решил, что приемлемое решение сейчас лучше, чем идеальное решение никогда (по мере роста треда удалить его в его текущем виде будет всё труднее). К тому же, если я знаю, что в будущем я всё равно решусь на удаление (а я был сильно в этом уверен), то можно не тратить время и удалить тред уже сейчас. И удалил.
9. Позже в мета-чате был предложен менее брутальный и примерно столь же хороший вариант: просить автора поста в определенные сроки отредактировать этот пост нужным образом. Я сапдейтился на будущее, но контрфактических сожалений о том, что я не догадался об этом раньше, решил не испытывать: в условиях цейтнота я справился довольно неплохо по своим меркам, и применил ментальные стратегии, которые достаточно выигрышные.
10. Позже я решил написать данный пост, т.к. это, с одной стороны, поможет сделать общим знанием соображения относительно того, какое влияние форма сообщений оказывает на сообщество в целом; с другой - это, по-моему, довольно хороший пример применения разных подходов эпистемической и инструментальной рациональности на практике.
9. Позже в мета-чате был предложен менее брутальный и примерно столь же хороший вариант: просить автора поста в определенные сроки отредактировать этот пост нужным образом. Я сапдейтился на будущее, но контрфактических сожалений о том, что я не догадался об этом раньше, решил не испытывать: в условиях цейтнота я справился довольно неплохо по своим меркам, и применил ментальные стратегии, которые достаточно выигрышные.
10. Позже я решил написать данный пост, т.к. это, с одной стороны, поможет сделать общим знанием соображения относительно того, какое влияние форма сообщений оказывает на сообщество в целом; с другой - это, по-моему, довольно хороший пример применения разных подходов эпистемической и инструментальной рациональности на практике.
LessWrong на русском
Пацифизм губит ухоженные сады
Основная причина гибели хороших интернет-сообществ — отказ от самозащиты.
#математика #теория_игр #охота_на_оленя
Часто бывает так, что группе людей нужно объединить усилия для того, чтобы достичь какого-то большого блага. Но из-за проблем с коммуникацией они (по-своему весьма разумно) отказываются верить в, казалось бы, очевидное; и в итоге понятный и явно полезный проект оказывается с треском провален.
Такое, на первый взгляд, парадоксальное поведение описывается теоретико-игровой ситуацией "охота на оленя". В сегодняшнем посте я дам ей общее описание и сравню с такими известными в рацио-среде ситуациями, как дилемма заключённого и Молох.
Как охота на оленя выглядит в реальной жизни (и на ровном месте руинит перспективные начинания), а также что можно сделать, чтобы не попасть в эту ловушку - предмет следующих постов из этой серии.
https://telegra.ph/Ohota-na-olenya---paradoksalnoe-izbeganie-vzaimovygodnogo-sotrudnichestva-06-27
Часто бывает так, что группе людей нужно объединить усилия для того, чтобы достичь какого-то большого блага. Но из-за проблем с коммуникацией они (по-своему весьма разумно) отказываются верить в, казалось бы, очевидное; и в итоге понятный и явно полезный проект оказывается с треском провален.
Такое, на первый взгляд, парадоксальное поведение описывается теоретико-игровой ситуацией "охота на оленя". В сегодняшнем посте я дам ей общее описание и сравню с такими известными в рацио-среде ситуациями, как дилемма заключённого и Молох.
Как охота на оленя выглядит в реальной жизни (и на ровном месте руинит перспективные начинания), а также что можно сделать, чтобы не попасть в эту ловушку - предмет следующих постов из этой серии.
https://telegra.ph/Ohota-na-olenya---paradoksalnoe-izbeganie-vzaimovygodnogo-sotrudnichestva-06-27
Telegraph
Охота на оленя - парадоксальное избегание взаимовыгодного сотрудничества
Почему смешарики никак не могут собраться репетировать кордебалет? Почему мировые державы никак не могут ратифицировать какой-нибудь договор, который принесет пользу вообще всем? Почему среднестатистический обыватель никак не может начать бегать по утрам?…
#теория_игр #охота_на_оленя
Охота на оленя - довольно интересная теоретико-игровая ситуация. Но как часто люди в реальной жизни проваливают кооперацию именно по этому сценарию?
Во втором посте из этой цепочки я опишу признаки, по которым можно опознать охоту на оленя в повседневности и приведу несколько конкретных жизненных примеров такой ситуации.
https://telegra.ph/Poleznye-privychki-i-proekty-po-spaseniyu-mira---ehto-ohota-na-olenya-07-03
Охота на оленя - довольно интересная теоретико-игровая ситуация. Но как часто люди в реальной жизни проваливают кооперацию именно по этому сценарию?
Во втором посте из этой цепочки я опишу признаки, по которым можно опознать охоту на оленя в повседневности и приведу несколько конкретных жизненных примеров такой ситуации.
https://telegra.ph/Poleznye-privychki-i-proekty-po-spaseniyu-mira---ehto-ohota-na-olenya-07-03
Telegraph
Полезные привычки и проекты по спасению мира - это охота на оленя
В предыдущей статье мы рассмотрели охоту на оленя как кооперативную теоретико-игровую ситуацию (в которой, увы, пресловутая кооперация случается далеко не так часто, как хотелось бы). Конечно, с математической и общефилософской точки зрения изучать перипетии…
#математика #теория_игр #охота_на_оленя
Продолжая цепочку про охоту на оленя, я описываю два базовых архетипа стратегии этой игры, которых можно встретить в реальной жизни - Белого и Чёрного рыцарей.
Для более сложных (и более близких к повседневности) вариаций охоты на оленя мы также выведем хорошие стратегии, аналогичные стратегиям для похожих вариаций дилеммы заключённого.
https://telegra.ph/Arhetipy-strategij-ohoty-na-olenya-07-13
Продолжая цепочку про охоту на оленя, я описываю два базовых архетипа стратегии этой игры, которых можно встретить в реальной жизни - Белого и Чёрного рыцарей.
Для более сложных (и более близких к повседневности) вариаций охоты на оленя мы также выведем хорошие стратегии, аналогичные стратегиям для похожих вариаций дилеммы заключённого.
https://telegra.ph/Arhetipy-strategij-ohoty-na-olenya-07-13
Telegraph
Архетипы стратегий охоты на оленя
В предыдущих статьях мы описали охоту на оленя с точки зрения теории игр, а также рассмотрели примеры того, как она выглядит в кооперативной деятельности в реальной жизни. Сегодня снова вернемся к теории игр (держа, однако, в голове, что нас в первую очередь…
#прикладная_рациональность #планирование
Когда мы планируем сделать что-то нетривиальное, то наши планы часто на поверку оказываются вовсе не настолько хороши, насколько нам кажется. Следование плану, который кажется нам хорошим, но на самом деле плох - известная проблема.
Но часто всё оказывается ещё хуже: мы отчётливо понимаем, что наш план просто отвратителен, но всё равно ему следуем. Сегодняшняя статья посвящена тому, из-за чего так случается, и какой подход к этой проблеме я недавно нашёл.
P.S. Хотя задержки публикации новой статьи из цепочки "охота на оленя" не вызваны какими-то очевидно плохими планами, но прочитав сегодняшнюю статью вы кое-что узнаете о настоящих причинах.
https://telegra.ph/Ne-derzhites-za-plohoj-plan-08-23
Когда мы планируем сделать что-то нетривиальное, то наши планы часто на поверку оказываются вовсе не настолько хороши, насколько нам кажется. Следование плану, который кажется нам хорошим, но на самом деле плох - известная проблема.
Но часто всё оказывается ещё хуже: мы отчётливо понимаем, что наш план просто отвратителен, но всё равно ему следуем. Сегодняшняя статья посвящена тому, из-за чего так случается, и какой подход к этой проблеме я недавно нашёл.
P.S. Хотя задержки публикации новой статьи из цепочки "охота на оленя" не вызваны какими-то очевидно плохими планами, но прочитав сегодняшнюю статью вы кое-что узнаете о настоящих причинах.
https://telegra.ph/Ne-derzhites-za-plohoj-plan-08-23
Telegraph
Не держитесь за плохой план
Бывают ли у вас ситуации, когда вы понимаете, что трех дней на подготовку к экзаменам вам никогда не хватало, но вы все равно пытаетесь уложиться? Или когда вы сомневаетесь, что пройдете этот онлайн-курс, но считаете, что нужно хотя бы попробовать? Или когда…
#теория_игр #охота_на_оленя
Ранее в этой цепочке мы рассмотрели Охоту на оленя как теоретико-игровую ситуацию, и даже кое-какие около-математические стратегии для неё.
Сегодня мы разберём первую группу мета-стратегий, которые позволят изменить само игровое поле таким образом, чтобы игрокам было более выгодно кооперировать, чем в изначальных условиях. Это позволит преодолеть (хотя бы частично) проклятье "выбор Шеллинга - это кролик".
NB. Статья физически не уместилась в одну часть, поэтому пришлось разбить её на две.
Часть 1: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-09-04
Часть 2: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-ch2-09-04
Ранее в этой цепочке мы рассмотрели Охоту на оленя как теоретико-игровую ситуацию, и даже кое-какие около-математические стратегии для неё.
Сегодня мы разберём первую группу мета-стратегий, которые позволят изменить само игровое поле таким образом, чтобы игрокам было более выгодно кооперировать, чем в изначальных условиях. Это позволит преодолеть (хотя бы частично) проклятье "выбор Шеллинга - это кролик".
NB. Статья физически не уместилась в одну часть, поэтому пришлось разбить её на две.
Часть 1: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-09-04
Часть 2: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-ch2-09-04
Telegraph
Стратегии охоты на оленя для Белого рыцаря
Ранее мы рассмотрели кооперативную игру “Охота на оленя” и подробно разобрали главный парадокс такой ситуации: несмотря на то, что наиболее выгодным для всех участников игры было бы всем вместе пойти на оленя, из-за совокупности факторов они часто предпочитают…
#теория_игр #охота_на_оленя
В сегодняшнем посте я завершаю основное содержание цепочки про охоту на оленя как кооперативную игру. В прошлый раз мы рассмотрели три мета-стратегии "как преодолеть сомнения других людей и всем вместе достичь наилучшего результата"; сегодня на очереди - ещё четыре (самые, на мой взгляд, интересные).
NB. Статья вновь физически не уместилась в одну часть, так что я опять разбил её на две.
https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-09-18
https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-ch2-09-18
В сегодняшнем посте я завершаю основное содержание цепочки про охоту на оленя как кооперативную игру. В прошлый раз мы рассмотрели три мета-стратегии "как преодолеть сомнения других людей и всем вместе достичь наилучшего результата"; сегодня на очереди - ещё четыре (самые, на мой взгляд, интересные).
NB. Статья вновь физически не уместилась в одну часть, так что я опять разбил её на две.
https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-09-18
https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-ch2-09-18
Telegraph
Стратегии охоты на оленя для Черного рыцаря, ч.1
Как начать чаще “побеждать” в кооперационной игре “охота на оленя” (а лучше - в реальных жизненных ситуациях, которые к ней сводятся), даже если твои компаньоны изначально настроены на “проигрыш” (или, точнее, малый выигрыш)? В прошлой статье (разбитой на…
#охота_на_оленя #ai_alignment #ai_safety
В качестве послесловия к цепочке про охоту на оленя - статья по мотивам моего рассказа на Летнем Солнцестоянии 2022.
Действовать во благо проекта по безопасности ИИ на самом деле могут очень многие. Если бы все, кто верили, что это нужно, так бы и поступили, то шансы всего проекта на успех значительно бы возросли. Однако по факту очень мало кто это делает на самом деле.
Первый вариант был бы предпочтителен для всех; второй - явно разочаровывает всех. И при этом большинство людей парадоксальным образом работает на то, чтобы реализовался наименее привлекательный для них вариант.
В этой статье я привожу краткий пересказ материала цепочки в разрезе конкретно проблемы проектов по AI Safety: почему выбор Шеллинга отдаляет такие проекты от реализации, и что можно сделать, чтобы хотя бы частично нивелировать этот эффект.
https://telegra.ph/Proekty-po-AI-Safety-kak-ohota-na-olenya-09-20
В качестве послесловия к цепочке про охоту на оленя - статья по мотивам моего рассказа на Летнем Солнцестоянии 2022.
Действовать во благо проекта по безопасности ИИ на самом деле могут очень многие. Если бы все, кто верили, что это нужно, так бы и поступили, то шансы всего проекта на успех значительно бы возросли. Однако по факту очень мало кто это делает на самом деле.
Первый вариант был бы предпочтителен для всех; второй - явно разочаровывает всех. И при этом большинство людей парадоксальным образом работает на то, чтобы реализовался наименее привлекательный для них вариант.
В этой статье я привожу краткий пересказ материала цепочки в разрезе конкретно проблемы проектов по AI Safety: почему выбор Шеллинга отдаляет такие проекты от реализации, и что можно сделать, чтобы хотя бы частично нивелировать этот эффект.
https://telegra.ph/Proekty-po-AI-Safety-kak-ohota-na-olenya-09-20
Telegraph
Проекты по AI Safety как охота на оленя
Довольно много людей (как минимум, многие из тех, кто так или иначе связан с сообществом LessWrong) верит, что сильный искусственный интеллект (AGI) - каким бы он ни оказался - создадут довольно скоро; что он будет чрезвычайно влиятельным; сам по себе он…
#миниатюры #эпистемология
Немного о том, почему ещё рационалисты не настолько хороши, насколько хотелось.
Казалось бы, рациональность - это про то, чтобы найти изъяны в своём мышлении, исправить их, и стать "менее неправыми". Почему же тогда даже опытные рационалисты, которые целенаправленно улучшают свои алгоритмы мышления, то и дело садятся в лужу и совершают "детские" ошибки как в эпистемологии, так и в делании дел (тезис о том, что так действительно происходит, оставлю пока без доказательства, но я и на своём примере это вижу нередко)?
Причин тому множество; сегодня мне в голову пришла ещё одна.
Дело в том, что человеческий мозг - не алгоритм, написанный на императивном языке программирования идеальными программистами (которых и в природе-то не существует). В идеальном коде конкретный паттерн мышления был бы представлен единственной функцией, которую бы по мере необходимости вызывали бы в других местах. И исправление бага в этой функции автоматически избавило бы от его влияния все когнитивные процессы в мозгу.
Но в реальном человеческом мышлении нет одной-единственной ошибки планирования - там есть десятки и сотни ошибок планирования, разбросанных по всему мозгу. Это - результат конвергентной эволюции: в "сходных в чём-то" условиях в сознании формируются "сходные в чём-то" паттерны поведения. Если вы исправили ошибку планирования при оценке времени выполнения рабочих задач, вы так просто не избавитесь от ошибки планирования при оценке времени прибытия на встречу или при выборе паттерна отхода ко сну. Скорее всего, каждую из них придётся исправлять отдельно - а до тех пор нельзя считать, что ошибка планирования побеждена.
Можно ли сделать лучше (пусть не идеально, но хотя бы less wrong)? Пожалуй да.
Базовой стратегией улучшения себя как рационалиста (параллельно с изучением теории, чтобы не набивать все шишки самостоятельно) я считаю регулярный ретроспективный анализ своего мышления: какие мои ментальные процессы привели к хорошим или плохим результатам, и стоит ли что-то в них улучшить? Знание тех же когнитивных искажений помогает проще распознавать знакомые паттерны и понимать последствия их работы и возможные стандартные способы их улучшения.
И вот что может быть полезно добавить к этому подходу. Например, стараться обобщить знакомые паттерны до более высоких уровней абстракции: если я плохо оценил время на выполнение рабочей задачи, то может быть я плохо оцениваю время и в других ситуациях? Или может быть я и вовсе плохо делаю прогнозы? А не допускаю ли я [того конкретного выверта мышления, который привел к ошибке планирования относительно рабочей задачи] к предсказаниям вообще? А давайте-ка я понаблюдаю за собой в подобных ситуациях, держа где-то в фоне этот более абстрактный паттерн! Может быть, в тех ситуациях, когда мне кажется, что я не допускаю никаких ошибок, и у меня всё хорошо, на самом деле я косячу по-чёрному?
Конечно, чтобы такой подход принес пользу, должно быть выполнено множество других условий. Но также нужно помнить, что наше мышление одинаковым образом несовершенно во множестве областей сразу; и знания о подобных типах несовершенства и даже успешного их исправления в нескольких местах - вовсе недостаточно для полного избавления от них.
Немного о том, почему ещё рационалисты не настолько хороши, насколько хотелось.
Казалось бы, рациональность - это про то, чтобы найти изъяны в своём мышлении, исправить их, и стать "менее неправыми". Почему же тогда даже опытные рационалисты, которые целенаправленно улучшают свои алгоритмы мышления, то и дело садятся в лужу и совершают "детские" ошибки как в эпистемологии, так и в делании дел (тезис о том, что так действительно происходит, оставлю пока без доказательства, но я и на своём примере это вижу нередко)?
Причин тому множество; сегодня мне в голову пришла ещё одна.
Дело в том, что человеческий мозг - не алгоритм, написанный на императивном языке программирования идеальными программистами (которых и в природе-то не существует). В идеальном коде конкретный паттерн мышления был бы представлен единственной функцией, которую бы по мере необходимости вызывали бы в других местах. И исправление бага в этой функции автоматически избавило бы от его влияния все когнитивные процессы в мозгу.
Но в реальном человеческом мышлении нет одной-единственной ошибки планирования - там есть десятки и сотни ошибок планирования, разбросанных по всему мозгу. Это - результат конвергентной эволюции: в "сходных в чём-то" условиях в сознании формируются "сходные в чём-то" паттерны поведения. Если вы исправили ошибку планирования при оценке времени выполнения рабочих задач, вы так просто не избавитесь от ошибки планирования при оценке времени прибытия на встречу или при выборе паттерна отхода ко сну. Скорее всего, каждую из них придётся исправлять отдельно - а до тех пор нельзя считать, что ошибка планирования побеждена.
Можно ли сделать лучше (пусть не идеально, но хотя бы less wrong)? Пожалуй да.
Базовой стратегией улучшения себя как рационалиста (параллельно с изучением теории, чтобы не набивать все шишки самостоятельно) я считаю регулярный ретроспективный анализ своего мышления: какие мои ментальные процессы привели к хорошим или плохим результатам, и стоит ли что-то в них улучшить? Знание тех же когнитивных искажений помогает проще распознавать знакомые паттерны и понимать последствия их работы и возможные стандартные способы их улучшения.
И вот что может быть полезно добавить к этому подходу. Например, стараться обобщить знакомые паттерны до более высоких уровней абстракции: если я плохо оценил время на выполнение рабочей задачи, то может быть я плохо оцениваю время и в других ситуациях? Или может быть я и вовсе плохо делаю прогнозы? А не допускаю ли я [того конкретного выверта мышления, который привел к ошибке планирования относительно рабочей задачи] к предсказаниям вообще? А давайте-ка я понаблюдаю за собой в подобных ситуациях, держа где-то в фоне этот более абстрактный паттерн! Может быть, в тех ситуациях, когда мне кажется, что я не допускаю никаких ошибок, и у меня всё хорошо, на самом деле я косячу по-чёрному?
Конечно, чтобы такой подход принес пользу, должно быть выполнено множество других условий. Но также нужно помнить, что наше мышление одинаковым образом несовершенно во множестве областей сразу; и знания о подобных типах несовершенства и даже успешного их исправления в нескольких местах - вовсе недостаточно для полного избавления от них.
Wikipedia
Конвергентная эволюция
эволюционный процесс, при котором возникает сходство между организмами различных систематических групп, обитающих в сходных условиях
#математика #теорема_Ауманна
По мотивам прошедшего вчера праздника трешовой математики (под названием "День X-игрек") мне захотелось ещё раз рассказать про теорему Ауманна.
Про теорему Гёделя уже есть объяснения "о наболевшем" с развенчанием основных мифов о том, что она якобы утверждает. Так что сегодня я добавлю и "развенчание мифов о теореме Ауманна для гуманитариев".
https://telegra.ph/CHto-govorit-i-chego-ne-govorit-teorema-Aumanna-10-30
По мотивам прошедшего вчера праздника трешовой математики (под названием "День X-игрек") мне захотелось ещё раз рассказать про теорему Ауманна.
Про теорему Гёделя уже есть объяснения "о наболевшем" с развенчанием основных мифов о том, что она якобы утверждает. Так что сегодня я добавлю и "развенчание мифов о теореме Ауманна для гуманитариев".
https://telegra.ph/CHto-govorit-i-chego-ne-govorit-teorema-Aumanna-10-30
Telegraph
Что говорит, и чего не говорит теорема Ауманна
Помните, я ранее рассказывал про теорему Ауманна в двух частях? Первая была "рукомахательная для гуманитариев", вторая была "зубодробительная для математиков". Проблема была только в том, что когда я писал первую, я все еще не до конца понимал ТА, и потому…
#проект #рацио_форум
Последнюю пару недель я работал над созданием в телеграме форума про рациональность, и сегодня наконец открыл его!
Недавно в тг появился функционал тем, и это обещает быть удобной возможностью для того, чтобы обсуждать параллельно несколько разных вещей в рамках одного чата/форума/группы.
При этом у меня есть идеи (все они изложены в гайде по форуму) о том, как сделать это место тем самым "ухоженным садом", где будет процветать хорошая эпистемология и качественные обсуждения; и наброски идей, как организовать в его рамках нетворкинг для знакомства с крутыми людьми и создания не менее крутых совместных проектов.
С нетерпением жду, чтобы узнать, что в итоге изо всего этого выйдет.
Последнюю пару недель я работал над созданием в телеграме форума про рациональность, и сегодня наконец открыл его!
Недавно в тг появился функционал тем, и это обещает быть удобной возможностью для того, чтобы обсуждать параллельно несколько разных вещей в рамках одного чата/форума/группы.
При этом у меня есть идеи (все они изложены в гайде по форуму) о том, как сделать это место тем самым "ухоженным садом", где будет процветать хорошая эпистемология и качественные обсуждения; и наброски идей, как организовать в его рамках нетворкинг для знакомства с крутыми людьми и создания не менее крутых совместных проектов.
С нетерпением жду, чтобы узнать, что в итоге изо всего этого выйдет.
Telegram
Байесов сад
Это форум для обсуждения рациональности и смежных тем. Подробнее см. в теме "Правила и гайд по форуму"
#математика #системы
Ученые доказали: стать лучше можно только через боль!
А если без кликбейта, то в сегодняшней статье я пересказываю некоторые математические выводы о том, как устроен процесс улучшения какой угодно системы (от мелких привычек одного человека до мировой экономики): какие сложности во время него происходят в силу самой природы перестройки систем, как они меняются с течением времени, и чуть-чуть о том, как можно сделать процесс менее болезненным.
https://telegra.ph/Naskolko-slozhno-menyatsya-01-04
Ученые доказали: стать лучше можно только через боль!
А если без кликбейта, то в сегодняшней статье я пересказываю некоторые математические выводы о том, как устроен процесс улучшения какой угодно системы (от мелких привычек одного человека до мировой экономики): какие сложности во время него происходят в силу самой природы перестройки систем, как они меняются с течением времени, и чуть-чуть о том, как можно сделать процесс менее болезненным.
https://telegra.ph/Naskolko-slozhno-menyatsya-01-04
Telegraph
Насколько сложно менять(ся)
Если в вашей жизни есть что-то недостаточно хорошее, что вы хотели бы изменить, то скорее всего вы не сможете просто взять и заменить одно на другое. Причин этому может быть много, но сегодня мы рассмотрим не столько возникающие сложности и способы их преодоления…
#база_рациональности
В очередной раз зададимся вопросом: что нужно делать, чтобы стать хорошим рационалистом и на самом деле систематически выигрывать в реальной жизни? Сегодня я формулирую ответ так: перво-наперво нужно как следует освоить самую базу. Почему это так, что будет базой рациональности, и как ее осваивать - я пытаюсь описать в этой статье.
https://telegra.ph/Baza-racionalnosti-02-05
В очередной раз зададимся вопросом: что нужно делать, чтобы стать хорошим рационалистом и на самом деле систематически выигрывать в реальной жизни? Сегодня я формулирую ответ так: перво-наперво нужно как следует освоить самую базу. Почему это так, что будет базой рациональности, и как ее осваивать - я пытаюсь описать в этой статье.
https://telegra.ph/Baza-racionalnosti-02-05
Telegraph
База рациональности
Действительно ли рационалисты так уж хороши в систематическом выигрывании, как это должно быть, согласно определению рациональности? Есть ощущение, что не настолько. Кажется, от изучения и освоения разных подходов, описанных Юдковским и другими авторами,…
#мемы
Омега, сверхразумное и заслуживающее доверия существо, появилось перед вами вместе с двумя коробками, и предложило вам следующую игру.
В прозрачной коробке находится вагонетка, а в непрозрачной - либо ничего, либо недружественный сверхразумный искусственный интеллект. Вы должны открыть либо только непрозрачную коробку, либо обе. Если вы откроете обе коробки, то вагонетка вырвется на свободу из прозрачной коробки и переедет пять человек.
Омега заранее предсказал, откроете ли вы одну коробку или две. Если он предсказал, что вы откроете обе, то в непрозрачной коробке будет пусто. Если он предсказал, что вы откроете только одну, то в ней будет заперт недружественный сверхразумный ИИ.
Сколько коробок вы откроете?
Омега, сверхразумное и заслуживающее доверия существо, появилось перед вами вместе с двумя коробками, и предложило вам следующую игру.
В прозрачной коробке находится вагонетка, а в непрозрачной - либо ничего, либо недружественный сверхразумный искусственный интеллект. Вы должны открыть либо только непрозрачную коробку, либо обе. Если вы откроете обе коробки, то вагонетка вырвется на свободу из прозрачной коробки и переедет пять человек.
Омега заранее предсказал, откроете ли вы одну коробку или две. Если он предсказал, что вы откроете обе, то в непрозрачной коробке будет пусто. Если он предсказал, что вы откроете только одну, то в ней будет заперт недружественный сверхразумный ИИ.
Сколько коробок вы откроете?
#ai_safety #ai_alignment
Сегодня я официально представляю свой большой (очень большой) текст о проблеме безопасности искусственного интеллекта, в котором я постарался изложить всё, что я знаю о том, что это вообще за проблема, почему она важна, и что с ней можно делать.
В плане содержания - это не первый подобный текст даже на русском языке. Ключевое отличие именно моего текста от всех остальных - это формат, в котором он написан, а именно - древовидная структура на основе вложенных списков. Я ожидаю, что этот формат будет максимально дружелюбен для читателей, знакомыми с темой на любом уровне: вы можете разворачивать и читать только то, что знаете недостаточно хорошо, а всё, что и так знаете - оставлять свернутым (и избавитесь от необходимости пролистывать тонны воды, предназначенной не для вас).
Вот основная ссылка на текст в Notion:
Искусственный интеллект и экзистенциальные риски
А вот более красивая ссылка (но, с менее, на мой вкус, приятными шрифтами):
https://aisafety.super.site
Текущая версия текста - 1.0. Ранее я уже давал на него ссылки в нескольких местах; если вы уже читали его, то в текущей версии найдете несколько небольших не принципиальных улучшений и исправлений опечаток. Разумеется, и в текущей версии есть что улучшать, поэтому я буду рад, если вы оставите свои замечания, вопросы и уточнения в комментариях к этому посту.
Сегодня я официально представляю свой большой (очень большой) текст о проблеме безопасности искусственного интеллекта, в котором я постарался изложить всё, что я знаю о том, что это вообще за проблема, почему она важна, и что с ней можно делать.
В плане содержания - это не первый подобный текст даже на русском языке. Ключевое отличие именно моего текста от всех остальных - это формат, в котором он написан, а именно - древовидная структура на основе вложенных списков. Я ожидаю, что этот формат будет максимально дружелюбен для читателей, знакомыми с темой на любом уровне: вы можете разворачивать и читать только то, что знаете недостаточно хорошо, а всё, что и так знаете - оставлять свернутым (и избавитесь от необходимости пролистывать тонны воды, предназначенной не для вас).
Вот основная ссылка на текст в Notion:
Искусственный интеллект и экзистенциальные риски
А вот более красивая ссылка (но, с менее, на мой вкус, приятными шрифтами):
https://aisafety.super.site
Текущая версия текста - 1.0. Ранее я уже давал на него ссылки в нескольких местах; если вы уже читали его, то в текущей версии найдете несколько небольших не принципиальных улучшений и исправлений опечаток. Разумеется, и в текущей версии есть что улучшать, поэтому я буду рад, если вы оставите свои замечания, вопросы и уточнения в комментариях к этому посту.
Reverend Bayes on Notion
Искусственный интеллект и экзистенциальные риски | Notion
Этот текст - обзор проблемы безопасности искусственного интеллекта (ИИ), ставшей особенно актуальной в последние годы после появления новых мощных ИИ-продуктов. Текст написан так, чтобы быть полезным и удобным для чтения как для новичков, так и для людей…
image_2023-12-13_00-28-24.png
76.9 KB
#когнитивные_искажения #LLM
Довелось мне недавно поэкспериментировать с YaGPT, и в процессе я частенько сталкивался с галлюцинациями этой нейросетки. Поразмыслив на эту тему, я пришел к выводу, что "когнитивные искажения в человеческом мозге" и "галлюцинации в больших языковых моделях (LLM)" - суть вещи одного порядка и имеют общее происхождение. Ну, по крайней мере, в определенных сценариях.
Подробнее о том, чему рационалисты могут научиться у специалистов по ML (и наоборот) - в этой заметке:
https://telegra.ph/Gallyucinacii-LLM-i-kognitivnye-iskazheniya---dve-storony-odnoj-medali-12-12
На КДПВ - один из моих первых опытов общения с YaGPT-1.
Довелось мне недавно поэкспериментировать с YaGPT, и в процессе я частенько сталкивался с галлюцинациями этой нейросетки. Поразмыслив на эту тему, я пришел к выводу, что "когнитивные искажения в человеческом мозге" и "галлюцинации в больших языковых моделях (LLM)" - суть вещи одного порядка и имеют общее происхождение. Ну, по крайней мере, в определенных сценариях.
Подробнее о том, чему рационалисты могут научиться у специалистов по ML (и наоборот) - в этой заметке:
https://telegra.ph/Gallyucinacii-LLM-i-kognitivnye-iskazheniya---dve-storony-odnoj-medali-12-12
На КДПВ - один из моих первых опытов общения с YaGPT-1.
#LW_вики
В этом году я написал совсем немного постов - отчасти из-за того, что уйму времени потратил на работу над мега-постом про безопасность ИИ, а отчасти - потому что много писал не в канал, а в вики русскоязычного рацио-сообщества. Началось всё с того, что мне захотелось иметь возможность поставить в посте ссылку на "эпистемический статус" и "эпистемическое усилие", а подходящей статьи в интернете не было - и, как водится, пришлось написать ее самому (а заодно и узнать, как же, черт возьми, в вики создавать новую страницу). Ну и тут всё заверте...
По странице "Вклад" на вики я подсчитал, что сделал за это время суммарно правок на +149.732 и -1.671 символов, а это, на секундочку, по объему как 10 постов "Насколько сложно менять(ся)". Что-то перекочевало из моих постов в этом канале (раз уж я хорошо разобрался в проблеме, то почему бы не осветить ее и в вики?): Калибровка и Калибровочное ЧГК, Теорема Ауманна и Игра Ауманна о согласии, Охота на оленя (пока в сильно сокращенном виде) и Безопасность искусственного интеллекта (и много-много ссылок на релевантные материалы).
Из страниц же на новые темы, которые я написал целиком или почти целиком сам (все-таки вики - это коллективное творчество), я - в качестве компенсации за отсутствие постов в канале - могу посоветовать вам прочитать вот эти (достаточно большие и содержательные):
* Уровни симулякров - про интересную концепцию о том, как люди постоянно говорят одно, а транслируют сообщение совсем о другом;
* Ask, Guess, Tell Culture - про разные культуры коммуникации: "резать правду-матку словами через рот" vs "попробуй угадать, что я имею в виду", их плюсы и минусы, и какой ужас творится при столкновении двух разных культур;
* Дилемма заключенного - далеко не только про классическую, но и про повторяющуюся, и про вариацию с доступом к исходному коду своего оппонента;
* Общее знание - на этой концепции основана теорема Ауманна, а еще Охота на оленя, и вообще это очень важная штука, полезная много где (а еще в статье есть про то, как островитяне-байесианцы бросаются в жерло вулкана, узнав цвет своих глаз);
* AI Boxing - про классическое "Вы боитесь, что ИИ вас уничтожит? А почему бы вам просто не запереть его в песочнице/Матрице, чтобы он не мог ничего сделать в реальном мире?" и почему это не работает.
Конечно, было много и мелких статей, и небольших доработок, и правок самой структуры вики. Так, по итогам примерно года моей активной работы над этой конструкцией целиком, мне, пожалуй, удалось существенно облагородить ее в некоторых моментах (впрочем, и фундамент, заложенный изначальными создателями вики, уже был весьма хорош - но работы оставался еще непочатый край):
* помимо написания новых статей я улучшал и актуализировал старые;
* переработал Глоссарий и добавил Запросы на создание страниц;
* дорабатывал структуру категорий;
* провел в Байесовом саду и КЗиСе голосование за присвоение некоторым страницам статуса "Золотая страница", и по результатам - раздал статьям-победителям соответствующие лычки;
* на основе всей предыдущей работы - переформатировал заглавную страницу вики: оформил ее в виде блоков и добился того, чтобы в каждом блоке было сравнительно немного страниц, но зато не было ничего лишнего и неактуального; теперь там только то, что действительно достойно чтения (а статьи на более специфические темы можно найти либо поиском, либо через дерево категорий, ссылка на которое есть внизу заглавной страницы).
Так что если года два-три назад вы заходили на вики и прочитали там всё, что было стоящего - загляните туда еще раз: наверняка найдете что-то новое и заметите некоторые улучшения!
А еще я записал видео-гайд по тому, как писать и редактировать статьи на этой вики. С момента записи гайда я узнал по теме кое-что новое, но это уже детали и рюшечки, а в гайде - вечно актуальная база. Если вы тоже хотите приложить руку к улучшению вики (между прочим, сейчас над ней работают и другие участники, далеко не я один), то обязательно начните с просмотра этого видео - а дальше уже будет гораздо проще!
В этом году я написал совсем немного постов - отчасти из-за того, что уйму времени потратил на работу над мега-постом про безопасность ИИ, а отчасти - потому что много писал не в канал, а в вики русскоязычного рацио-сообщества. Началось всё с того, что мне захотелось иметь возможность поставить в посте ссылку на "эпистемический статус" и "эпистемическое усилие", а подходящей статьи в интернете не было - и, как водится, пришлось написать ее самому (а заодно и узнать, как же, черт возьми, в вики создавать новую страницу). Ну и тут всё заверте...
По странице "Вклад" на вики я подсчитал, что сделал за это время суммарно правок на +149.732 и -1.671 символов, а это, на секундочку, по объему как 10 постов "Насколько сложно менять(ся)". Что-то перекочевало из моих постов в этом канале (раз уж я хорошо разобрался в проблеме, то почему бы не осветить ее и в вики?): Калибровка и Калибровочное ЧГК, Теорема Ауманна и Игра Ауманна о согласии, Охота на оленя (пока в сильно сокращенном виде) и Безопасность искусственного интеллекта (и много-много ссылок на релевантные материалы).
Из страниц же на новые темы, которые я написал целиком или почти целиком сам (все-таки вики - это коллективное творчество), я - в качестве компенсации за отсутствие постов в канале - могу посоветовать вам прочитать вот эти (достаточно большие и содержательные):
* Уровни симулякров - про интересную концепцию о том, как люди постоянно говорят одно, а транслируют сообщение совсем о другом;
* Ask, Guess, Tell Culture - про разные культуры коммуникации: "резать правду-матку словами через рот" vs "попробуй угадать, что я имею в виду", их плюсы и минусы, и какой ужас творится при столкновении двух разных культур;
* Дилемма заключенного - далеко не только про классическую, но и про повторяющуюся, и про вариацию с доступом к исходному коду своего оппонента;
* Общее знание - на этой концепции основана теорема Ауманна, а еще Охота на оленя, и вообще это очень важная штука, полезная много где (а еще в статье есть про то, как островитяне-байесианцы бросаются в жерло вулкана, узнав цвет своих глаз);
* AI Boxing - про классическое "Вы боитесь, что ИИ вас уничтожит? А почему бы вам просто не запереть его в песочнице/Матрице, чтобы он не мог ничего сделать в реальном мире?" и почему это не работает.
Конечно, было много и мелких статей, и небольших доработок, и правок самой структуры вики. Так, по итогам примерно года моей активной работы над этой конструкцией целиком, мне, пожалуй, удалось существенно облагородить ее в некоторых моментах (впрочем, и фундамент, заложенный изначальными создателями вики, уже был весьма хорош - но работы оставался еще непочатый край):
* помимо написания новых статей я улучшал и актуализировал старые;
* переработал Глоссарий и добавил Запросы на создание страниц;
* дорабатывал структуру категорий;
* провел в Байесовом саду и КЗиСе голосование за присвоение некоторым страницам статуса "Золотая страница", и по результатам - раздал статьям-победителям соответствующие лычки;
* на основе всей предыдущей работы - переформатировал заглавную страницу вики: оформил ее в виде блоков и добился того, чтобы в каждом блоке было сравнительно немного страниц, но зато не было ничего лишнего и неактуального; теперь там только то, что действительно достойно чтения (а статьи на более специфические темы можно найти либо поиском, либо через дерево категорий, ссылка на которое есть внизу заглавной страницы).
Так что если года два-три назад вы заходили на вики и прочитали там всё, что было стоящего - загляните туда еще раз: наверняка найдете что-то новое и заметите некоторые улучшения!
А еще я записал видео-гайд по тому, как писать и редактировать статьи на этой вики. С момента записи гайда я узнал по теме кое-что новое, но это уже детали и рюшечки, а в гайде - вечно актуальная база. Если вы тоже хотите приложить руку к улучшению вики (между прочим, сейчас над ней работают и другие участники, далеко не я один), то обязательно начните с просмотра этого видео - а дальше уже будет гораздо проще!
#продуктивность #ситхские_техники #совет_недели
В чате ситхских техник (встречи по которым проходят, страшно сказать, уже три года) я на прошлой неделе решил завести рубрику "Совет недели [как улучшить свою личную продуктивность]". Нулевой совет довольно банален: "нужно хорошо спать, вовремя есть, достаточно гулять". Следующий, уже более полноценный, совет оказался более объемным, так что я решил оформить его отдельной статьей и принести заодно и в свой канал.
Так что представляю вам первый полноценный пост из (надеюсь) еженедельной серии: если вы находитесь в низкоресурсном состоянии, то начните работу по повышению личной продуктивности с того, что сделайте несколько задач, которые можно сделать за пару минут (и которые вы откладываете уже пару дней-недель-месяцев). Подробности, примеры и шестеренки - в статье:
https://telegra.ph/Sithskij-sovet-nedeli-1-razberites-s-melochyu-04-04
В чате ситхских техник (встречи по которым проходят, страшно сказать, уже три года) я на прошлой неделе решил завести рубрику "Совет недели [как улучшить свою личную продуктивность]". Нулевой совет довольно банален: "нужно хорошо спать, вовремя есть, достаточно гулять". Следующий, уже более полноценный, совет оказался более объемным, так что я решил оформить его отдельной статьей и принести заодно и в свой канал.
Так что представляю вам первый полноценный пост из (надеюсь) еженедельной серии: если вы находитесь в низкоресурсном состоянии, то начните работу по повышению личной продуктивности с того, что сделайте несколько задач, которые можно сделать за пару минут (и которые вы откладываете уже пару дней-недель-месяцев). Подробности, примеры и шестеренки - в статье:
https://telegra.ph/Sithskij-sovet-nedeli-1-razberites-s-melochyu-04-04
Telegram
Ситхские техники продуктивности
Гайд по встречам: https://tinyurl.com/sith-tech
Наше Notion-пространство: https://sith-technique.notion.site
Наше Notion-пространство: https://sith-technique.notion.site
#продуктивность #ситхские_техники #совет_недели
Итак, продолжаем еженедельную традицию советов по личной продуктивности. Если в прошлый раз мы говорили о том, как в низкоресурсном состоянии сдвинуться с мертвой точки за счет выполнения мелких задач, то сегодня речь будет идти о том, как переходить к более объемным задачам с помощью разбиения их на мелкие подзадачи.
https://telegra.ph/Sithskij-sovet-nedeli-2-nachinaem-prodvigatsya-malymi-shagami-04-12
Итак, продолжаем еженедельную традицию советов по личной продуктивности. Если в прошлый раз мы говорили о том, как в низкоресурсном состоянии сдвинуться с мертвой точки за счет выполнения мелких задач, то сегодня речь будет идти о том, как переходить к более объемным задачам с помощью разбиения их на мелкие подзадачи.
https://telegra.ph/Sithskij-sovet-nedeli-2-nachinaem-prodvigatsya-malymi-shagami-04-12
Telegraph
Ситхский совет недели #2: начинаем продвигаться малыми шагами
Итак, прошлый совет недели предлагал в качестве первого шага в деле “поднять нашу продуктивность с колен” начать систематически делать мелкие задачи, целенаправленно выбирая те из них, которые можно сделать за две-пять минут. Разумеется, это хорошо для начала…
#продуктивность #ситхские_техники #совет_недели
На прошлой неделе мы рассматривали, как повысить нашу личную продуктивность за счет разбиения сравнительно объемных задач на мелкие подзадачи. Сама по себе эта практика довольно полезна для раскручивания спиралей успеха с низкой базы и перехода на немного более продвинутый уровень; но если таких малых шагов в день или неделю мы будем делать недостаточно, то уйдем не так уж далеко. В сегодняшней статье мы рассмотрим самые базовые подходы к тому, как увеличить концентрацию таких слотов продуктивности в нашей жизни - и, как следствие, ускорить процесс реализации наших целей и ценностей.
https://telegra.ph/Sithskij-sovet-nedeli-3-probuem-chashche-nahodit-sloty-vremeni-dlya-delaniya-del-04-20
На прошлой неделе мы рассматривали, как повысить нашу личную продуктивность за счет разбиения сравнительно объемных задач на мелкие подзадачи. Сама по себе эта практика довольно полезна для раскручивания спиралей успеха с низкой базы и перехода на немного более продвинутый уровень; но если таких малых шагов в день или неделю мы будем делать недостаточно, то уйдем не так уж далеко. В сегодняшней статье мы рассмотрим самые базовые подходы к тому, как увеличить концентрацию таких слотов продуктивности в нашей жизни - и, как следствие, ускорить процесс реализации наших целей и ценностей.
https://telegra.ph/Sithskij-sovet-nedeli-3-probuem-chashche-nahodit-sloty-vremeni-dlya-delaniya-del-04-20
Telegraph
Ситхский совет недели #3: пробуем чаще находить слоты времени для делания дел
На прошлой неделе мы начали делать сравнительно крупные дела небольшими шагами, что вообще-то позволяет нам приближаться к достижению наших более масштабных целей, но, возможно, несколько медленно. Чтобы зарабатывать больше утилонов [некоторые абстрактные…
#продуктивность #ситхские_техники #совет_недели
Чтобы еще чаще делать шаги в направлении реализации наших целей, было бы неплохо высвободить побольше времени и когнитивного ресурса там, где мы тратим их без всякой пользы. А это значит, что нынешний совет недели по повышению продуктивности будет посвящен борьбе с излишним залипанием в ленте, видео, играх и тому подобных вещах. Прежде чем подробнее раскрыть некоторые конкретные актуальные подходы, мы рассмотрим шестеренки соответствующих ментальных процессов - однако, один вполне практический совет сегодня тоже будет.
https://telegra.ph/Sithskij-sovet-nedeli-4-nachinaem-menshe-zalipat-04-26
Чтобы еще чаще делать шаги в направлении реализации наших целей, было бы неплохо высвободить побольше времени и когнитивного ресурса там, где мы тратим их без всякой пользы. А это значит, что нынешний совет недели по повышению продуктивности будет посвящен борьбе с излишним залипанием в ленте, видео, играх и тому подобных вещах. Прежде чем подробнее раскрыть некоторые конкретные актуальные подходы, мы рассмотрим шестеренки соответствующих ментальных процессов - однако, один вполне практический совет сегодня тоже будет.
https://telegra.ph/Sithskij-sovet-nedeli-4-nachinaem-menshe-zalipat-04-26
Telegraph
Ситхский совет недели #4: начинаем меньше залипать
Прошлый совет недели по повышению продуктивности в рамках “ситхских техник” был посвящен рассмотрению нескольких сценариев, когда мы упускаем возможность делать свои дела. Однако в тот раз полностью за кадром осталась ситуация “у меня редко есть время, когда…