#математика #теория_принятия_решений

По следам недавней лекции о вневременной теории принятия решений (Functional Decision Theory, FDT) я решил немного упорядочить свои мысли и инсайты на эту тему. FDT - концепция очень непростая, но, кажется, теперь я неплохо понял её рукомахательную часть (и надеюсь вскоре узнать математику, стоящую за ней).

https://telegra.ph/Frejmy-prinyatiya-reshenij-v-Functional-Decision-Theory-07-20

#коммуникация

В копилку программных текстов "что такое хорошо и что такое плохо" (на которые в случае необходимости можно просто давать ссылки). Написал о том, как породить high-effort обсуждение "в стиле настоящих рационалистов" (спойлер: начать обсуждение с high-effort вопроса).

(Месяца полтора назад я уже писал это в качестве комментария к одному обсуждению, которое пошло как-то не так - теперь оформил это в виде самодостаточного текста и немного расширил)

https://telegra.ph/Kak-reshit-zadachu-s-pomoshchyu-racionalistov-08-27

Breaking news again!
Похоже, что теорему Ауманна неправильно понимал я сам. Ну или вернее, недопонимал один важный кусок относительно её интерпретации. Но после вдумчивого чтения кое-каких новых статей и перечитывания старых (а также обсуждений в лв-слаке) я наконец осознал, как к теореме можно приложить так горячо отвергаемый мной обмен информацией. Так что, похоже, что теперь я понял всё или почти всё, что читал раньше, и могу снять значительную часть претензий по сути высказанного Ауманном и Ааронсоном (претензии к не слишком четкой и подробной формулировке теоремы, а также к трактовке про "рационалисты не могут согласиться не соглашаться" частично остаются).

С учётом сказанного, я наконец созрел для написания второй статьи, где будет уже и точная формулировка теоремы, и доказательство, и как это всё наделяется семантикой. Через пару недель надеюсь её опубликовать (правда, помимо текста, будет ещё много возни с формулами в TeX-е и изображениями множеств и всяких разбиений на них, что несколько затормозит работу). Сам жду этого момента с нетерпением - у меня уже больше двух с половиной лет не закрыт гештальт "как это вообще все кругом не понимают теорему Ауманна, а я понимаю; причём на то, что это я неправ, тоже не похоже?"

#математика #теорема_Ауманна

Свершилось! После более чем месяц работы я закончил свою монографию по теореме Ауманна, и теперь готов заявить, что теперь в русскоязычном сообществе есть исчерпывающая информация по данной теме. А кликбейтное заявление о том, что умные люди ранее понимали её неправильно, можно в основном отозвать.

Итак, встречайте:
https://www.notion.so/reverendbayes/2-21620889bead4805a1285cf795380bf0

Disclaimer: большой объём (порядка 18 вордовских страниц), много формул (поэтому только в ноушене), для полного понимания желательно хотя бы минимальное знание высшей математики (примерно на уровне первого курса математического факультета).

#калибровка

Калибровка уверенности - тема далеко не новая, но подробного последовательного её изложения я до сих пор не встречал. Чтобы исправить этот недостаток, я собрал воедино практически всё, что знаю по калибровке (вообще-то мне просто нужна была статья, на которую можно было бы дать ссылку, но таковой не нашлось; пришлось писать самому).

https://telegra.ph/Kalibrovka-uverennosti-11-24

#калибровка

И отдельно, чтобы не затерялось - мой Notion-шаблон для калибровки, упомянутый в статье выше:
https://reverendbayes.notion.site/82ab5ce6a4924c0d9304db5c7105413c

#калибровка #игры_для_рационалистов #калибровочное_чгк

Если вы уже наигрались в традиционные "игры для рационалистов" вроде Zendo и Fallacymania, и хотите чего-то нового, то я предлагаю вам сыграть в Калибровочное ЧГК:
https://telegra.ph/Kalibrovochnoe-CHGK---igra-dlya-racionalistov-12-20

Эта игра (обычная сессия калибровки, только в командах и в стилистике "Что? Где? Когда?") появилась в Екатеринбургском локальном сообществе LessWrong. За всё время мы сыграли в неё всего один раз, однако прошла она так хорошо, что мне хочется поделиться ей со всеми ценителями рациональности и подобных игр.

(Вообще-то рассказать о ней я хотел уже давно, но сначала нужно было написать вводный абзац о калибровке как таковой, чтобы читатель точно понимал, о чём речь. Вводный абзац очень быстро рос в размерах, так что в итоге пришлось вынести его в отдельный текст - именно так и появилась предыдущая статья.)

#коммуникация #прикладная_рациональность

Вчера у меня случился неожиданный практикум по прикладной рациональности: произошла нетривиальная ситуация, на которую я в итоге отреагировал по ряду пунктов не так, как отреагировал бы до знакомства с рациональностью. Сегодня я написал об этом небольшой пост-мортем; фордвардну его и сюда - там есть несколько интересных примеров.

Расскажу подробно о своем вчерашнем ходе мыслей по поводу "удалять или не удалять тред". Тут будет как "прикладная рациональность", так и "мета про создание более здорового сообщества", поэтому напишу и в КЗиС, и фордвардну в мету.

Итак, события вне и внутри моей головы развивались следующим образом:

1. В КЗиС появились три сообщения на тему "личный опыт игры в фэнтези-футбол на деньги через крипту как полигон для применения инструментальной рациональности (аналог битв армий профессора Квиррелла)". Пост содержал как упоминание разных штук (полезных с точки зрения рациональности), которые нужно хорошо уметь делать, чтобы систематически выигрывать в фэнтези-футбол. Одновременно с этим посты содержали пару красных флагов, делавших их очень похожими на рекламу конкретной площадки: ссылка на сайт (чтобы заинтересовавшиеся могли сами посмотреть) и "я начал с суммы X в коинах, через год у меня чуть менее 12*X" (свидетельство того, что рациональность здесь работает).
2. Вскоре появилась пара сообщений "мне интересно, хочу реферальную ссылку" - "вот она: ...", каковая пара сообщений выглядела как хрестоматийный красный флаг (типичная рекламная атака двух ботов, работающих совместно)
3. Всё вместе это породило в КЗиС и мета-чате некоторое замешательство: всё это выглядит и крякает как типичная бот-реклама, но при этом плавает как либо два искренних живых человека (большое количество местного контекста в начальных сообщениях и безобидная история прошлых сообщений в этом чате), либо как то, что работа MIRI более не актуальна и slow-takeoff уже случился.
4. Немного позже я пришёл в тг, прочитал всё это, отбросил идею о таки пройденном тесте Тьюринга (потому что это похоже на гипотезу существования бога в своей безблагодатности: если это правда, то всё уже бессмысленно, в т.ч. принятие или отвержение её => оставим только ту гипотезу, принятие или отвержение которой имеет хоть какие-то последствия в случае её истинности)
5. В сухом остатке имеем примерно следующее: посты с интересным содержанием, но с формой, которая приводит иммунную систему сообщества в замешательство. По этим признакам я счёл это скользкой дорожкой, на которой необходимо установить забор Шеллинга. Если этого не сделать, то могут быть следующие последствия:
* Иммунная система сообщества станет более уязвимой к бот-атакам из внешнего интернета (появится прецедент, когда нечто сильно похожее на бот-атаку, в реальности оказалось постом с вполне релевантным и полезным для сообщества содержанием); некоторая будущая реклама может иметь тематику, относительно релевантную либо темам сообщества вообще, либо недавно прошедшим темам (крипту здесь тоже обсуждают, например) => в будущем могут возникнуть сомнения, нужно ли удалять то, что будет настоящей бот-атакой
* Иммунная система сообщества станет более уязвимой к внутренним троллям и может подвергнуться дополнительному охлаждению через испарение: выше я несколько steelman-ил форму аргументов в пользу релевантности сообщений чату КЗиС, в оригинале они были менее прозрачными, что и приводило в итоге к серьёзному смятению читающих; если в будущем настолько неоднозначные посты с недостаточным прояснением позиции живого человека будут нормой, то приемлемым станет творить в чате самые разные low-effort вещи
6. В силу этих соображений я решил, что наилучшим вариантом будет сохранить обсуждение интересной темы, но поставить забор Шеллинга, почистив красные флаги (все ссылки - в т.ч. ссылку на сайт, не только реферальную, т.к. реклама площадки вполне может быть таковой; плюс упоминание о двенадцатикратной прибыли).
7. К сожалению, тг не позволяет редактировать чужие сообщения, только удалять их целиком; при этом оставлять сообщения со ссылкой - опасно для будущего по вышеизложенным причинам; удалять только первое сообщение - значит оставить тред в полуразобранном и совершенно непонятном для читателя виде. В итоге я решил, что приемлемым будет удалить вообще все посты в текущем виде, пока их немного, и затем перезапустить обсуждение темы заново, уже в более безопасной для будущего сообщества форме при примерно том же содержании.

8. Пока я примеривался делать это (уже имея некоторый внутренний конфликт, но "поверь в меня, того, кто верит в тебя") и писал минимальное объяснение, куда пропали сообщения и почему, в треде уже появился запрос на что-то подобное, но не футбол, а затем - ссылка на биржу предсказаний от Славы. Необходимость удалять тред, в котором отметился примарх, ещё сильнее усилила внутренний конфликт и сильнее пошатнула мою уверенность в полезности моих действий. Но поскольку у меня были шестерёнки, почему делать то, что я делаю, скорее полезно; а равно шестерёнки, почему те шестерёнки могут быть неочевидными, то я решил, что в данном случае аргумент затмевает авторитет. При этом необходимость побыстрее удалить имеющиеся сообщения, пока их немного, и перезапуска треда в более очищенной форме, создавали цейтнот - не было времени искать идеальное решение (несмотря на мой перфекционизм) и кракситься по поводу оптимальности подхода. Так что я решил, что приемлемое решение сейчас лучше, чем идеальное решение никогда (по мере роста треда удалить его в его текущем виде будет всё труднее). К тому же, если я знаю, что в будущем я всё равно решусь на удаление (а я был сильно в этом уверен), то можно не тратить время и удалить тред уже сейчас. И удалил.
9. Позже в мета-чате был предложен менее брутальный и примерно столь же хороший вариант: просить автора поста в определенные сроки отредактировать этот пост нужным образом. Я сапдейтился на будущее, но контрфактических сожалений о том, что я не догадался об этом раньше, решил не испытывать: в условиях цейтнота я справился довольно неплохо по своим меркам, и применил ментальные стратегии, которые достаточно выигрышные.
10. Позже я решил написать данный пост, т.к. это, с одной стороны, поможет сделать общим знанием соображения относительно того, какое влияние форма сообщений оказывает на сообщество в целом; с другой - это, по-моему, довольно хороший пример применения разных подходов эпистемической и инструментальной рациональности на практике.

#математика #теория_игр #охота_на_оленя

Часто бывает так, что группе людей нужно объединить усилия для того, чтобы достичь какого-то большого блага. Но из-за проблем с коммуникацией они (по-своему весьма разумно) отказываются верить в, казалось бы, очевидное; и в итоге понятный и явно полезный проект оказывается с треском провален.

Такое, на первый взгляд, парадоксальное поведение описывается теоретико-игровой ситуацией "охота на оленя". В сегодняшнем посте я дам ей общее описание и сравню с такими известными в рацио-среде ситуациями, как дилемма заключённого и Молох.

Как охота на оленя выглядит в реальной жизни (и на ровном месте руинит перспективные начинания), а также что можно сделать, чтобы не попасть в эту ловушку - предмет следующих постов из этой серии.

https://telegra.ph/Ohota-na-olenya---paradoksalnoe-izbeganie-vzaimovygodnogo-sotrudnichestva-06-27

#теория_игр #охота_на_оленя

Охота на оленя - довольно интересная теоретико-игровая ситуация. Но как часто люди в реальной жизни проваливают кооперацию именно по этому сценарию?

Во втором посте из этой цепочки я опишу признаки, по которым можно опознать охоту на оленя в повседневности и приведу несколько конкретных жизненных примеров такой ситуации.

https://telegra.ph/Poleznye-privychki-i-proekty-po-spaseniyu-mira---ehto-ohota-na-olenya-07-03

#математика #теория_игр #охота_на_оленя

Продолжая цепочку про охоту на оленя, я описываю два базовых архетипа стратегии этой игры, которых можно встретить в реальной жизни - Белого и Чёрного рыцарей.

Для более сложных (и более близких к повседневности) вариаций охоты на оленя мы также выведем хорошие стратегии, аналогичные стратегиям для похожих вариаций дилеммы заключённого.

https://telegra.ph/Arhetipy-strategij-ohoty-na-olenya-07-13

#прикладная_рациональность #планирование

Когда мы планируем сделать что-то нетривиальное, то наши планы часто на поверку оказываются вовсе не настолько хороши, насколько нам кажется. Следование плану, который кажется нам хорошим, но на самом деле плох - известная проблема.

Но часто всё оказывается ещё хуже: мы отчётливо понимаем, что наш план просто отвратителен, но всё равно ему следуем. Сегодняшняя статья посвящена тому, из-за чего так случается, и какой подход к этой проблеме я недавно нашёл.

P.S. Хотя задержки публикации новой статьи из цепочки "охота на оленя" не вызваны какими-то очевидно плохими планами, но прочитав сегодняшнюю статью вы кое-что узнаете о настоящих причинах.

https://telegra.ph/Ne-derzhites-za-plohoj-plan-08-23

#теория_игр #охота_на_оленя

Ранее в этой цепочке мы рассмотрели Охоту на оленя как теоретико-игровую ситуацию, и даже кое-какие около-математические стратегии для неё.

Сегодня мы разберём первую группу мета-стратегий, которые позволят изменить само игровое поле таким образом, чтобы игрокам было более выгодно кооперировать, чем в изначальных условиях. Это позволит преодолеть (хотя бы частично) проклятье "выбор Шеллинга - это кролик".

NB. Статья физически не уместилась в одну часть, поэтому пришлось разбить её на две.

Часть 1: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-09-04
Часть 2: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-ch2-09-04

#теория_игр #охота_на_оленя

В сегодняшнем посте я завершаю основное содержание цепочки про охоту на оленя как кооперативную игру. В прошлый раз мы рассмотрели три мета-стратегии "как преодолеть сомнения других людей и всем вместе достичь наилучшего результата"; сегодня на очереди - ещё четыре (самые, на мой взгляд, интересные).

NB. Статья вновь физически не уместилась в одну часть, так что я опять разбил её на две.

https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-09-18
https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-ch2-09-18

#охота_на_оленя #ai_alignment #ai_safety

В качестве послесловия к цепочке про охоту на оленя - статья по мотивам моего рассказа на Летнем Солнцестоянии 2022.

Действовать во благо проекта по безопасности ИИ на самом деле могут очень многие. Если бы все, кто верили, что это нужно, так бы и поступили, то шансы всего проекта на успех значительно бы возросли. Однако по факту очень мало кто это делает на самом деле.

Первый вариант был бы предпочтителен для всех; второй - явно разочаровывает всех. И при этом большинство людей парадоксальным образом работает на то, чтобы реализовался наименее привлекательный для них вариант.

В этой статье я привожу краткий пересказ материала цепочки в разрезе конкретно проблемы проектов по AI Safety: почему выбор Шеллинга отдаляет такие проекты от реализации, и что можно сделать, чтобы хотя бы частично нивелировать этот эффект.

https://telegra.ph/Proekty-po-AI-Safety-kak-ohota-na-olenya-09-20

#миниатюры #эпистемология

Немного о том, почему ещё рационалисты не настолько хороши, насколько хотелось.

Казалось бы, рациональность - это про то, чтобы найти изъяны в своём мышлении, исправить их, и стать "менее неправыми". Почему же тогда даже опытные рационалисты, которые целенаправленно улучшают свои алгоритмы мышления, то и дело садятся в лужу и совершают "детские" ошибки как в эпистемологии, так и в делании дел (тезис о том, что так действительно происходит, оставлю пока без доказательства, но я и на своём примере это вижу нередко)?

Причин тому множество; сегодня мне в голову пришла ещё одна.

Дело в том, что человеческий мозг - не алгоритм, написанный на императивном языке программирования идеальными программистами (которых и в природе-то не существует). В идеальном коде конкретный паттерн мышления был бы представлен единственной функцией, которую бы по мере необходимости вызывали бы в других местах. И исправление бага в этой функции автоматически избавило бы от его влияния все когнитивные процессы в мозгу.

Но в реальном человеческом мышлении нет одной-единственной ошибки планирования - там есть десятки и сотни ошибок планирования, разбросанных по всему мозгу. Это - результат конвергентной эволюции: в "сходных в чём-то" условиях в сознании формируются "сходные в чём-то" паттерны поведения. Если вы исправили ошибку планирования при оценке времени выполнения рабочих задач, вы так просто не избавитесь от ошибки планирования при оценке времени прибытия на встречу или при выборе паттерна отхода ко сну. Скорее всего, каждую из них придётся исправлять отдельно - а до тех пор нельзя считать, что ошибка планирования побеждена.

Можно ли сделать лучше (пусть не идеально, но хотя бы less wrong)? Пожалуй да.

Базовой стратегией улучшения себя как рационалиста (параллельно с изучением теории, чтобы не набивать все шишки самостоятельно) я считаю регулярный ретроспективный анализ своего мышления: какие мои ментальные процессы привели к хорошим или плохим результатам, и стоит ли что-то в них улучшить? Знание тех же когнитивных искажений помогает проще распознавать знакомые паттерны и понимать последствия их работы и возможные стандартные способы их улучшения.

И вот что может быть полезно добавить к этому подходу. Например, стараться обобщить знакомые паттерны до более высоких уровней абстракции: если я плохо оценил время на выполнение рабочей задачи, то может быть я плохо оцениваю время и в других ситуациях? Или может быть я и вовсе плохо делаю прогнозы? А не допускаю ли я [того конкретного выверта мышления, который привел к ошибке планирования относительно рабочей задачи] к предсказаниям вообще? А давайте-ка я понаблюдаю за собой в подобных ситуациях, держа где-то в фоне этот более абстрактный паттерн! Может быть, в тех ситуациях, когда мне кажется, что я не допускаю никаких ошибок, и у меня всё хорошо, на самом деле я косячу по-чёрному?

Конечно, чтобы такой подход принес пользу, должно быть выполнено множество других условий. Но также нужно помнить, что наше мышление одинаковым образом несовершенно во множестве областей сразу; и знания о подобных типах несовершенства и даже успешного их исправления в нескольких местах - вовсе недостаточно для полного избавления от них.

#математика #теорема_Ауманна

По мотивам прошедшего вчера праздника трешовой математики (под названием "День X-игрек") мне захотелось ещё раз рассказать про теорему Ауманна.

Про теорему Гёделя уже есть объяснения "о наболевшем" с развенчанием основных мифов о том, что она якобы утверждает. Так что сегодня я добавлю и "развенчание мифов о теореме Ауманна для гуманитариев".

https://telegra.ph/CHto-govorit-i-chego-ne-govorit-teorema-Aumanna-10-30

#проект #рацио_форум

Последнюю пару недель я работал над созданием в телеграме форума про рациональность, и сегодня наконец открыл его!

Недавно в тг появился функционал тем, и это обещает быть удобной возможностью для того, чтобы обсуждать параллельно несколько разных вещей в рамках одного чата/форума/группы.

При этом у меня есть идеи (все они изложены в гайде по форуму) о том, как сделать это место тем самым "ухоженным садом", где будет процветать хорошая эпистемология и качественные обсуждения; и наброски идей, как организовать в его рамках нетворкинг для знакомства с крутыми людьми и создания не менее крутых совместных проектов.

С нетерпением жду, чтобы узнать, что в итоге изо всего этого выйдет.

#математика #системы

Ученые доказали: стать лучше можно только через боль!

А если без кликбейта, то в сегодняшней статье я пересказываю некоторые математические выводы о том, как устроен процесс улучшения какой угодно системы (от мелких привычек одного человека до мировой экономики): какие сложности во время него происходят в силу самой природы перестройки систем, как они меняются с течением времени, и чуть-чуть о том, как можно сделать процесс менее болезненным.

https://telegra.ph/Naskolko-slozhno-menyatsya-01-04