Небольшой список имени Байеса
551 subscribers
2 photos
1 file
34 links
Хвала! Хвала! Байесов агент прославленный!
Download Telegram
#прикладная_рациональность #планирование

Когда мы планируем сделать что-то нетривиальное, то наши планы часто на поверку оказываются вовсе не настолько хороши, насколько нам кажется. Следование плану, который кажется нам хорошим, но на самом деле плох - известная проблема.

Но часто всё оказывается ещё хуже: мы отчётливо понимаем, что наш план просто отвратителен, но всё равно ему следуем. Сегодняшняя статья посвящена тому, из-за чего так случается, и какой подход к этой проблеме я недавно нашёл.

P.S. Хотя задержки публикации новой статьи из цепочки "охота на оленя" не вызваны какими-то очевидно плохими планами, но прочитав сегодняшнюю статью вы кое-что узнаете о настоящих причинах.

https://telegra.ph/Ne-derzhites-za-plohoj-plan-08-23
#теория_игр #охота_на_оленя

Ранее в этой цепочке мы рассмотрели Охоту на оленя как теоретико-игровую ситуацию, и даже кое-какие около-математические стратегии для неё.

Сегодня мы разберём первую группу мета-стратегий, которые позволят изменить само игровое поле таким образом, чтобы игрокам было более выгодно кооперировать, чем в изначальных условиях. Это позволит преодолеть (хотя бы частично) проклятье "выбор Шеллинга - это кролик".

NB. Статья физически не уместилась в одну часть, поэтому пришлось разбить её на две.

Часть 1: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-09-04
Часть 2: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-ch2-09-04
#теория_игр #охота_на_оленя

В сегодняшнем посте я завершаю основное содержание цепочки про охоту на оленя как кооперативную игру. В прошлый раз мы рассмотрели три мета-стратегии "как преодолеть сомнения других людей и всем вместе достичь наилучшего результата"; сегодня на очереди - ещё четыре (самые, на мой взгляд, интересные).

NB. Статья вновь физически не уместилась в одну часть, так что я опять разбил её на две.

https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-09-18
https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-ch2-09-18
#охота_на_оленя #ai_alignment #ai_safety

В качестве послесловия к цепочке про охоту на оленя - статья по мотивам моего рассказа на Летнем Солнцестоянии 2022.

Действовать во благо проекта по безопасности ИИ на самом деле могут очень многие. Если бы все, кто верили, что это нужно, так бы и поступили, то шансы всего проекта на успех значительно бы возросли. Однако по факту очень мало кто это делает на самом деле.

Первый вариант был бы предпочтителен для всех; второй - явно разочаровывает всех. И при этом большинство людей парадоксальным образом работает на то, чтобы реализовался наименее привлекательный для них вариант.

В этой статье я привожу краткий пересказ материала цепочки в разрезе конкретно проблемы проектов по AI Safety: почему выбор Шеллинга отдаляет такие проекты от реализации, и что можно сделать, чтобы хотя бы частично нивелировать этот эффект.

https://telegra.ph/Proekty-po-AI-Safety-kak-ohota-na-olenya-09-20
#миниатюры #эпистемология

Немного о том, почему ещё рационалисты не настолько хороши, насколько хотелось.

Казалось бы, рациональность - это про то, чтобы найти изъяны в своём мышлении, исправить их, и стать "менее неправыми". Почему же тогда даже опытные рационалисты, которые целенаправленно улучшают свои алгоритмы мышления, то и дело садятся в лужу и совершают "детские" ошибки как в эпистемологии, так и в делании дел (тезис о том, что так действительно происходит, оставлю пока без доказательства, но я и на своём примере это вижу нередко)?

Причин тому множество; сегодня мне в голову пришла ещё одна.

Дело в том, что человеческий мозг - не алгоритм, написанный на императивном языке программирования идеальными программистами (которых и в природе-то не существует). В идеальном коде конкретный паттерн мышления был бы представлен единственной функцией, которую бы по мере необходимости вызывали бы в других местах. И исправление бага в этой функции автоматически избавило бы от его влияния все когнитивные процессы в мозгу.

Но в реальном человеческом мышлении нет одной-единственной ошибки планирования - там есть десятки и сотни ошибок планирования, разбросанных по всему мозгу. Это - результат конвергентной эволюции: в "сходных в чём-то" условиях в сознании формируются "сходные в чём-то" паттерны поведения. Если вы исправили ошибку планирования при оценке времени выполнения рабочих задач, вы так просто не избавитесь от ошибки планирования при оценке времени прибытия на встречу или при выборе паттерна отхода ко сну. Скорее всего, каждую из них придётся исправлять отдельно - а до тех пор нельзя считать, что ошибка планирования побеждена.

Можно ли сделать лучше (пусть не идеально, но хотя бы less wrong)? Пожалуй да.

Базовой стратегией улучшения себя как рационалиста (параллельно с изучением теории, чтобы не набивать все шишки самостоятельно) я считаю регулярный ретроспективный анализ своего мышления: какие мои ментальные процессы привели к хорошим или плохим результатам, и стоит ли что-то в них улучшить? Знание тех же когнитивных искажений помогает проще распознавать знакомые паттерны и понимать последствия их работы и возможные стандартные способы их улучшения.

И вот что может быть полезно добавить к этому подходу. Например, стараться обобщить знакомые паттерны до более высоких уровней абстракции: если я плохо оценил время на выполнение рабочей задачи, то может быть я плохо оцениваю время и в других ситуациях? Или может быть я и вовсе плохо делаю прогнозы? А не допускаю ли я [того конкретного выверта мышления, который привел к ошибке планирования относительно рабочей задачи] к предсказаниям вообще? А давайте-ка я понаблюдаю за собой в подобных ситуациях, держа где-то в фоне этот более абстрактный паттерн! Может быть, в тех ситуациях, когда мне кажется, что я не допускаю никаких ошибок, и у меня всё хорошо, на самом деле я косячу по-чёрному?

Конечно, чтобы такой подход принес пользу, должно быть выполнено множество других условий. Но также нужно помнить, что наше мышление одинаковым образом несовершенно во множестве областей сразу; и знания о подобных типах несовершенства и даже успешного их исправления в нескольких местах - вовсе недостаточно для полного избавления от них.
#математика #теорема_Ауманна

По мотивам прошедшего вчера праздника трешовой математики (под названием "День X-игрек") мне захотелось ещё раз рассказать про теорему Ауманна.

Про теорему Гёделя уже есть объяснения "о наболевшем" с развенчанием основных мифов о том, что она якобы утверждает. Так что сегодня я добавлю и "развенчание мифов о теореме Ауманна для гуманитариев".

https://telegra.ph/CHto-govorit-i-chego-ne-govorit-teorema-Aumanna-10-30
#проект #рацио_форум

Последнюю пару недель я работал над созданием в телеграме форума про рациональность, и сегодня наконец открыл его!

Недавно в тг появился функционал тем, и это обещает быть удобной возможностью для того, чтобы обсуждать параллельно несколько разных вещей в рамках одного чата/форума/группы.

При этом у меня есть идеи (все они изложены в гайде по форуму) о том, как сделать это место тем самым "ухоженным садом", где будет процветать хорошая эпистемология и качественные обсуждения; и наброски идей, как организовать в его рамках нетворкинг для знакомства с крутыми людьми и создания не менее крутых совместных проектов.

С нетерпением жду, чтобы узнать, что в итоге изо всего этого выйдет.
#математика #системы

Ученые доказали: стать лучше можно только через боль!

А если без кликбейта, то в сегодняшней статье я пересказываю некоторые математические выводы о том, как устроен процесс улучшения какой угодно системы (от мелких привычек одного человека до мировой экономики): какие сложности во время него происходят в силу самой природы перестройки систем, как они меняются с течением времени, и чуть-чуть о том, как можно сделать процесс менее болезненным.

https://telegra.ph/Naskolko-slozhno-menyatsya-01-04
#база_рациональности

В очередной раз зададимся вопросом: что нужно делать, чтобы стать хорошим рационалистом и на самом деле систематически выигрывать в реальной жизни? Сегодня я формулирую ответ так: перво-наперво нужно как следует освоить самую базу. Почему это так, что будет базой рациональности, и как ее осваивать - я пытаюсь описать в этой статье.

https://telegra.ph/Baza-racionalnosti-02-05
#мемы

Омега, сверхразумное и заслуживающее доверия существо, появилось перед вами вместе с двумя коробками, и предложило вам следующую игру.

В прозрачной коробке находится вагонетка, а в непрозрачной - либо ничего, либо недружественный сверхразумный искусственный интеллект. Вы должны открыть либо только непрозрачную коробку, либо обе. Если вы откроете обе коробки, то вагонетка вырвется на свободу из прозрачной коробки и переедет пять человек.

Омега заранее предсказал, откроете ли вы одну коробку или две. Если он предсказал, что вы откроете обе, то в непрозрачной коробке будет пусто. Если он предсказал, что вы откроете только одну, то в ней будет заперт недружественный сверхразумный ИИ.

Сколько коробок вы откроете?
#ai_safety #ai_alignment

Сегодня я официально представляю свой большой (очень большой) текст о проблеме безопасности искусственного интеллекта, в котором я постарался изложить всё, что я знаю о том, что это вообще за проблема, почему она важна, и что с ней можно делать.

В плане содержания - это не первый подобный текст даже на русском языке. Ключевое отличие именно моего текста от всех остальных - это формат, в котором он написан, а именно - древовидная структура на основе вложенных списков. Я ожидаю, что этот формат будет максимально дружелюбен для читателей, знакомыми с темой на любом уровне: вы можете разворачивать и читать только то, что знаете недостаточно хорошо, а всё, что и так знаете - оставлять свернутым (и избавитесь от необходимости пролистывать тонны воды, предназначенной не для вас).

Вот основная ссылка на текст в Notion:
Искусственный интеллект и экзистенциальные риски
А вот более красивая ссылка (но, с менее, на мой вкус, приятными шрифтами):
https://aisafety.super.site

Текущая версия текста - 1.0. Ранее я уже давал на него ссылки в нескольких местах; если вы уже читали его, то в текущей версии найдете несколько небольших не принципиальных улучшений и исправлений опечаток. Разумеется, и в текущей версии есть что улучшать, поэтому я буду рад, если вы оставите свои замечания, вопросы и уточнения в комментариях к этому посту.
image_2023-12-13_00-28-24.png
76.9 KB
#когнитивные_искажения #LLM

Довелось мне недавно поэкспериментировать с YaGPT, и в процессе я частенько сталкивался с галлюцинациями этой нейросетки. Поразмыслив на эту тему, я пришел к выводу, что "когнитивные искажения в человеческом мозге" и "галлюцинации в больших языковых моделях (LLM)" - суть вещи одного порядка и имеют общее происхождение. Ну, по крайней мере, в определенных сценариях.

Подробнее о том, чему рационалисты могут научиться у специалистов по ML (и наоборот) - в этой заметке:
https://telegra.ph/Gallyucinacii-LLM-i-kognitivnye-iskazheniya---dve-storony-odnoj-medali-12-12

На КДПВ - один из моих первых опытов общения с YaGPT-1.
#LW_вики

В этом году я написал совсем немного постов - отчасти из-за того, что уйму времени потратил на работу над мега-постом про безопасность ИИ, а отчасти - потому что много писал не в канал, а в вики русскоязычного рацио-сообщества. Началось всё с того, что мне захотелось иметь возможность поставить в посте ссылку на "эпистемический статус" и "эпистемическое усилие", а подходящей статьи в интернете не было - и, как водится, пришлось написать ее самому (а заодно и узнать, как же, черт возьми, в вики создавать новую страницу). Ну и тут всё заверте...

По странице "Вклад" на вики я подсчитал, что сделал за это время суммарно правок на +149.732 и -1.671 символов, а это, на секундочку, по объему как 10 постов "Насколько сложно менять(ся)". Что-то перекочевало из моих постов в этом канале (раз уж я хорошо разобрался в проблеме, то почему бы не осветить ее и в вики?): Калибровка и Калибровочное ЧГК, Теорема Ауманна и Игра Ауманна о согласии, Охота на оленя (пока в сильно сокращенном виде) и Безопасность искусственного интеллекта (и много-много ссылок на релевантные материалы).

Из страниц же на новые темы, которые я написал целиком или почти целиком сам (все-таки вики - это коллективное творчество), я - в качестве компенсации за отсутствие постов в канале - могу посоветовать вам прочитать вот эти (достаточно большие и содержательные):
* Уровни симулякров - про интересную концепцию о том, как люди постоянно говорят одно, а транслируют сообщение совсем о другом;
* Ask, Guess, Tell Culture - про разные культуры коммуникации: "резать правду-матку словами через рот" vs "попробуй угадать, что я имею в виду", их плюсы и минусы, и какой ужас творится при столкновении двух разных культур;
* Дилемма заключенного - далеко не только про классическую, но и про повторяющуюся, и про вариацию с доступом к исходному коду своего оппонента;
* Общее знание - на этой концепции основана теорема Ауманна, а еще Охота на оленя, и вообще это очень важная штука, полезная много где (а еще в статье есть про то, как островитяне-байесианцы бросаются в жерло вулкана, узнав цвет своих глаз);
* AI Boxing - про классическое "Вы боитесь, что ИИ вас уничтожит? А почему бы вам просто не запереть его в песочнице/Матрице, чтобы он не мог ничего сделать в реальном мире?" и почему это не работает.

Конечно, было много и мелких статей, и небольших доработок, и правок самой структуры вики. Так, по итогам примерно года моей активной работы над этой конструкцией целиком, мне, пожалуй, удалось существенно облагородить ее в некоторых моментах (впрочем, и фундамент, заложенный изначальными создателями вики, уже был весьма хорош - но работы оставался еще непочатый край):
* помимо написания новых статей я улучшал и актуализировал старые;
* переработал Глоссарий и добавил Запросы на создание страниц;
* дорабатывал структуру категорий;
* провел в Байесовом саду и КЗиСе голосование за присвоение некоторым страницам статуса "Золотая страница", и по результатам - раздал статьям-победителям соответствующие лычки;
* на основе всей предыдущей работы - переформатировал заглавную страницу вики: оформил ее в виде блоков и добился того, чтобы в каждом блоке было сравнительно немного страниц, но зато не было ничего лишнего и неактуального; теперь там только то, что действительно достойно чтения (а статьи на более специфические темы можно найти либо поиском, либо через дерево категорий, ссылка на которое есть внизу заглавной страницы).

Так что если года два-три назад вы заходили на вики и прочитали там всё, что было стоящего - загляните туда еще раз: наверняка найдете что-то новое и заметите некоторые улучшения!

А еще я записал видео-гайд по тому, как писать и редактировать статьи на этой вики. С момента записи гайда я узнал по теме кое-что новое, но это уже детали и рюшечки, а в гайде - вечно актуальная база. Если вы тоже хотите приложить руку к улучшению вики (между прочим, сейчас над ней работают и другие участники, далеко не я один), то обязательно начните с просмотра этого видео - а дальше уже будет гораздо проще!
#продуктивность #ситхские_техники #совет_недели

В чате ситхских техник (встречи по которым проходят, страшно сказать, уже три года) я на прошлой неделе решил завести рубрику "Совет недели [как улучшить свою личную продуктивность]". Нулевой совет довольно банален: "нужно хорошо спать, вовремя есть, достаточно гулять". Следующий, уже более полноценный, совет оказался более объемным, так что я решил оформить его отдельной статьей и принести заодно и в свой канал.

Так что представляю вам первый полноценный пост из (надеюсь) еженедельной серии: если вы находитесь в низкоресурсном состоянии, то начните работу по повышению личной продуктивности с того, что сделайте несколько задач, которые можно сделать за пару минут (и которые вы откладываете уже пару дней-недель-месяцев). Подробности, примеры и шестеренки - в статье:
https://telegra.ph/Sithskij-sovet-nedeli-1-razberites-s-melochyu-04-04
#продуктивность #ситхские_техники #совет_недели

Итак, продолжаем еженедельную традицию советов по личной продуктивности. Если в прошлый раз мы говорили о том, как в низкоресурсном состоянии сдвинуться с мертвой точки за счет выполнения мелких задач, то сегодня речь будет идти о том, как переходить к более объемным задачам с помощью разбиения их на мелкие подзадачи.

https://telegra.ph/Sithskij-sovet-nedeli-2-nachinaem-prodvigatsya-malymi-shagami-04-12
#продуктивность #ситхские_техники #совет_недели

На прошлой неделе мы рассматривали, как повысить нашу личную продуктивность за счет разбиения сравнительно объемных задач на мелкие подзадачи. Сама по себе эта практика довольно полезна для раскручивания спиралей успеха с низкой базы и перехода на немного более продвинутый уровень; но если таких малых шагов в день или неделю мы будем делать недостаточно, то уйдем не так уж далеко. В сегодняшней статье мы рассмотрим самые базовые подходы к тому, как увеличить концентрацию таких слотов продуктивности в нашей жизни - и, как следствие, ускорить процесс реализации наших целей и ценностей.

https://telegra.ph/Sithskij-sovet-nedeli-3-probuem-chashche-nahodit-sloty-vremeni-dlya-delaniya-del-04-20
#продуктивность #ситхские_техники #совет_недели

Чтобы еще чаще делать шаги в направлении реализации наших целей, было бы неплохо высвободить побольше времени и когнитивного ресурса там, где мы тратим их без всякой пользы. А это значит, что нынешний совет недели по повышению продуктивности будет посвящен борьбе с излишним залипанием в ленте, видео, играх и тому подобных вещах. Прежде чем подробнее раскрыть некоторые конкретные актуальные подходы, мы рассмотрим шестеренки соответствующих ментальных процессов - однако, один вполне практический совет сегодня тоже будет.

https://telegra.ph/Sithskij-sovet-nedeli-4-nachinaem-menshe-zalipat-04-26
#продуктивность #ситхские_техники #совет_недели

Как следует разобравшись с шестерёнками процесса залипания в соцсети/чаты/новости/игры в прошлой статье, в этот раз мы сосредоточимся на практических советах о том, как либо меньше залипать, либо залипать, но делать это более продуктивно (!).

Обещаю - всякого буллшита вроде "соберись, тряпка!" или других советов, которые никогда ни у кого не работают (если только вы уже не настолько продуктивны, что "а я и не разбираюсь"), либо же работают пару дней исключительно на эффекте новизны и связанном с ним первоначальном воодушевлении. Нет, в моём сегодняшнем посте - только штуки, которые работают хотя бы для меня [и, как минимум, для людей, похожих на меня - но не только], и при этом надёжны в своей простоте и непритязательности.

https://telegra.ph/Sithskij-sovet-nedeli-5-zalipaem-mensheproduktivnee-05-05

P.S. В этот раз совет недели по техническим причинам немного припозднился, но со следующей недели я рассчитываю вернуться к уже привычному расписанию постов по субботам.
#продуктивность #ситхские_техники #совет_недели

Вы могли заметить, что предыдущие советы недели относились к постепенно всё более высоким уровням продуктивности. И, конечно, советы, предназначенные для одного уровня, будут едва ли применимы к другому. В сегодняшней статье я рассматриваю развитие мета-навыка, который позволит гибко адаптировать наши стратегии под текущую ситуацию - в частности за счет выбора наиболее подходящих стратегий для нашего актуального уровня продуктивности.

https://telegra.ph/Sithskij-sovet-nedeli-6-kazhdomu-urovnyu-produktivnosti---svoj-pattern-05-11
#почитать #теория_игр

Маленькие радости байесианца, попытка номер два.

Три года назад я купил совершенно бессмысленную и беспощадную мангу якобы про байесовскую статистику (на самом деле если бы она была про абырвалговскую статистику, и все формулы были бы заменены на случайное сочетание символов, ничего бы не поменялось).

В этот раз я нашёл что-то более перспективное. Полистал книжку - и там, похоже, описаны вполне толковые вещи простым языком. Скорее всего, когда я наконец доберусь до курса Савватеева по теории игр, я узнаю суммарно больше, но для книги с картинками уровень весьма и весьма приличный. По крайней мере, предварительно; ну а как почитаю - будет видно.