Странно, но подавляющее большинство эпидемиологов по всему миру даже в феврале 2020 года не предсказывали, что коронавирус перерастёт в пандемию, приведёт к колоссальным жертвам, карантину и глобальному финансовому кризису. Тревогу били в основном не эпидемиологи, а другие учёные и эксперты (финансисты, социологи, предприниматели), большинство из которых объединяли два важных качества — знание методов рационального мышления и умение управлять рисками.

Например, Элиезер Юдковский (главный мыслитель в сфере рациональности в мире, автор "Гарри Поттера и методов рационального мышления") ещё в январе писал обеспокоенные твиты про коронавирус и призывал всех готовиться к худшему, но почти все над ним смеялись (признаться, я тоже думал, что Юдковский паникует на ровном месте).

Делюсь мастридом от блогера-рационалиста Скотта Александера о том, как так получилось и какие выводы можно сделать из ситуации для того, чтобы в будущем заблаговременно адекватно оценивать риски (не обязательно в сфере пандемий): slatestarcodex.com/2020/04/14/a-failure-but-not-of-prediction

Почитайте ещё статью от Vox (на неё ссылается Скотт) о том, что пошло не так с журналистским освещением пандемии и как в следующий раз предотвратить совершённые журналистами ошибки: vox.com/recode/2020/4/13/21214114/media-coronavirus-pandemic-coverage-cdc-should-you-wear-masks

Увы, как сказал экс-губернатор штата Юта и эксперт в здравоохранении Майкл Ливитт, "всё, что ты говоришь заблаговременно, до пандемии, звучит как нагнетание ситуации. Зато если ты ждёшь начала пандемии и начинаешь действовать только тогда, это особо не помогает".

Надеюсь, нынешняя ситуация поможет нам всем хотя бы немного прокачать свою рациональность и оценку рисков.

#рационалист_мастрид

Писатель и историк Юваль Харари в своей новой колонке для Guardian во многом дублирует тезисы из моего недавнего поста. Харари доказывает: пандемия должна привести к тому, что люди станут чаще думать о необходимости борьбы с угрозами для своей жизни. В том числе, возможно, о необходимости победить смерть как явление: theguardian.com/books/2020/apr/20/yuval-noah-harari-will-coronavirus-change-our-attitudes-to-death-quite-the-opposite

Интересное сравнение из текста: в разгар эпидемий чумы в Средние века отношение людей к жизни становилось более фаталистичным. В основном люди принимали жизненные испытания и смерть близких со смирением и обосновывали это всё "божьим промыслом". "На всё воля божья", "это божья кара" и так далее. У современных психологов есть термин для такого состояния – выученная беспомощность.

Сейчас же реакция на болезни и эпидемии у большинства образованных людей противоположная – деятельная. Люди принимают меры, строят больницы, разрабатывают вакцины. Кто-то даже призывает к радикальному переустройству общества для предотвращения таких катастроф (вспомните пламенный мастрид от Марка Андриссена, про который я писал позавчера: t.me/mustreads/2458).

Правда, как пишет Харари, у многих на смену религиозной вере, когда-то игравшей роль "защитного механизма" посреди чумных эпидемий, пришла слепая вера во всемогущество науки. Увы, пока наука не может спасти всех и тем более обеспечить всем бессмертие – во всяком случае, в ближайшее время.

Но всё же отдельно замечу: сравнивать науку и религию в этом контексте не совсем правильно. Религиозные постулаты нефальсифицируемы, т.е. их нельзя ни подтвердить, ни опровергнуть экспериментальным методом (как существование знаменитого "чайника Рассела"). В противовес этому, учёные не принимают научные теории на веру, а тестируют их и проверяют, можно ли создать вакцину от какого-то вируса и если да, как именно она будет работать. Настоящий сторонник научного метода и рационалист должен уметь признавать свои ошибки и менять свои убеждения, если они не подтверждаются экспериментально. Как бы это ни было тяжело и больно.

#трансгуманист_мастрид #рационалист_мастрид

Слышали про эффект Даннинга-Крюгера? Чем менее умён и образован человек, тем больше он уверен в том, что разбирается в любом вопросе. И тем меньше способен осознавать и признавать свои ошибки. Классический пример — таксист, утверждающий, что именно он лучше всех мог бы управлять страной. Или необразованные, но фанатично уверенные в своей правоте люди, уничтожающие сегодня по всему миру вышки 5G-связи во имя борьбы с коронавирусом.

При этом фактические аргументы на таких людей не действуют. Точнее, большинство интеллектуалов так считают и написали об этом множество статей. Если ввести в поисковой строке arguing with Trump supporters is ("спорить со сторонниками Трампа — это"), Гугл предложит вам продолжить фразу разными синонимами слов "невозможно" или "бесполезно" и прочесть десятки статей американских журналистов на тему.

Тем не менее, блогер-рационалист Скотт Александер (Slate Star Codex) утверждает: проблема в том, что вы даже не пытаетесь нормально спорить. Вместо того чтобы всерьёз дискутировать со сторонниками Трампа (или, скажем, Путина), вы сразу начинаете их принижать и высмеивать, априори не воспринимаете их всерьёз и ставите себя выше их. Вы не готовы допустить даже небольшой вероятности собственной неправоты -- хотя бы частичной.

Вот пять правил корректной дискуссии от Александера, которые нарушаются в 99,9% интернет-дискуссий — хотя это необходимый минимум, без которого дискуссия просто невозможна. Итак, дискуссия возникает, когда два человека:

(1) решили встретиться (очно или заочно) и действительно выслушать друг друга, и это обоюдное желание
(2) оба хотят продуктивного диалога
(3) уважают друг друга и общаются для совместного поиска истины
(4) общаются без стремления "набирать очки" за счёт друг друга
(5) согласны, что именно они обсуждают, и каждый старается придерживаться темы.

В статье эти правила раскрыты подробнее. Александер доказывает: если действительно их соблюдать, можно побудить человека изменить своё мнение. Но, естественно, не сразу.

"Сначала они игнорируют тебя. Потом смеются над тобой. Потом они сражаются с тобой. Потом они сражаются с тобой уже не так настойчиво. Потом они нейтральны. А потом они неохотно говорят, что, хотя ты раздражаешь, в твоих словах есть зерно истины. А потом говорят, что в целом ты прав, хотя и упускаешь некоторые из наиболее важных аспектов рассматриваемой проблемы. И потом ты побеждаешь".

От себя добавлю, что во многом не согласен с акцентами, расставленными автором. Зачастую даже самая логичная, уважительная и корректная аргументация не действует на людей. А в публичных дискуссиях побеждает тот, кто более уверен в себе и находчив, а ещё кто менее разборчив в выборе полемических приёмов и готов опускаться до переходов на личность (т.н. argumentum ad hominem) и прочих логических ошибок. Иначе ни Трамп, ни Жириновский не сделали бы политическую карьеру.

Даже не в публичных дебатах, а почти в любых спорах чаще всего побеждают не факты, а эмоциональный сторителлинг, подкреплённый "черри-пикингом" аргументов — например, сознательным отбором только той статистики, которая подтверждает твою точку зрения, и отбрасыванием любых данных, которые идут с ней вразрез. Но это не означает, что эссе Александера плохое — в нём всё же есть много отличных мыслей и идей, да и правила корректной дискуссии от автора можно и нужно использовать — просто не во всех ситуациях.

В арсенале рационалиста должны быть разные орудия, стоит уметь обращаться со всеми из них и понимать, когда использовать какое из них. А иногда умело комбинировать безукоризненную логическую аргументацию и пламенную эмоциональную риторику.

Оригинал мастрида на английском: slatestarcodex.com/2017/03/24/guided-by-the-beauty-of-our-weapons

Русский перевод: lesswrong.ru/w/Ведомые_красотой_своих_орудий

#рационалист_мастрид #полит_мастрид #золотой_фонд_мастридов

Люди в интернете не умеют спорить. Да и в офлайне тоже – не все ходили в секцию дебатов или читали книги о логике и аргументации, а дискуссионные передачи по ТВ и политики-популисты подают совсем не правильный пример.

Почитайте классический мастрид об аргументации от Пола Грэма (инвестора из Кремниевой долины, написавшего много культовых мастридов, в том числе “How to Start A Startup” – текст, вдохновивший Дурова на создание VK).

Грэм пишет об иерархии способов не согласиться с человеком: от троллинга и переходов на личности (ad hominem) до правильных методов дискуссии.

Если все мы будем следить за то, какими методами мы оперируем при споре, всем станет проще и споры станут конструктивнее. И не забывайте одёргивать оппонента по дискуссии, когда он допускает логические ошибки в аргументации.

Оригинал: paulgraham.com/disagree.html

Рус. перевод: habr.com/ru/post/31489

#рационалист_мастрид

Полезные постеры со списком логических ошибок: t.me/mustreads/1235 (англ.) и t.me/mustreads/1237 (рус.)

Я уже неоднократно рекомендовал вам свою любимую книгу, одну из самых влиятельных книг современности — «Гарри Поттер и методы рационального мышления», фанфик по Гарри Поттеру, написанный одним из крупнейших в мире экспертов по искусственному интеллекту и главным рационалистом мира Элиезером Юдковским. Когда меня спрашивают, с чего начать знакомство с основами рационального мышления, я всегда советую ГПиМРМ. Помимо доступно изложенного введения в рациональность, в этой книге есть захватывающий сюжет, который даст фору оригинальной работе Дж. Роулинг (при всей моей детской любви к ней).

Сегодня дам рекомендацию для тех, кто прочитал ГПиМРМ и кому она понравилась (а таких большинство – я до сих пор регулярно получаю сообщения от подписчиков с благодарностью за то, как эта книга и методы рационального мышления изменили их жизнь).

Фанфик Significant Digits (в русском переводе "Значащие цифры") от автора, пишущего под псевдонимом Anarchy is Hyperbole — продолжение книги Юдковского, которое самому Юдковскому нравится больше, чем собственноручно написанный им эпилог. Это мета-фанфик (фанфик на фанфик), но с художественной точки зрения произведение выдающееся, блестяще написанное с точки зрения и сюжета, и стиля, и глубины идей. На днях перечитал эту книгу залпом во второй раз и снова в этом убедился.

Действие разворачивается спустя 7 лет после окончания ГПиМРМ. Спойлерить не буду, скажу лишь, что все основные сюжетные линии, заложенные в концовке оригинального фанфика, получат интересное и реалистичное развитие, интриги и мета-интриги выйдут на ещё более продвинутый уровень, а применять навыки рациональности героям придётся во всё более сложных ситуациях. Заметно, что автор энциклопедически образован, свободно жонглирует отсылками к разным языкам, наукам, историческим периодам и, конечно, прикладной рациональности.

В общем, мастрид для всех ценителей творчества Юдковского и отличный пример рационалистической прозы.

Оригинал: anarchyishyperbole.com/2015/04/significant-digits-chapter-one.html?m=1

Русский перевод (среднего качества, но другого нет): fanfics.me/read.php?id=106746&chapter=0

#ридлист #рационалист_мастрид #книжный_мастрид

P.S. Другие мои книжные рекомендации можно увидеть в моём инстаграме: instagram.com/mustreader

Влад Муравьев, автор одного из моих любимых блогов @darwinlovesyou, написал отличный мастрид про то, почему выбор — это ошибка мышления, и как избегать навязываемых тебе ситуаций выбора: darwinlovesyou.org/choices

"Выбор между А и B — это ложная дилемма.

Всегда есть варианты C, D, E, F, и далее по алфавиту. Многие из этих букв лучше, чем А и В вместе взятые.

Я расскажу, почему фреймворк "выбор" — это симптом сбоя в мышлении. Из-за этого бага нас грызут сомнения, и из-за этого бага мы ведем себя иррационально.
Также я расскажу, как навсегда отказаться от интеллектуальной операции "выбор", и почему это есть смысл сделать (как бы радикально это ни звучало). Я расскажу про рефрейминг "выбора" — и благодаря рефреймингу A и B упадут со своей трубы, освободив место для альтернатив..."

Напоминаю, что Влад будет одним из спикеров онлайн-вечеринки в честь пятилетия "Мастридов" 12 июня, зарегистрироваться на которую можно и нужно здесь: t.me/mustreads/2512

#успех_мастрид #рационалист_мастрид

Пион и Данила Медведевы разработали манифест усиления интеллекта: teletype.in/@pionmedvedeva/au_int_manifesto

Я написал бы этот текст в чуть другом стиле, используя поменьше сложных терминов и профессионализмов, но это дело вкуса. С точки зрения сути и структуры это отличная работа и настоящий мастрид.

В тексте рассматривается:

- из чего складывается интеллект

- какие есть уровни развития интеллекта и как определить, на каком уровне вы находитесь

- как развивать отдельные навыки, составляющие ваш интеллект: решение проблем, взаимодействие с людьми, организацию своих дел и времени, обучение, моделирование реальности, внимание, осознанность и др.

- как сделать процесс усиления интеллекта неотделимым от своей жизни.

Уточню один момент по тексту. Авторы несколько раз говорят про экзокортекс. С греческого этот термин переводится как "вне коры" (головного мозга). В будущем, скорее всего, у всех желающих появится полноценный компьютерный экзокортекс, усиливающий возможности мозга (как раз над этим работает Илон Маск в своём проекте Neuralink). Но уже сегодня у большинства есть постоянно находящиеся под рукой экзокортексы — смартфоны и компьютеры. Больше не нужно держать в голове огромные массивы информации — для этого есть Гугл.

Так что мы все уже немного трансгуманисты и давно улучшаем интеллект с помощью технологий. Кстати, домашняя библиотека — это тоже своего рода экзокортекс для каждого из нас.

Вот ещё несколько ссылок для тех, кого заинтересовала тема улучшения интеллекта:

1) мастрид "12 добродетелей рационалиста" про основные навыки, составляющие рациональное мышление: t.me/mustreads/986

2) мастрид с большой подборкой полезных ментальных моделей: t.me/mustreads/665

3) понятное объяснение теоремы Байеса на английском и на русском: t.me/mustreads/1692 (если вы не совсем понимаете, что означает "байесианство" из текста Медведевых, обязательно изучите)

4) про нынешний статус проекта Neuralink и перспективы создания экзокортекса советую посмотреть недавний видеоподкаст Рогана с Маском: t.me/mustwatch/808

#рационалист_мастрид #трансгуманист_мастрид

3. У скольких процентов заражённых коронавирусом бывают такие же симптомы

Хотя описание моих симптомов похоже на типичное описание начальной стадии COVID-19, не у всех заражённых коронавирусом симптомы совпадают с моими.

Кто-то переносит болезнь бессимптомно — по подсчётам экспертов, это происходит в половине или даже в большинстве случаев. У кого-то симптомы отличаются от моих — сразу резко повышается температура. С учётом всего этого предположим, что примерная вероятность, что у заражённого ковидом человека будут подобные моим симптомы — около 25%.

4. Применение теоремы Байеса

Возьмём 10 тысяч случайно отобранных москвичей. Из них 4 процента, т.е. 400 человек, прямо сейчас заражены коронавирусом. И 96 процентов, т.е. 9600 человек, не заражены.

Из людей, заражённых коронавирусом, такие же симптомы, как у меня, будут у четверти, то есть у 100 человек (25% от 400).

А ещё такие же симптомы будут у одного процента москвичей, не заражённых коронавирусом, то есть у 96 человек (1% от 9600).

Получается, в итоге из 10 тысяч случаев такие симптомы будут у 100+96=196 москвичей. При этом у 100 их них будет ковид, а у 96 из них его не будет.

Таким образом, если у меня такие симптомы, это означает, что у меня коронавирус с вероятностью 51% (100:196=0,51).

Конечно, эти расчёты основываются на слишком многих предположениях. Мы не знаем точное число коронавирусных заражённых в Москве, точную цифру обычных людей с похожими симптомами я тоже предположил и не уверен в её точности. Скорее всего, какие-то числа в моих расчётах неверны, я не претендую на абсолютную точность.

Но, судя по всему, порядок чисел верен и достаточно серьёзная вероятность ковида у меня есть. Именно поэтому я сегодня не иду на день рождения к своему другу Владу Муравьёву, а поздравляю его удалённо. Влад, ты классный парень и отличный друг, респект! Кто не подписался на канал Влада @darwinlovesyou, настоятельно рекомендую — это один из моих любимых блогов.

Параллельно я жду результата ПЦР-теста (мазка). Есть дополнительный фактор, подтверждающий мои опасения: два члена моей команды тоже разболелись на днях (они тоже будут проверяться).

Вывод

Скорее всего, даже если я заражён, я перенесу вирус легко — в группу риска я не вхожу. Просто придётся посидеть немного дома и полечить симптомы. Берегите себя и по возможности соблюдайте самоизоляцию. И особенно берегите пожилых и больных родственников — им точно надо сидеть дома.

Следить за развитием моей ситуации (и за постами про книги и биохакинг) можно в моём инстаграме: instagram.com/mustreader. Сегодня в 17:00 по Москве проведу там стрим с ответами на ваши вопросы.

#рационалист_мастрид

Интересное исследование "Яндекса" со сравнением того, что выгоднее: покупка машины, такси или каршеринг — yandex.ru/company/researches/2020/auto-cost. Анализируются самые разные авто: от "Лады" до "Майбаха". Ещё можно поиграть с ползунком пробега — в зависимости от того, сколько километров в год вы планируете проезжать, результаты сравнения меняются.

Базовый вывод: в Москве купить авто стоимостью до миллиона рублей получается выгоднее и такси, и каршеринга. Если машина стоит 2-3 млн, то каршеринг может быть выгоднее, но такси аналогичной модели обойдётся дороже.

Согласно исследованию, почти во всех моделях главная статья расходов на владение автомобилем — это амортизация (ежемесячная потеря его стоимости). Как пишут авторы, за 3 года стоимость машин падает на треть, за 5 лет — в 2 раза. Самое сильное снижение происходит в первый год (в среднем на 18 %).

К этому пункту больше всего вопросов: я знаю немало случаев, когда люди покупали подержанное авто и продавали его спустя несколько лет по практически такой же цене, по которой покупали. Авторы исследования почему-то рассматривали вариант покупки именно нового авто, хотя правильнее было бы рассмотреть и другие варианты. Думаю, тогда амортизация была бы меньшей и владеть машиной было бы чуть выгоднее.

Понятно, что "Яндекс" продвигает идею о преимуществах такси и каршеринга, чтобы получать больше клиентов, поэтому он мог хитро обойтись со статистикой, чтобы прийти к более выгодным для себя выводам. Но, судя по всему, основные выводы исследования в любом случае верны: для очень многих людей покупка авто сегодня — нецелесообразная трата денег. Причём в исследовании даже не говорится о стоимости платной парковки (особенно в Москве, где эта статья расходов весьма существенна).

А ещё не говорится о стоимости времени, которое вы экономите, делегируя свою доставку из пункта А в пункт Б таксисту. Именно поэтому я в основном перемещаюсь на такси и не покупаю машину: за сэкономленное время можно заработать больше денег, потому что твой час стоит больше часа работы таксиста. А когда хочется съездить с друзьями в автопутешествие, всегда можно взять авто в аренду.

#рационалист_мастрид

Принёс вам абсолютный мастрид от Элиезера Юдковского, главного рационалиста современности и автора культовой книги «Гарри Поттер и методы рационального мышления».

В 2009 году Юдковский написал повесть Three Worlds Collide (в русском переводе – «Тройной контакт»). Завязка такая: в далёком будущем космический корабль землян внезапно стакивается с двумя инопланетными цивилизациями одновременно. Причём морально-этические ценности каждой из этих цивилизаций кардинально отличаются от норм, общепринятых на Земле.

Представители первой из встреченных инопланетных цивилизаций едят своих детей – в их системе ценностей это правильно, этично и даже благородно.

Представители второй цивилизации, наоборот, относится к человеческой этике с таким же осуждением и ужасом, с которыми земляне сталкиваются, узнав о пожирателях детей.

В результате возникают неразрешимые этические противоречия. От исхода этой сложнейшей ситуации зависит будущее всех трёх цивилизаций. Захватывающий сюжет, глубокие философские вопросы, примеры применения методов рационального мышления на практике, размышления о будущем человечества – в общем, классический Юдковский. Очень советую, читается на одном дыхании (всего 56 страниц, можно осилить за вечер).

Книга опубликована в бесплатном доступе на английском здесь: robinhanson.typepad.com/files/three-worlds-collide.pdf

Есть русский перевод: samlib.ru/i/ibatullin_r_u/3worldscollide.shtml

#рационалист_мастрид

Иногда полезно "подниматься над схваткой" и смотреть на ситуацию с высоты птичьего полёта.

Мы все наслышаны о том, что происходит в мире на микроуровне: в США новый президент принёс присягу, в России в очередной раз арестовали Навального, ежемесячная аудитория Тик-Тока достигла миллиарда человек, SpaceX запустил новый спутник.

Если подняться чуть выше, то можно получить такой helicopter view: в России коррумпированные клептократы продолжают годами цепляться за власть, в США происходит резкий разворот политики во многих ключевых сферах, Китай с помощью подконтрольных государству ИТ-компаний строит технодиктатуру, а Илон Маск — потенциально многотриллионную межпланетную корпорацию.

Но что если подняться ещё выше и посмотреть на то, куда в целом идёт мир сегодня? Какой нарратив сейчас главный для мира и какая повестка будет определять его развитие в ближайшие десятилетия или даже в целом определит дальнейшую судьбу человечества?

Наткнулся на неплохую попытку систематизировать пару десятков таких возможных нарративов на форуме рационалистов LessWrong. Почитайте: lesswrong.com/posts/qGceZXtQoMuiJ2cxN/what-is-going-on-in-the-world

В списке упомянуты: сингулярность, ИИ, космос, биотехнологии, экзистенциальные риски, теория симуляции, упадок западной цивилизации, неэффективность правительств и так далее. Хотя я бы много что добавил в список — в комментариях есть ещё несколько отличных тезисов — но идея очень правильная, надо чаще думать о таких глобальных нарративах.

#тренд_мастрид #рационалист_мастрид

В продолжение темы: Элиезер Юдковский написал пост о нынешней ситуации и о том, что это беспрецедентный момент для всего человечества, потому что 100 тысяч не знакомых друг с другом человек объединили свои усилия в своего рода глобальной "дилемме заключенного", отказываясь преждевременно продавать свои акции. Интересный взгляд на эту историю: yudkowsky.medium.com/r-wallstreetbets-is-trying-something-unprecedented-in-history-and-the-medias-not-reporting-it-7ab507e4a038

#рационалист_мастрид #тренд_мастрид #фин_мастрид

Представьте, что существует невероятно мощный суперкомпьютер. Настолько мощный, что он может просчитать все варианты ходов и позиций на шахматной доске и по сути целиком "решить" эту игру, зная оптимальный ход в любой ситуации.

Напомню: шахматных позиций больше, чем атомов во Вселенной. ИИ давно уже обыгрывает гроссмейстеров, но ни одна шахматная программа пока не может в начале игры предвидеть финальную позицию.

А что, если взять не шахматы, а жизнь, и попробовать просчитать и "решить" её? По сути жизнь тоже состоит из своего рода "ходов" и "комбинаций", которые проявляются во всевозможных перемещениях атомов по Вселенной. Все эти ходы и комбинации — всю информацию, все события, даже мысли можно при большом желании перевести в двоичный код и записать.

Я только что закончил читать один из умнейших и сложнейших мастридов за долгое время — большой текст Элиезера Юдковского про теорию индуктивного вывода Соломонова. Согласно этой теории, если у человечества будет неограниченные вычислительные ресурсы и правильно написанная программа, мы сможем предсказывать вероятности наступления любых событий (всё это основано на бритве Оккама и теореме Байеса). Это был бы самый настоящий искусственный интеллект.

Понятно, что на практике такие вычислительные мощности недостижимы, но нам вряд ли понадобится просчитывать положение каждого атома во Вселенной, чтобы в общих чертах прогнозировать будущее и принимать верные решения. Возможно, в будущем мы сможем использовать идеи Соломонова (и Юдковского) при разработке ИИ, который не будет сверхсильным, но будет существенно превосходить возможности всего человечества.

Если у вас хороший английский и сильный математический аппарат, обязательно прочтите мастрид про соломоновскую индукцию: lesswrong.com/posts/EL4HNa92Z95FKL9R2/a-semitechnical-introductory-dialogue-on-solomonoff-1. Текст написан в формате диалога двух воображаемых учёных: энтузиаста и скептика.

Я сам понял не все этапы рассуждения (в тексте много математических формул, кода и достаточно сложных концепций), обязательно буду перечитывать текст.

PS. Раньше я периодически пользовался таким мысленным экспериментом для принятия важных решений: как бы на моём месте поступил Илон Маск? Бенджамин Франклин? Элиезер Юдковский? Или идеальный сферический рационалист в кубе? Теперь в обойму моих мысленных экспериментов добавился ещё один: как бы поступил на моём месте идеальный "соломоновский" ИИ? Берите на вооружение!

#золотой_фонд_мастридов #рационалист_мастрид #ИИ_мастрид

Меня часто спрашивают: что почитать, чтобы начать изучение методов рационального мышления?

Скоро сделаю серию роликов на тему, а пока делюсь текстом, который сам перечитываю раз в несколько месяцев уже годами. Его полезно сохранить и иметь под рукой, это своего рода заповеди рационалистов (хотя и без эзотерически-религиозного подтекста).

Текст называется "12 добродетелей рационалиста", автор — Элиезер Юдковский, один из главных мыслителей современности в этой сфере, про которого я здесь уже много писал.

Оригинал на английском: yudkowsky.net/rational/virtues/

Русский перевод: bit.ly/2mYJznc

Если вам интересно, как прокачать навыки рационалиста, почитайте другие работы Юдковского или хотя бы их пересказы, которые я уже публиковал здесь под тегом #рационалист_мастрид

Представьте мысленный эксперимент.

Вас запустили в лабораторию, в которой находится кнопка. Если вы нажмёте на неё, в одном случае из 5 миллионов вы немедленно умрёте. В остальных 4 999 999 случаях ничего не случится.

Вам предлагают деньги за то, чтобы вы нажали кнопку. За сколько вы готовы её нажать? Или, возможно, вы не готовы сделать это ни за какие деньги?

Удивительно, но многие отвечают на этот вопрос «не нажму ни за какие деньги» или «нажму только за миллион долларов». Вероятность умереть «1 к 5 миллионам» – примерно такая же, как вероятность умереть за 5 минут обычной поездки на автомобиле. То есть, соглашаясь сесть в автомобиль, чтобы за 5 минут доехать до магазина, вы по сути соглашаетесь нажать такую кнопку. На практике люди делают это бесплатно или за символическую сумму. Магазин находится рядом? Многие не будут заказывать курьера за 300 рублей, а быстро прокатятся за продуктами.

Поэтому, естественно, рационально нажать эту кнопку даже за небольшую сумму. Скажем, если вы невероятно цените свою жизнь, то за 100 долларов (тогда получится, что вы оценили стоимость своей жизни в 500 миллионов долларов). Но если вы поступаете так в этом эксперименте и действительно так цените свою жизнь, для вас рационально и в других сферах жизни вести себя соответственно и лишний раз не рисковать даже за большие деньги.

Это важный мысленный эксперимент, потому что он позволяет осознать: у человеческой жизни есть денежный эквивалент. И речь не о ценности жизни (value), т.к. она для многих людей бесконечна, а именно о цене (price). Разница между этими понятиями очень важна.

На сегодня стоимость жизни радикально различается в разных регионах. В Африке, например, ребёнка можно спасти от малярии в среднем за пару тысяч долларов, а в США средняя стоимость спасения жизни – несколько миллионов долларов. Аналогичным образом различаются суммы, которые выплачиваются государством или страховыми компаниями в случае гибели человека. Но в любом случае какой-то ориентир по цене есть.

Представьте другой мысленный эксперимент – при нажатии кнопки умрёте не вы, а случайный прохожий. За сколько вы готовы её нажать? Здесь всё становится ещё сложнее (похоже на дилемму вагонетки, да?). Но если вы отказываетесь нажать кнопку даже за большие деньги и если вы при этом не тратите свои сбережения на спасение жизней других людей, с вашей логикой что-то не так.

Скажем, если вам предложили тысячу долларов за нажатие кнопки, вы должны нажать её. Иначе получается, что вы оцениваете стоимость чужой жизни в более чем 5 миллиардов долларов (1000 $ x 5 млн = 5 млрд $). А если вы действительно так высоко оцениваете чужую жизнь, почему вы тогда не жертвуете свободные деньги в Фонд борьбы с малярией, спасающий каждый год тысячи африканских детей по средней цене в несколько тысяч долларов за жизнь? Получается, вы ведь сможете купить что-то, что вы оцениваете в 5 миллиардов, всего за 5 тысяч – можно сказать, за бесценок!

Важно: всё это не отменяет высочайшей ценности (не цены) жизни. Религиозные и нерелигиозные люди, гуманисты и трансгуманисты сплошь и рядом говорят о том, что жизнь бесценна, и я склонен с ними согласиться. Но это «бесценна» – скорее не priceless, а invaluable (в английском терминологическое различие чувствуется лучше). Увы, на практике в условиях реального мира каждому из нас приходится постоянно сталкиваться с тем, что денег и ресурсов на спасение всех не хватает и нужно выбирать приоритеты.

Почитайте классический мастрид от одного из самых уважаемых рационалистов мира Нейта Соареса, где он в красивой притче раскрывает суть этой проблемы и рациональное решение. А ещё обосновывает, почему нормально даже в самые ужасные времена веселиться, наслаждаться жизнью и тратить деньги не только на борьбу со злом и почему это не отменяет необходимость такой борьбы. Сегодня этот текст особенно актуален.

Рус. перевод: lesswrong.ru/453
Англ. оригинал: mindingourway.com/the-value-of-a-life/

#альтруист_мастрид #рационалист_мастрид #золотой_фонд_мастридов

В Клубе Мастридеров (вступить в который можно здесь) в очередной раз завязалось обсуждение Джордана Питерсона. Интересная всё-таки фигура.

Я уже писал здесь о многочисленных фактических ошибках Питерсона и его "черри-пикинге" (отбирании только удобных фактов). Мне не близки его взгляды по многим вопросам. Тем не менее, я не сомневаюсь в двух вещах:

1) Питерсон умён и эрудирован
2) у него есть чему поучиться.

К похожим выводам пришёл автор сегодняшнего мастрида, блогер-рационалист Putanumonit. Он анализирует правила из самой популярной книги Питерсона, "12 правил жизни", отделяя зёрна от плевел и показывая, как можно самому надевать "маску Питерсона", заимствуя паттерны его мышления.

Ссылка на мастрид: putanumonit.com/2018/03/03/jordan-peterson. Спасибо ребятам из Клуба Мастридеров за то, что поделились ссылкой. Советую всем присоединиться к ним — в обмен на ежемесячный платёж вы получаете доступ к невероятно интересному сообществу. У нас есть бот, который сводит людей по интересам для онлайн- и офлайн-встреч, свой книжный клуб, несколько закрытых групповых чатов, мастермайнд-группы и многое другое.

#рационалист_мастрид

В последнее время всё чаще вспоминаю классический мастрид Элиезера Юдковского «Когда никто не смеет призывать сдерживаться», в котором автор рассказывает о своих эмоциях после 11 сентября. Тогда он сразу подумал: «последствия реакции на произошедшее точно будут в 10 раз хуже, чем сам теракт».

Юдковский не оказался прав только потому, что реакция получилась хуже не в десять, а в ещё большее количество раз. Это классическое когнитивное искажение – даже самому опытному рационалисту тяжело быть в достаточной мере пессимистичным при оценке будущего, т. к. по общему правилу наш мозг склонен недооценивать негативные последствия происходящего с нами.

После теракта США вторглись в Афганистан, а затем в Ирак, что привело к сотням тысяч смертей, по большей части – смертей невинных жителей (11 сентября погибло 6 тысяч человек – конечно, ужасное число, но несравнимо меньшее). Более того, было принято множество законов (например, так называемый PATRIOT Act), ущемляющих права американцев и граждан других стран. Именно эти законы позволили спецслужбам США вести тотальную слежку, о которой мы узнали от Сноудена, а ещё сажать подозреваемых в терроризме за решётку на неопределенный срок без суда и следствия, пытать их в Гуантаномо и многое другое.

Почему реакция на трагедию причинила обществу больший ущерб, чем сам теракт? Во многом потому, что для любого человека публично призывать к сдержанности в первые месяцы после «9/11» было бы политическим самоубийством – его бы сразу же уволили и «отменили». Общественное сознание работает так: в кризисные моменты любой, кто обличает врагов общества во всех грехах мира – патриот. Его надо поддерживать и ни в коем случае не спорить с ним. Любой человек, который будет спорить с таким «патриотом» и указывать на неточности в его тезисах, – предатель.

Сегодня мы находимся в похожей ситуации. Сторонники войны в России назовут тебя предателем за любую критику действий армии – даже если это доказанные военные преступления и даже если сам человек понимает, что российские солдаты далеко не безгрешны. Более того, за любую критику власти тебя обвинят в том, что ты «раскачиваешь лодку» в военное время. Увы, после начала войны Путин в глазах большой части населения получил карт-бланш на любые меры по ущемлению свобод, преследованиям оппозиции и так далее.

Аналогичным образом некоторые украинцы могут счесть предателем человека из своих рядов, который будет указывать на прегрешения украинской стороны. По моей информации, подавляющее большинство ужасов этой войны – дело рук российских военнослужащих, но даже New York Times подтвердила, что украинцы как минимум один раз расстреляли русских пленных, у которых не было оружия и были связаны руки. Да, это сделали люди, защищающие свою Родину от захватчиков и прошедшие через ужасы войны, но даже такие обстоятельства не могут оправдывать подобный поступок.

Думаю, сегодня важно перечитать эту статью Юдковского (как и многие другие его тексты), чтобы помочь себе сохранять здравость рассудка и не становиться тем, кто «не смеет призывать сдерживаться».

Нужно высказывать свою позицию. Нужно бороться со злом и говорить о том, что белое — это белое, а чёрное — это чёрное. Но если кто-то поблизости для подтверждения своей позиции вдруг называет чёрное белым и все вокруг начинают ему вторить, настоящий рационалист должен защитить истину.

— Русский перевод
— Оригинал на английском

#рационалист_мастрид #золотой_фонд_мастридов #полит_мастрид

Нашёл препринт нового научного исследования с важными выводами:

– люди приписывают своим политическим оппонентам более радикальные взгляды по сравнению с реальностью

– этим грешат и демократы, и республиканцы (исследование проводилось на американской аудитории)

– и демократы, и республиканцы, как правило, не слишком убеждены в наиболее радикальных пунктах повестки своих партий, зато сильно убеждены в умеренных пунктах их повестки.

От себя добавлю такой вывод: получается, что радикализация и поляризация во многом существуют лишь в головах и являются продуктом пропаганды и «информационного пузыря». Демократы демонизируют республиканцев, считая их замшелыми ретроградами, республиканцы демонизируют демократов, считая их оголтелыми леваками, а на самом деле позиции большинства людей по ключевым вопросам далеко не так сильно расходятся друг с другом, как может показаться.

Думаю, это применимо и к российским реалиям – скажем, далеко не все сторонники войны придерживаются антигуманных и фашистских взглядов. Если поговорить с таким человеком подробнее, выяснится, что он в целом против войны, но убеждён в вынужденности вторжения в Украину по тем или иным причинам (как правило, не имеющим отношения к реальности, но это уже другой вопрос).

Пара показательных примеров из исследования: республиканцы считают, что 32% демократов относятся к ЛГБТ+ (в реальности – всего 6%), а демократы считают, что 38% республиканцев зарабатывают больше 250 тысяч $ в год (на самом деле таких богачей среди республиканцев всего 2,2%).

Почитать и скачать препринт можно здесь: psyarxiv.com/cr23g

#рационалист_мастрид #полит_мастрид

На днях из Google уволили инженера, который в процессе работы с чат-ботом LaMDA пришёл к выводу, что эта программа осознала себя и обладает собственной личностью. Наверное, этот сотрудник просто страдает от повышенной впечатлительности и это ложная тревога. Но рано или поздно может настать момент, когда тревога окажется не ложной. И что тогда?

Элиезер Юдковский – крупнейший в мире эксперт по безопасности ИИ, основатель Machine Intelligence Research Institute и по совместительству икона рационалистов и автор культовой книги «Гарри Поттер и методы рационального мышления». Недавно Юдковский опубликовал огромный мастрид, в котором суммировал свои годами наработанные тезисы про риски появления недружественного человечеству ИИ: lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities

Почему не получится просто натренировать нейросеть не причинять вред человеку или запрограммировать соблюдение законов Азимова о том, что робот должен подчиняться человеческим приказам? Почему у человечества на самом деле осталось не так много времени, чтобы решить проблему безопасности ИИ, и почему «второй попытки» не будет, если мы не успеем решить эту проблему до появления сверхмощного ИИ? Почему нельзя рассчитывать на то, что мы просто продолжим создавать специализированные ИИ, которые обыгрывают людей в шахматы или рисуют картинки, но которые не будут способны уничтожить мир? И многие другие вопросы.

Текст тяжело читается, в нём много технического жаргона. Если вы не знакомы с этой проблемой, советую для первоначального погружения культовый мастрид от Тима Урбана с обоснованием позиций по этому вопросу. Первая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html. Вторая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html. Перевод на русский: interpreted.dirty.ru/perevod-revoliutsiia-iskusstvennogo-intellekta-684922. Текст Урбана был написан в 2015 году, но сегодня стал особенно актуальным.

Главный вывод Юдковского максимально пессимистичен: пока непохоже, что человечество переживёт появление искусственного сверхинтеллекта. Корпорации, занимающиеся разработками ИИ, слишком безответственно относятся к теме (один из главных кандидатов на уничтожение мира по версии Юдковского – подразделение Facebook AI Research). Юдковский уже лет 20 остаётся главным в мире экспертом в этой сфере и (по крайней мере, по его версии) ни один другой исследователь за эти годы так и не смог предложить ни внятных аргументов против реализации его грустных прогнозов, ни чёткого плана по минимизации рисков развития сверхинтеллекта.

В своих подкастах я часто задавал экспертам по технологиям вопросы про эти риски и, увы, тоже пока не ощутил, что мы движемся по верной траектории, что мы подумали обо всех рисках и что ИИ станет своего рода всеведущим добрым и мудрым богом, ведущим человечество в светлое будущее. Создание ИИ вполне может стать самым важным изобретением в истории человечества – но, увы, вполне может стать и последним.

#тренд_мастрид #ИИ_мастрид #рационалист_мастрид

Уже год идёт беспощадная и бессмысленная война. Некоторые (скажем, Николай Солодников) думают, что подобные трагедии можно было бы предотвратить, если бы все читали хорошие книги. Боюсь, это не так – лидеры нацистской Германии были начитанными людьми, а Путин (во всяком случае, как он сам заявляет) любит русскую классику и историческую литературу. Важно не то, какие книги ты читаешь, а то, какие идеи ты извлекаешь из них.

Но если бы меня попросили выбрать одну книгу для того, чтобы её прочли все люди на планете, безоговорочным фаворитом был бы «Гарри Поттер и методы рационального мышления». Это фанфик по Гарри Поттеру, написанный экспертом в сфере ИИ и одним из умнейших деятелей современности Элиезером Юдковским.

В этой книге есть захватывающий сюжет, который даст фору оригинальной работе Роулинг. Но главное: прочитав «ГПиМРМ», невозможно не вдохновиться идеями эффективного альтруизма (а ещё рациональности и трансгуманизма, да и гуманизма в самом общем смысле этого слова). И не только вдохновиться, но и научиться применять их на практике при принятии любых жизненных решений. Под влиянием этой книги многие талантливые люди (в том числе многие мои подписчики) направили свои усилия на то, чтобы помогать миру и делать всё для улучшения его будущего и для борьбы с экзистенциальными рисками, которые угрожают человечеству (от ядерной войны до биорисков и безопасности ИИ).

Многие гости «Книжного чела» и «Терминального чтива» присоединяются к моей рекомендации, а сообщество эффективных альтруистов делает многое для популяризации этой книги. Мой товарищ, гость «ТЧ» Михаил Самин, исследователь ИИ и эффективный альтруист (парень в 22 года уже пожертвовал на благотворительность 100 тысяч долларов, заработанных на своём стартапе AudD), помимо других своих проектов, занимается тем, чтобы бесплатно рассылать умным и перспективным молодым ребятам печатные копии «ГПиМРМ».

Не могу не поддержать инициативу. Если вы победитель или призёр российских или международных олимпиад или участник топовых конференций (список есть на сайте по ссылке), вы можете заполнить форму и получить свою копию книги с доставкой в любую точку мира: https://гпмрм.рф/olymp

Для всех остальных – книгу можно бесплатно (легально) читать онлайн или скачать:

– русский перевод
– английский оригинал.

Напоследок напомню вам цитату Альбуса Дамблдора из оригинального романа Роулинг: "Счастье можно найти даже в тёмные времена, если не забывать обращаться к свету".

#ридлист #рационалист_мастрид