"Кочерга" опубликовала свою подборку материалов по рациональности за январь.

https://telegra.ph/Dajdzhest-4-02-18-2

#встречи #онлайн #цепочки

Почему некоторые люди часто считают, что лучше проявить недостаточную уверенность, чем излишнюю? Какие у этого подхода есть подводные камни?

Многие люди пытались донести до других, как думать правильней. Иногда это заканчивалось появлением очередной религии, непроверяемой теории или чего-то ещё в таком же духе. Можно ли этого избежать при распространении рациональности?

Мы заканчиваем обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского. Сегодня, 21 февраля, мы обсудим последние два эссе из цепочки "Создания сообщества" и подведём итоги цепочки и всего тома "Стать сильнее".

Обсуждаемые эссе:

- Грех недоуверенности (The Sin of Underconfidence);
- Идите и создавайте искусство! (Go Forth and Create the Art!).

Наш клуб чтения Цепочек дошёл до той части книги, где многие эссе не переведены. Ссылка на оригиналы: The Craft and the Community.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/7dw4dx3f4faz3m6pg4yogt4hce

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#в_мире

В начале февраля на lesswrong.com закончилось голосование за лучшие посты 2020 года. Если вы давно хотели узнать, что считается важным на Lesswrong'е сейчас, это может быть неплохая точка старта:

https://www.lesswrong.com/posts/TSaJ9Zcvc3KWh3bjX/voting-results-for-the-2020-review

Также в "библиотечном разделе" появился новый подраздел "Лучшее". Туда уже сложены работы, признанные лучшими в 2018 и 2019 годах. Видимо, работы 2020 года туда добавят чуть позже, когда определятся с форматом нового книжного издания.

#нетвойне #мнение #совет #гайд #жызнь #саморегуляция

Этот пост для россиян, (и, возможно, не только) которые знатно охреневают.

Мои задачи в этом посте:

1. Выразить и назвать некоторые вещи, которые возможно происходят у вас внутри, чтобы само называние сделало лучше, и солидаризироваться.

2. Предложить мои вариант действий, которые позволяют с таким состоянием справиться и прийти в норму.

Часть 1. Называю внутренние состояния

1. Неясно, что делать
Из «бей, беги, замри» сейчас:
- бить россияне пробуют, но выученная беспомощность и проблемы координации говорят, что это не особенно осмысленная идея. А еще все истощены практически в край.
- бежать тоже пробуют — планы по эмиграции резко активизировались для тех, у кого есть такая возможность; у многих нет или это очень сложно.
- многие просто замерли и мозг такой «если я притворюсь что меня нет, оно само исчезнет как-нибудь».

Потому что даже объяснения никакого разумного нет тому что происходит, и даже логика нормально не ищется. Я, как и многие мои знакомые, просто подвисаю и выдаю ошибку, понимая, что на нормальный анализ уйдет слишком много ресурсов, и ситуация очень очень сложная; но то, что творится очень очень плохо.
Эти наши части пытаются сэкономить наши силы, и я их совсем не осуждаю и не обвиняю.

Тут мы как раз приходим к еще одной штуке, которая добавляет: россиян обвиняют.

2. Эмоционально тяжело
Жить с чувством вины очень тяжело. А когда вина еще и несправедливая, не твоя, навязанная — но ты не можешь до конца понять, так ли это, навязанная ли она, или все же ты виноват — еще гораздо тяжелее, это сжирает весь ресурс.

Я уверена на миллион процентов, что у многих россиян есть эта уязвимость к чувству вины: сложно отличить, где я виноват, а где нет, и потому если кто-то уверенно говорит, что я виноват, то я будут чувствовать себя виноватым против воли.

Как люди борются с этим? Либо посыпают голову пеплом и берут на себя не свою вину, либо идут в асимметричную агрессию по всем фронтам и переходят на темную сторону «эти ужасные люди пожелали мне гореть в аду, значит они заслуживают того, чтобы в них стреляли». Ох.

И, разумеется, я не говорю тут об очевидной составляющей эмоциональной тяжести: идет война, гибнут люди, у нас будут санкции и экономика будет в плачевном состоянии.

⬇️⬇️⬇️

⬆️⬆️⬆️
Часть 2. Что делать?

Если вы обнаружили себя в нелепой неспособности заниматься обычными, необходимыми для жизни делами, уже который день, то начинать, как мне кажется, нужно с эмоционального состояния.

1. Вы не развязывали войну и не виноваты в ней. Люди, которые в комментариях говорят слова ненависти — просто кричат от боли. И давайте помнить, что их крики в ваш адрес — не патроны в вашу сторону.

2. Определите свою гигеническую линию нормального состояния. Находясь выше нее вы будете что-то делать: работать, помогать другим, строить планы. Находясь ниже нее вы будете приходить в состояние получше.

Как это сделать?
Возьмите, скажем, 3 шкалы.

Например:
- физическое состояние
- спокойствие
- радость

И назначьте параметры, при которых ситуация будет считаться «пойдет». Не «хорошей», а именно «пойдет», потому что в текущих обстоятельствах «хорошей» она все равно вряд ли будет. Можете взять другие шкалы, но я крайне рекомендую брать физическое состояние, а то будете пропускать спину, которая болит и голод, такое.

Потом заведите напоминалки раз в 2 часа и оценивайте состояние. Не ленитесь, если ушли ниже линии, делать что-то чтобы выйти на линию. Записывайте то, что помогает выйти на линию, у вас будет список, к которому можно будет обращаться — он облегчает жизнь. Готово!

3. Теперь про ситуацию: фильтруйте информацию, если еще не. Это очень банально, но мы пытаемся собрать больше информации, и только добавляем себе проблем, а не решаем. Если вам кажется, что у вас иначе, то возможно вам кажется.
Самое простое — выбрать 1-2 источника вроде Медузы и чего-то англоязычного и я крайне рекомендую не шастать по телеграм-каналам, если только их не ведут ваши знакомые, которые пишут новости из мест, про которые вам интересно узнавать новости. Кроме того, я крайне рекомендую ограничить поступление новостей парой раз в день.

4. Решения и действия во внешнем мире
Давайте я перечислю несколько ключевых:
- где вы и угрожает ли что-то вам прямо сейчас физически, нужно ли что-то с этим делать в перспективе 2 недель? Еда, деньги, лекарства, местоположение?
- где 5 ваших самых близких людей? угрожает ли что-то им физически в перспективе 2 недель и нужно ли что-то с этим делать?

—— тут нужно чекнуть гигиеническую линию

5. Давайте вернемся к обычной работе, потому что вам нужно будет жить и через месяц тоже.

В это трудно поверить, горизонт схлопнулся, дыхания не хватает, но жизнь все еще марафон, а не спринт.

Итак:
- какие штуки нужно продолжить делать сейчас, чтобы через месяц, три месяца, полгода, год не оказаться в плохих условиях?
- какие штуки нужно начать делать сейчас?
- что у меня с работой?
- что с личными проектами?
- как там мои цели поживают, не нуждаются ли в пересмотре?
- как там мои отношения с окружающими себя чувствуют? не пора ли что-то поменять?
- [ваш вариант]

UPD: странно, но спросили можно ли забрать гайд. Можно, конечно, забирайте, распространяйте, для того и написан! Шер-репост ❤️💙❤️

#нетвойне #мнение #совет #гайд #жызнь #саморегуляция

Завершающая встреча клуба чтения цепочек

333 эссе, 26 цепочек, шесть томов. Спустя почти два года встреч клуба чтения цепочек мы дочитали книгу Элиезера Юдковского «Рациональность: от ИИ до зомби». Какова основная идея книги? В чем заключается рациональность и зачем к ней стремиться? Какие тезисы Юдковского сильные и мотивирующие, и в каких местах с ним можно аргументированно поспорить?

Сегодня, 28-го февраля, состоится обзорная лекция по всей книге «Рациональность: от ИИ до зомби». Первая половина встречи будет отведена на лекцию, а вторая - на обсуждение. Также будет объявление о будущем клуба чтения цепочек. Присоединяйтесь поучаствовать в обсуждении или послушать.

Регистрация: https://kocherga-club.ru/events/qre3u4apk5gv5fnkfh45bpsitu

Начало в 20:00 по московскому времени (UTC+3).

#встречи #онлайн

Доктор назначил мне лекарство Х, однако я почитал интернет, и там пишут, что у этого лекарства нет доказательной эффективности. Могу ли я быть уверен, что мне не стоит принимать это лекарство? Ведь у доктора есть медицинское образование, а у меня нет.

У меня есть прекрасная идея для стартапа. Однако мой друг говорит мне, что 90% стартапов прогорают в первый год, и все основатели стартапов считали, что у них есть прекрасная идея. Стоит ли мне всё же основывать стартап?

Организация Y заявляет, что проблеме Z уделяется слишком мало внимания, хотя её можно решить достаточно дешёвыми способами. Можно ли этому доверять? Ведь если бы это действительно была важная проблема и её можно решить в принципе, наверняка её давно уже решило бы правительство или какие-то другие крупные организации придумали бы, как на этом заработать.

Именно вокруг таких рассуждений построена книга Элиезера Юдковского "Неадекватные равновесия". И в понедельник, 7 марта, наш Клуб чтения Цепочек начнёт обсуждать её первую главу: "Неадекватность и скромность" ("Inadequacy and Modesty").

Главу можно прочитать по ссылке: https://equilibriabook.com/inadequacy-and-modesty/
Есть не слишком вычитанный перевод: https://vk.com/@makikoty-neadekvatnost-i-skromnost

Встреча пройдёт в онлайне, на платформе Zoom. Регистрация: https://kocherga-club.ru/events/f3l47cssujadhbw4ulwre4woam

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#переводы #нго

Новый перевод на сайте - доклад Ричарда Нго "Безопасность сильного искусственного интеллекта с чистого листа".

"В этом докладе я попытался собрать воедино как можно более полные и убедительные аргументы, почему разработка СИИ может представлять экзистенциальную угрозу. Причина доклада – моя неудовлетворённость существующими аргументами о потенциальных рисках СИИ. Более ранние работы становятся менее актуальными в контексте современного машинного обучения; более недавние работы разрозненны и кратки. Изначально я хотел лишь пересказывать аргументы других людей, но, в процессе написания доклада, он становился всё больше представляющим мои собственные взгляды, и менее представляющим чьи-то ещё. Так что хоть он и покрывает стандартные идеи, я думаю, что он и предоставляет новый подход рассуждений о СИИ – не принимающий какие-то предшествующие заявления как данность, но пытающийся выработать их с чистого листа".

https://lesswrong.ru/node/1168

За перевод опять благодарим группу Мак и коты и AI Safety.

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Какой рынок экономисты называют эффективным? Почему некоторые рынки эффективными не являются? Когда знание ситуации помогает заработать деньги, а когда - нет? Есть ли что-то странное в том, что в мире встречаются "низко-висящие плоды" - возможность сделать что-то ценное в важной для других области?

Сегодня, 14 марта, мы поговорим о второй главе книги "Равновесие из-за отсутствия свободной энергии" ("An Equilibrium of No Free Energy"). В этой главе Юдковский описывает термины "эффективность", "используемость/эксплуатируемость" и "адекватность" и постепенно переходит к рассуждениям о том, почему всё же некоторые равновесия являются неадекватными.

Главу можно прочитать по ссылке: https://equilibriabook.com/an-equilibrium-of-no-free-energy/

Встреча пройдёт в онлайне, на платформе Zoom.

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

Со ссылкой регистрации на встречу вышла некоторая заминка. Я до встречи постараюсь добавить её в эту запись. Также она будет в чате клуба чтения Цепочек.

Upd Ссылка регистрации на встречу: https://kocherga-club.ru/events/43wrmibfg5ep5bxlk2shfha5zm

Появилась ссылка регистрации на встречу (см. выше): https://kocherga-club.ru/events/43wrmibfg5ep5bxlk2shfha5zm

#переводы #нго

Новый перевод на сайте -- подборка задач по согласованию ИИ (AI alignment) от Ричарда Нго.

Благодаря работам Элиезера Юдковского (и не только) уже многие слышали, что есть важная задача по согласованию ИИ. Однако даже если человек согласен, что это важная задача, и хочет принять участие в её решении, зачастую непонятно, а с чего вообще начинать.

В прошлом месяце Ричард Нго выложил свою подборку задач, которые ему представляются полезными. Некоторые из этих задач давно известны и для них существует решение, а некоторые не решены до сих пор. Группа Мак и коты и AI Safety перевела этот текст на русский язык. (Впрочем, для работы над большей частью задач всё равно придётся читать материалы на английском.)

https://lesswrong.ru/1235

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Итак, как же мы можем понять, что имеем дело именно с неадекватным равновесием, а не с какой-то иной проблемой?

Сегодня, 21 марта, мы поговорим о третьей главе книги "Инструментарий Молоха" ("Moloch’s Toolbox"). В этой главе Юдковский описывает, когда и как возникают неадекватные равновесия и в диалоговой форме приводит разнообразные их примеры.

Главу можно прочитать по ссылке: https://equilibriabook.com/molochs-toolbox/ Поскольку эта глава очень большая, в рамках этой встречи мы ограничимся первой её половиной (до раздела VI включительно).

Встреча пройдёт в онлайне, на платформе Zoom. Регистрация на встречу: https://kocherga-club.ru/events/zxdrs62li5esfk2ovy5li2odu4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

Попытка простыми словами описать, почему вопросы безопасности сильного искусственного интеллекта - это важно. С большим количеством упрощений (автор это сама признаёт), однако написать коротко и без упрощений невозможно.

https://vk.com/wall-99823470_1045

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Сегодня, 28 марта, мы будем обсуждать вторую часть главы "Инструментарий Молоха" ("Moloch’s Toolbox"), в которой автор продолжает приводить примеры неадекватных равновесий и рассуждать о том, как именно они образовались.

Главу можно прочитать по ссылке: https://equilibriabook.com/molochs-toolbox/ В рамках этой встречи мы будем обсуждать её, начиная с раздела VII.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/67ztjb3qafhjvlediiueikpuri

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

У Charity Entrepreneurship до 3-го апреля открыт прием заявок в новую инкубационную программу

В Charity Entrepreneurship уже 4 года помогают запускать проекты, решающие масштабные и недооцененные проблемы, а также проводят исследования. В этом году программа будет направлена на создание благотворительных организаций в следующих сферах:

- Качество помощи
- Безопасность дорожного движения
- Налогообложение табака
- Послеродовое планирование семьи
- Изучение определенных проблем

"Мы предоставляем хорошо проработанные идеи благотворительности, 2-месячную очную программу обучения с оплатой стоимости обучения (онлайн), денежные стипендии для покрытия расходов на проживание, значительное финансирование (до $175 000) для воплощения проектов в жизнь и широкий спектр постоянной поддержки", — пишут организаторы.

Новая программа продлится с 27 июня по 19 августа 2022 года, крайний срок подачи заявок на второй тур — 3 апреля 2022 года (+1 неделя для опоздавших).

Больше подробностей:
➡️ www.charityentrepreneurship.com/incubation-program

#переводы

Новый перевод на сайте - совместная статья Эвана Хубингера, Криса ван Мервика, Владимира Микулика, Йоара Скалсе и Скотта Гаррабранта "Риски выученной оптимизации".

"Цель этой статьи – проанализировать выученную оптимизацию, происходящую, когда обученная модель (например, нейронная сеть) сама является оптимизатором – ситуация, которую мы называем меса-оптимизацией – неологизмом, представленным в этой цепочке. Мы убеждены, что возможность меса-оптимизации поднимает два важных вопроса касательно безопасности и прозрачности продвинутых систем машинного обучения. Первый: в каких обстоятельствах обученная модель будет оптимизатором, включая те, когда не должна была им быть? Второй: когда обученная модель – оптимизатор, каковы будут её цели: как они будут расходиться с функцией оценки, которой она была обучена, и как можно её согласовать?"

https://lesswrong.ru/node/1258

За перевод в очередной раз благодарим сообщество Мак и коты и AI Safety.

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Зачем нам вообще уметь опознавать неадекватные равновесия? Есть множество людей, которые без всякого анализа скажут: "Совершенно очевидно, что вся система сломана. Зачем нужен какой-то анализ неадекватности?" Другие люди скажут: "Если тебе кажется, что в системе что-то работает не так, значит, ты просто недостаточно разобрался в ней". Почему этих точек зрения может быть недостаточно?

Сегодня, 4 апреля, мы закончим обсуждать третью главу "Инструментарий Молоха" ("Moloch’s Toolbox"), в которой нам остался раздел Х, и перейдём к главе "Жизнь в неадекватном мире" ("Living in an Inadequate World"). За эту встречу мы планируем обсудить первую половину этой главы (разделы I и II).

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/uvh5okbgujew3baosj2buyaaby

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#скотт_александер #переводы

Андрей Заболотский перевёл художественный рассказ Скотта Александера "Слова статуй" о трёх всеведущих статуях, одна из которых всегда говорит правду, другая всегда лжёт, а третья отвечает случайным образом.

https://colt-browning.livejournal.com/8795.html

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Предположим, что мы действительно живём в достаточно неадекватном мире. Но что мы можем в таком случае сделать? Если даже признанные эксперты ошибаются, как мы можем об этом узнать, не становясь экспертами сами?

Сегодня, 11 апреля, мы обсудим вторую половину четвёртой главы "Жизнь в неадекватном мире" ("Living in an Inadequate World"). После этого мы перейдём к пятой главе "Слепой эмпиризм" ("Blind Empiricism"), в которой пойдёт речь о том, что хотя излишняя привязанность к своей теории крайне вредна, отсутствие теории тоже приводит к проблемам.

Встреча пройдёт в онлайне, на платформе Zoom. Чтобы получить ссылку, нужно зарегистрироваться: https://kocherga-club.ru/events/lwrqsgmw3be7rkfzlfhuydvomm

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#книги #галеф

Написал статью с пересказом основных идей книги Джулии Галеф "Мышление разведчика". С моей точки зрения, короче всего эту книгу можно описать так: это книга о том, как успешно менять своё мнение. Наверное, её можно считать более современной и, вероятно, более практичной версией соответствующего тома "Рациональности: от ИИ до Зомби".

Джулия Галеф когда-то была одним из авторов блога LessWrong. Также она была первым президентом CFAR. Сейчас ведёт подкаст "Rationally speaking".

https://telegra.ph/Dzhuliya-Galef-Myshlenie-razvedchika-04-12

#встречи #онлайн

Все мы знаем про ошибку планирования. Люди очень часто ошибаются в вопросах, сколько времени у них займёт та или иная задача или сколько им ресурсов потребуется. Известно, что лучший способ справиться с ошибкой планирования - воспользоваться "взглядом извне", то есть, посмотреть, сколько времени или ресурсов тратили на такую же задачу мы сами или хотя бы другие люди.

Однако что если человек планирует достаточно амбициозный проект, например, планирует сделать что-то новое, в чём его предшественники не добились успеха? Что здесь скажет "взгляд извне"?

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Сегодня, 18 апреля, мы обсудим вторую половину пятой главы "Слепой эмпиризм" ("Blind Empiricism"). После этого мы перейдём к шестой главе "Против эпистемологии скромности"("Against Modest Epistemology").

Встреча пройдёт в онлайне, на платформе Zoom. Регистрация на встречу: https://kocherga-club.ru/events/bjhqthhydnehjh3lzvsvq3mlg4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.