Новости сообщества LessWrong
1.33K subscribers
21 photos
1 file
838 links
Новости русскоязычной части сообщества LessWrong. Интересные статьи, новые переводы и встречи.
Download Telegram
#встречи #онлайн

В понедельник, 14 ноября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта.

На этой встрече продолжаем изучать материалы последней, 7-й недели Кембриджского курса по AI safety. Тема этой недели: Agent foundations, AI governance, and careers in alignment.

Материалы:

1. Careers in alignment (Ngo, 2022)

2. AI safety technical research (80 000 hours)

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 13 ноября, мы продолжим обсуждать цепочку "Против рационализации". Поговорим про следующие эссе:

- Мотивированная остановка и мотивированное продолжение
- Фальшивое оправдание;
- Это ваша настоящая причина отказа?
- Связанные истины, заразная ложь.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/5jienhju7jfe7bj2cewnidjg4a

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#переводы

Для тех, кто интересуется темой безопасности искусственного интеллекта, однако недостаточно бегло читает на английском, хочу сообщить, что с недавнего времени некоторое количество переводов по этой теме выкладывается на сайте aisafety.ru
#встречи #онлайн

В понедельник, 21 ноября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта.

На этой встрече завершаем изучать материалы последней, 7-й недели Кембриджского курса по AI safety. Встреча посвящена обсуждению вопросов и заданий этой недели.

Discussion prompts:

1. What are the best examples throughout history of scientists discovering mathematical formalisms that allowed them to deeply understand a phenomenon that they were previously confused about? (The easiest examples are from physics; how about others from outside physics?) To what extent should these make us optimistic about agent foundations research developing a better mathematical understanding of intelligence?

2. How worried are you about misuse vs structural vs accident risk?

3. Do you expect AGI to be developed by a government or corporation (or something else)? What are the key ways that this difference would affect AI governance?

4. What are the main ways in which technical work could make AI governance easier or harder?

5. What are the biggest ways you expect AI to impact the world in the next 10 years? How will these affect policy responses aimed at the decade after that?

6. It seems important for regulators and policy-makers to have a good technical understanding of AI and its implications. In what cases should people with technical AI backgrounds consider entering these fields?

Exercises:

1. Explain the importance of the ability to make credible commitments for Clifton’s (2019) game-theoretic analysis of cooperation failures.

2. What are the most important disanalogies between POMDPs and the real world?

3. In what ways has humanity’s response to large-scale risks other than AI (e.g. nuclear weapons, pandemics) been better than we would have expected beforehand? In what ways has it been worse? What can we learn from this?

Notes:

1. “Accident” risks, as discussed in Dafoe (2020), include the standard risks due to misalignment which we’ve been discussing for most of the course. I don’t usually use the term, because “deliberate” misbehavior from AIs is quite different from standard accidents.

2. Compared with the approaches discussed over the last few weeks, agent foundations research is less closely-connected to existing systems, and more focused on developing new theoretical foundations for alignment. Given this, there are many disagreements about how relevant it is for deep-learning-based systems.

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 20 ноября, мы заканчиваем обсуждать цепочку "Против рационализации" и переходим к цепочке "Против двоемыслия". Поговорим про следующие эссе:

- О лжи и Черных Лебедях;
- Эпистемология темной стороны;
- Двоемыслие (выбирая быть искаженным);
- Серьёзно, я обманул себя.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/h64i2tqsvjbx5ahwxkubi62xjm

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
Пострассылка от команды "Минимизаторов скрепок" с материалами со встречи "День Петрова". От себя отдельно отмечу второй пункт - доклады от представителей сообществ. Там вы можете найти информацию и контакты разных околорационалистских групп, представители которых выступали на встрече.
Forwarded from Slava Meriton
Дорогие участники Дня Петрова.
Чтобы память о нашей встрече осталась с вами надолго, мы хотим поделиться обещанными материалами с мероприятия.

1️⃣ Здесь презентация с докладами, роликами и моментами, запечатлёнными во время тематической части Дня Петрова, а также ссылки на видео, музыку и стихи, которые мы использовали:

https://docs.google.com/presentation/d/1v2R9p2G8HirgAMWLaVNkxJy4llWjoZ2SAT2jL64vurY/edit?usp=sharing

2️⃣ А здесь видео и материалы от представителей сообществ:

https://docs.google.com/presentation/d/14DqlQryEPZy7Bp_0aqCBANfhcWi5l-9UAEuRAX8xQhg/edit?usp=sharing

3️⃣ После того, как вы ознакомитесь с материалами, мы просим вас пройти опрос, чтобы мы могли узнать, что вам понравилось, а что нет, что мы можем поправить и о чём нам стоит подумать:

https://docs.google.com/forms/d/e/1FAIpQLSdlvbUE3zUi7zoALrSv_ZRBIU_3FwSnUA-oHVzy5tPkOoP-lQ/viewform

Ваш отзыв поможет команде, которая организовывала этот День Петрова, вырасти над собой и делать следующие проекты лучше. Мы очень-очень благодарны вам за то, что вы были с нами на в этот день, и мы не планируем на нём останавливаться!

Например, в этом году мы планируем провести тематическую игру Аумана о согласии, посвящённую когнитивным искажениям. А ещё мы работаем над:
● курсом практических занятий по рациональности,
● вычиткой статьи “Embedded agency” для размещения её на Хабре,
● разработкой веб-приложения для игр Аумана,
● встречи представителей разных рацио и смежных сообществ в формате «спиддейтинга»,
● конференцию по материалам AGI Fundamentals Cambridge (алайнмент, он же согласование ИИ).

Чтобы реализовать эти проекты в разумные сроки, нам бы весьма не помешала ваша помощь. Мы ищем тех, кто умеет или любит или почему-то ещё готов:
● писать тексты,
● нарезать и/или монтировать видео,
● готовить доклады и/или презентации к ним,
гуглить тексты, музыку, видео и всякое иное,
● переводить с английского,
● программировать,
● вычитывать и/или редактировать тексты,
● координировать группы,
● составлять списки,
● объяснять что-то простыми словами,
и многое многое другое, что вы хотели бы попробовать делать в команде =)

Если хотите присоединиться к команде, то добро пожаловать в орг-чат.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 27 ноября, мы заканчиваем обсуждать цепочку "Против двоемыслия" и переходим к цепочке "Свежий взгляд на вещи". Поговорим про следующие эссе:

- Вера в самообман;
- Парадокс Мура;
- Не верь, что самообман удался;
- Якорение и корректировка.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/4x7nzmbdwbfkplq67tnyfcmoda

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#видео

https://www.youtube.com/watch?v=7JYfAuVcm-8

6 октября 2022 года в центре проекта "Ковчег" в Ереване Олег Неталиев (в прошлом организатор встреч в Екатеринбурге) рассказывал о том, что такое LessWrong и что такое Эффективный альтруизм. Лекция рассчитывалась на новичков, которые практически ничего об этом не знают.
#встречи #онлайн #скотт_александер

Читательский клуб сообщества "Кочерга" закончил обсуждать материалы Кембриджского курса по безопасности искусственного интеллекта. При выборе, что читать и обсуждать дальше, победил вариант читать статьи Скотта Александера, объединённые на lesswrong.com в подборку "The Codex". Фактически это подборка лучших статей Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

Первая встреча пройдёт в понедельник, 5 декабря. Мы начнём читать цепочку "Argument and Analysis" ("Аргумент и анализ" - на русский переведены лишь три эссе).

Поговорим про следующие эссе:

- Eight Short Studies On Excuses / Оправдания: восемь небольших этюдов;
- Schelling fences on slippery slopes / Заборы Шеллинга на скользких дорожках;
- Intellectual Hipsters and Meta-Contrarianism;
- Cardiologists and Chinese Robbers / Кардиологи и китайские грабители.

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

Помимо основной встречи для обсуждения участники часто устраивают дополнительную "встречу-читальню", чтобы совместно подготовиться к основной встрече. О времени этой встречи участники договариваются в чате, упомянутом выше.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 4 декабря, мы продолжаем обсуждать цепочку "Свежий взгляд на вещи". Поговорим про следующие эссе:

- Прайминг и контаминация;
- Мы верим всему, что нам говорят?
- Кешированные мысли;
- Непосредственный взгляд.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/n3s3iwlj4rexlk3hpqhb47g4xy

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
4 декабря, в воскресенье, на non/fictio№24 представим новую книгу Стивена Пинкера «Рациональность: что это, почему нам ее не хватает и чем она важна»

📍 Встречаемся в 18:15, в Лектории

В своей новой книге ученый и популяризатор науки Стивен Пинкер призывает отказаться от циничного клише, гласящего, что человек — не более чем переживший свое время пещерный обитатель.

На встрече эксперты обсудят, как рациональность помогает нам делать правильный выбор и почему она в конечном итоге является первопричиной роста социальной справедливости и нравственного прогресса.

Книгу представят:

Тарас Пащенко — педагог по логике, старший преподаватель Школы философии факультета гуманитарных наук НИУ ВШЭ.

Максим Киселев — профессор, эксперт в области системного и критического мышления.

Модератор встречи Прапион Медведева — философский антрополог, соосновательница Центра прикладной рациональности «Кочерга».

📍 Наши книги ищите на стенде С-5

Билеты на non/fictio№24 по ссылке: https://moscowbookfair.ru/kupit-bilet.html
#в_мире

Команда организаторов lesswrong.com объявила о начале ежегодного определения лучших постов за прошлый (2021) год. До 15 декабря будет идти стадия предварительной номинации, после чего начнётся стадия написания обзоров.

Подробности: https://www.lesswrong.com/posts/qCc7tm29Guhz6mtf7/the-lesswrong-2021-review-intellectual-circle-expansion

В качестве эксперимента в этом году предлагается возможность номинировать на голосование посты из рациосферы, даже если они не были скопированы на Lesswrong.

Также организаторы объявили, что, как и в предыдущие годы, лучшие посты за 2020 год будут оформлены в красивые книжечки. Анонс, где и как их можно будет заказать, ожидается вскоре. Однако уже сейчас эту подборку можно увидеть в разделе Best of LessWrong. На всякий случай напоминаю, что если вы очень хотите узнать, чем занимались на LW в последние годы, но не знаете, с чего начать, то этот раздел как раз для вас.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 11 декабря, мы продолжаем обсуждать цепочку "Свежий взгляд на вещи". Поговорим про следующие эссе:

- Добродетель узости;
- Страннее истории;
- Ошибка обобщения на основе вымышленного свидетельства;
- Мы меняем мнение реже, чем нам кажется.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/xyrebqydcnek5kf6ngor6wmjza

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 12 декабря, мы продолжим обсуждать цепочку "Argument and Analysis".

Поговорим про следующие эссе:

- All Debates Are Bravery Debates;
- The Virtue of Silence;
- Proving Too Much;
- Beware Isolated Demands For Rigor.

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

Помимо основной встречи для обсуждения участники часто устраивают дополнительную "встречу-читальню", чтобы совместно подготовиться к основной встрече. О времени этой встречи участники договариваются в чате, упомянутом выше.
Forwarded from Байесятина
Стилмэнинг и идеологический тест Тьюринга

Статья из цикла: Жаргон здравого смысла.

«Мысль начинается там, где мы наталкиваемся на препятствие» Лев Выготский

Соломенное чучело. 

В чёрной риторике есть приём под названием «соломенное чучело». Его суть — аргументы оппонента подменяются на слабые искаженные версии себя. Обычно для этого они утрируются и возводятся в абсолют до такой степени, что всем становится очевидна ошибочность подобных суждений. Это в каком-то смысле оправдано, ведь риторика и дебатные технологии не ставят целью отыскать истину. Мерило результата — убеждение аудитории. 

Использование соломенного чучела в споре относится скорее к вопросам этики и экологии общения. В этом нет ничего хорошего, но есть ситуация и похуже. Стремясь проверить некоторые существующие у себя убеждения, мы эмулируем (создаём виртуальную копию) критика. К сожалению, эта копия по умолчанию выставляет в качестве контраргументов соломенные чучела. 

Эмулированный критик воспринимается внутренне, как «чужак» который «атакует» нашу позицию. Нельзя же допустить, чтобы в его руки попало сильное оружие? К счастью, раздача оружия в нашем ведении (ведь всё происходит у нас в голове). Дадим ему самые слабые и смешные аргументы. Те , что никто не стал бы использовать. Он займёт сторону, которую никто не захотел бы отстаивать. 
 
Ура! Мы получаем слабую критику своей позиции, убеждаемся в победе и забываем, что, изначальной задачей было проверить, правильно ли мы думаем. Ведь убеждения нужны для прогнозов, а эта победа никак не сделает их лучше. Когда мы столкнёмся с реальностью, умение убеждать кого-либо (особенно себя) не будет иметь никакого значения.

Стилмэнинг.
 
Можно ли с этим что-то сделать? Да, для критической проверки убеждения нужно создать «железного человека» - самый сильный набор контраргументов. Практика максимально серьёзного критического восприятия своих же убеждений называется «стилмэнинг» (с англ. железный человек). Это эмуляция оппонента, наделённого всеми ресурсами вашего мозга, к которому вы относитесь с должным уважением. Он не будет говорить глупые и абсурдные аргументы. 

Полный текст по кнопке «ПОСМОТРЕТЬ».
#в_мире #эффективный_альтруизм

Сообщество Эффективного Альтруизма проводит очередной ежегодный опрос участников сообщества. Опрос также включает в себя вопросы о том, что, с вашей точки зрения, должно быть более приоритетно для сообщества.

Ссылка на опрос: https://rethinkpriorities.qualtrics.com/jfe/form/SV_1NfgYhwzvlNGUom
#в_мире #эффективный_альтруизм

Некоторое время назад вышел первый выпуск журнала "Asterisk". Журнал основан эффективными альтруистами и материалы в нём в той или иной мере связаны с движением ЭА и/или проблемами, которые оно пытается решить. Однако создатели всё же рассчитывают на более широкую аудиторию, чем регулярные посетители форума ЭА.

Название журнала можно перевести на русский как "Звёздочка". Тут идёт и отсылка к космосу, и к тому, что знаком звёздочки часто обозначаются комментарии к тексту, ну и в англоязычном написании можно также увидеть слово "риск", что отсылает к многочисленным обсуждаемым проблемам.

В журнале будут выходить длинные статьи о сложных вопросах без попыток дать на них простые ответы. Что автор думает, менее важно, чем почему он так думает. На многие вопросы хочется найти ответы, однако реальность достаточно сложна, и если где-то есть неопределённость, стоит на неё указать. Более подробно о ценностях журнала можно прочитать на его сайте.

Предполагается, что журнал будет выходить раз в квартал.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 18 декабря, мы заканчиваем обсуждать цепочку "Свежий взгляд на вещи" и переходим к цепочке "Смертельные спирали и аттрактор культа". Поговорим про следующие эссе:

- Не спешите предлагать решения;
- Генетическая логическая ошибка;
- Аффективная эвристика;
- Способность к оценке (и недорогой праздничный шоппинг).

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/vxccafpvrrdvdjtiywelqrcpvm

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 19 декабря, мы начнём обсуждать цепочку "Categorisation and Concepts".

Поговорим про следующие эссе:

- Diseased thinking: dissolving questions about disease;
- The Categories Were Made For Man, Not Man For The Categories.

Также мы попробуем поговорить про художественные интерлюдии из предыдущей цепочки "Argument and Analysis":

- Transhumanist Fables / Трансгуманистские басни;
- …And I Show You How Deep The Rabbit Hole Goes / …и я покажу тебе, как глубоко уходит кроличья нора.

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

Помимо основной встречи для обсуждения участники часто устраивают дополнительную "встречу-читальню", чтобы совместно подготовиться к основной встрече. О времени этой встречи участники договариваются в чате, упомянутом выше.