#скотт_александер #переводы

Арина перевела эссе Скотта Александера "Effective Altruism As A Tower Of Assumptions", где тот отвечает на популярную критику в адрес эффективного альтруизма. С моей точки зрения, это эссе интересно не только для рассуждений об ЭА, но и как пример, как можно задуматься о том, насколько высказываемые нами аргументы действительно отражают причины, почему мы отказываемся что-то делать.

https://vk.com/@bogoedbotaet-effektivnyi-altruizm-kak-bashnya-predpolozhenii

#встречи #онлайн

В понедельник, 24 октября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта.

На этой встрече мы завершаем рассмотрение материалов 6 недели.

Discussion prompts:

1. Were you surprised by the results and claims in Zoom In? Do you believe the Circuits hypothesis? If true, what are its most important implications? How might it be false?

2. How compelling do you find the analogy to reverse engineering programs in Olah (2022)? What evidence would make the analogy more or less compelling?

Exercises:

1. Given sufficient progress in interpretability, we might be able to supervise not just an agents’ behavior but also its thoughts (i.e. its neural activations). One concern with such proposals is that if we train a network to avoid any particular cognitive trait, that cognition will instead just be distributed across the network in a way that we can’t detect. Describe a toy example of a cognitive trait that we can currently detect automatically. Design an experiment to determine whether, after training to remove that trait, the network has learned to implement an equivalent trait in a less-easily-detectable way.

2. Interpretability work on artificial neural networks is closely related to interpretability work on biological neural networks (aka brains). Describe two ways in which the former is easier than the latter, and two ways in which it’s harder.

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 23 октября, мы продолжим обсуждать цепочку "Политика и рациональность". По техническим обстоятельствам в прошлый раз обсуждения не было, поэтому программа остаётся той же:

- Аргумент затмевает авторитет;
- Ухватить задачу;
- Рациональность и английский язык;
- Зло в людях и неясное мышление.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/uebua7kshzeajpwzi3mojyf53q

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#встречи #онлайн

В понедельник, 31 октября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта.

На этой встрече начинаем изучать материалы последней, 7-й недели Кембриджского курса по AI safety. Тема этой недели: Agent foundations, AI governance, and careers in alignment.

Материалы:

1. Embedded agents, part 1 (Demski and Garrabrant, 2018)
Перевод на русский: https://vk.com/doc35323791_640903562?hash=HBDP180zWslMoQzo5mRuK6t9JzcXFEBxptWUW7xrb5P
Видео с пересказом содержания на русском: https://www.youtube.com/watch?v=h51ZFFhNuaU

2а. Logical induction: blog post (Garrabrant et al., 2016)
ИЛИ
2b. Finite factored sets: talk transcript (Garrbarant, 2021) (only sections 2m: The Pearlian paradigm and 2t: We can do better)
ИЛИ
2с. Progress on causal influence diagrams: blog post (Everitt et al., 2021)

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 30 октября, мы начинаем обсуждать цепочку "Против рационализации". Поговорим про следующие эссе:

- Знание искажений может вредить;
- Обновляй себя шаг за шагом;
- Один довод против армии;
- Нижняя строчка.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/vsvs3r7kfbgdtmkonww6chxzj4

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

У русскоязычного сообщества эффективного альтруизма появился новый сайт!

https://ea-ru.org/

• Перенесены все материалы прошлого сайта, добавляются новые
• Сайт теперь адаптирован под мобильные устройства
• Добавлены актуальные ссылки на все социальные сети сообщества
• Появились разделы "Видео", "Книги"

Через сайт вы можете запросить бесплатную литературу по ЭА и найти ссылки на зарубежные источники, ещё не адаптированные для русскоязычной аудитории.

Заходите, смотрите, комментируйте, предлагайте! ❤️

#встречи #в_мире

В этом году многие читатели этой группы уехали в разные страны. Однако встречи LW и ЭА проводятся во многих странах и теперь иногда их помогают организовывать люди, которые раньше организовывали встречи в России.

В частности, в Белграде недавно запустились регулярные встречи LW/EA/ACX. Ближайшая будет 6 ноября. Подробности: https://www.lesswrong.com/events/XKrqMjeoyKePtEmMp/ea-acx-lw-belgrade-november-meet-up

Чтобы получать информацию о дальнейших встречах в Сербии, подписывайтесь на тамошнюю локальную группу: https://www.lesswrong.com/groups/xjkZ4uHHaKitGBni5

Встречи в Белграде проходят на английском языке.

#математика #теорема_Ауманна

По мотивам прошедшего вчера праздника трешовой математики (под названием "День X-игрек") мне захотелось ещё раз рассказать про теорему Ауманна.

Про теорему Гёделя уже есть объяснения "о наболевшем" с развенчанием основных мифов о том, что она якобы утверждает. Так что сегодня я добавлю и "развенчание мифов о теореме Ауманна для гуманитариев".

https://telegra.ph/CHto-govorit-i-chego-ne-govorit-teorema-Aumanna-10-30

#встречи #онлайн

В понедельник, 7 ноября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта.

На этой встрече начинаем изучать материалы последней, 7-й недели Кембриджского курса по AI safety. Тема этой недели: Agent foundations, AI governance, and careers in alignment.

Материалы:

1. AI Governance: Opportunity and Theory of Impact (Dafoe, 2020)

2. Cooperation, conflict and transformative AI: sections 1 & 2 (Clifton, 2019)

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 6 ноября, мы продолжим обсуждать цепочку "Против рационализации". Поговорим про следующие эссе:

- О чём свидетельствуют отсеянные свидетельства?
- Рационализация;
- Рациональное обоснование;
- Избегая по-настоящему слабых мест убеждения.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/b4a2j5fsbrgwlfcxu6ghjkomre

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#встречи #онлайн

В понедельник, 14 ноября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта.

На этой встрече продолжаем изучать материалы последней, 7-й недели Кембриджского курса по AI safety. Тема этой недели: Agent foundations, AI governance, and careers in alignment.

Материалы:

1. Careers in alignment (Ngo, 2022)

2. AI safety technical research (80 000 hours)

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 13 ноября, мы продолжим обсуждать цепочку "Против рационализации". Поговорим про следующие эссе:

- Мотивированная остановка и мотивированное продолжение
- Фальшивое оправдание;
- Это ваша настоящая причина отказа?
- Связанные истины, заразная ложь.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/5jienhju7jfe7bj2cewnidjg4a

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#переводы

Для тех, кто интересуется темой безопасности искусственного интеллекта, однако недостаточно бегло читает на английском, хочу сообщить, что с недавнего времени некоторое количество переводов по этой теме выкладывается на сайте aisafety.ru

#встречи #онлайн

В понедельник, 21 ноября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта.

На этой встрече завершаем изучать материалы последней, 7-й недели Кембриджского курса по AI safety. Встреча посвящена обсуждению вопросов и заданий этой недели.

Discussion prompts:

1. What are the best examples throughout history of scientists discovering mathematical formalisms that allowed them to deeply understand a phenomenon that they were previously confused about? (The easiest examples are from physics; how about others from outside physics?) To what extent should these make us optimistic about agent foundations research developing a better mathematical understanding of intelligence?

2. How worried are you about misuse vs structural vs accident risk?

3. Do you expect AGI to be developed by a government or corporation (or something else)? What are the key ways that this difference would affect AI governance?

4. What are the main ways in which technical work could make AI governance easier or harder?

5. What are the biggest ways you expect AI to impact the world in the next 10 years? How will these affect policy responses aimed at the decade after that?

6. It seems important for regulators and policy-makers to have a good technical understanding of AI and its implications. In what cases should people with technical AI backgrounds consider entering these fields?

Exercises:

1. Explain the importance of the ability to make credible commitments for Clifton’s (2019) game-theoretic analysis of cooperation failures.

2. What are the most important disanalogies between POMDPs and the real world?

3. In what ways has humanity’s response to large-scale risks other than AI (e.g. nuclear weapons, pandemics) been better than we would have expected beforehand? In what ways has it been worse? What can we learn from this?

Notes:

1. “Accident” risks, as discussed in Dafoe (2020), include the standard risks due to misalignment which we’ve been discussing for most of the course. I don’t usually use the term, because “deliberate” misbehavior from AIs is quite different from standard accidents.

2. Compared with the approaches discussed over the last few weeks, agent foundations research is less closely-connected to existing systems, and more focused on developing new theoretical foundations for alignment. Given this, there are many disagreements about how relevant it is for deep-learning-based systems.

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 20 ноября, мы заканчиваем обсуждать цепочку "Против рационализации" и переходим к цепочке "Против двоемыслия". Поговорим про следующие эссе:

- О лжи и Черных Лебедях;
- Эпистемология темной стороны;
- Двоемыслие (выбирая быть искаженным);
- Серьёзно, я обманул себя.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/h64i2tqsvjbx5ahwxkubi62xjm

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

Пострассылка от команды "Минимизаторов скрепок" с материалами со встречи "День Петрова". От себя отдельно отмечу второй пункт - доклады от представителей сообществ. Там вы можете найти информацию и контакты разных околорационалистских групп, представители которых выступали на встрече.

Дорогие участники Дня Петрова.
Чтобы память о нашей встрече осталась с вами надолго, мы хотим поделиться обещанными материалами с мероприятия.

1️⃣ Здесь презентация с докладами, роликами и моментами, запечатлёнными во время тематической части Дня Петрова, а также ссылки на видео, музыку и стихи, которые мы использовали:

https://docs.google.com/presentation/d/1v2R9p2G8HirgAMWLaVNkxJy4llWjoZ2SAT2jL64vurY/edit?usp=sharing

2️⃣ А здесь видео и материалы от представителей сообществ:

https://docs.google.com/presentation/d/14DqlQryEPZy7Bp_0aqCBANfhcWi5l-9UAEuRAX8xQhg/edit?usp=sharing

3️⃣ После того, как вы ознакомитесь с материалами, мы просим вас пройти опрос, чтобы мы могли узнать, что вам понравилось, а что нет, что мы можем поправить и о чём нам стоит подумать:

https://docs.google.com/forms/d/e/1FAIpQLSdlvbUE3zUi7zoALrSv_ZRBIU_3FwSnUA-oHVzy5tPkOoP-lQ/viewform

Ваш отзыв поможет команде, которая организовывала этот День Петрова, вырасти над собой и делать следующие проекты лучше. Мы очень-очень благодарны вам за то, что вы были с нами на в этот день, и мы не планируем на нём останавливаться!

Например, в этом году мы планируем провести тематическую игру Аумана о согласии, посвящённую когнитивным искажениям. А ещё мы работаем над:
● курсом практических занятий по рациональности,
● вычиткой статьи “Embedded agency” для размещения её на Хабре,
● разработкой веб-приложения для игр Аумана,
● встречи представителей разных рацио и смежных сообществ в формате «спиддейтинга»,
● конференцию по материалам AGI Fundamentals Cambridge (алайнмент, он же согласование ИИ).

Чтобы реализовать эти проекты в разумные сроки, нам бы весьма не помешала ваша помощь. Мы ищем тех, кто умеет или любит или почему-то ещё готов:
● писать тексты,
● нарезать и/или монтировать видео,
● готовить доклады и/или презентации к ним,
гуглить тексты, музыку, видео и всякое иное,
● переводить с английского,
● программировать,
● вычитывать и/или редактировать тексты,
● координировать группы,
● составлять списки,
● объяснять что-то простыми словами,
и многое многое другое, что вы хотели бы попробовать делать в команде =)

Если хотите присоединиться к команде, то добро пожаловать в орг-чат.

#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 27 ноября, мы заканчиваем обсуждать цепочку "Против двоемыслия" и переходим к цепочке "Свежий взгляд на вещи". Поговорим про следующие эссе:

- Вера в самообман;
- Парадокс Мура;
- Не верь, что самообман удался;
- Якорение и корректировка.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/4x7nzmbdwbfkplq67tnyfcmoda

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#видео

https://www.youtube.com/watch?v=7JYfAuVcm-8

6 октября 2022 года в центре проекта "Ковчег" в Ереване Олег Неталиев (в прошлом организатор встреч в Екатеринбурге) рассказывал о том, что такое LessWrong и что такое Эффективный альтруизм. Лекция рассчитывалась на новичков, которые практически ничего об этом не знают.

#встречи #онлайн #скотт_александер

Читательский клуб сообщества "Кочерга" закончил обсуждать материалы Кембриджского курса по безопасности искусственного интеллекта. При выборе, что читать и обсуждать дальше, победил вариант читать статьи Скотта Александера, объединённые на lesswrong.com в подборку "The Codex". Фактически это подборка лучших статей Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

Первая встреча пройдёт в понедельник, 5 декабря. Мы начнём читать цепочку "Argument and Analysis" ("Аргумент и анализ" - на русский переведены лишь три эссе).

Поговорим про следующие эссе:

- Eight Short Studies On Excuses / Оправдания: восемь небольших этюдов;
- Schelling fences on slippery slopes / Заборы Шеллинга на скользких дорожках;
- Intellectual Hipsters and Meta-Contrarianism;
- Cardiologists and Chinese Robbers / Кардиологи и китайские грабители.

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences

Помимо основной встречи для обсуждения участники часто устраивают дополнительную "встречу-читальню", чтобы совместно подготовиться к основной встрече. О времени этой встречи участники договариваются в чате, упомянутом выше.