Новости сообщества LessWrong
1.33K subscribers
21 photos
1 file
837 links
Новости русскоязычной части сообщества LessWrong. Интересные статьи, новые переводы и встречи.
Download Telegram
#переводы #нго

Новый перевод на сайте -- подборка задач по согласованию ИИ (AI alignment) от Ричарда Нго.

Благодаря работам Элиезера Юдковского (и не только) уже многие слышали, что есть важная задача по согласованию ИИ. Однако даже если человек согласен, что это важная задача, и хочет принять участие в её решении, зачастую непонятно, а с чего вообще начинать.

В прошлом месяце Ричард Нго выложил свою подборку задач, которые ему представляются полезными. Некоторые из этих задач давно известны и для них существует решение, а некоторые не решены до сих пор. Группа Мак и коты и AI Safety перевела этот текст на русский язык. (Впрочем, для работы над большей частью задач всё равно придётся читать материалы на английском.)

https://lesswrong.ru/1235
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Итак, как же мы можем понять, что имеем дело именно с неадекватным равновесием, а не с какой-то иной проблемой?

Сегодня, 21 марта, мы поговорим о третьей главе книги "Инструментарий Молоха" ("Moloch’s Toolbox"). В этой главе Юдковский описывает, когда и как возникают неадекватные равновесия и в диалоговой форме приводит разнообразные их примеры.

Главу можно прочитать по ссылке: https://equilibriabook.com/molochs-toolbox/ Поскольку эта глава очень большая, в рамках этой встречи мы ограничимся первой её половиной (до раздела VI включительно).

Встреча пройдёт в онлайне, на платформе Zoom. Регистрация на встречу: https://kocherga-club.ru/events/zxdrs62li5esfk2ovy5li2odu4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
Попытка простыми словами описать, почему вопросы безопасности сильного искусственного интеллекта - это важно. С большим количеством упрощений (автор это сама признаёт), однако написать коротко и без упрощений невозможно.

https://vk.com/wall-99823470_1045
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Сегодня, 28 марта, мы будем обсуждать вторую часть главы "Инструментарий Молоха" ("Moloch’s Toolbox"), в которой автор продолжает приводить примеры неадекватных равновесий и рассуждать о том, как именно они образовались.

Главу можно прочитать по ссылке: https://equilibriabook.com/molochs-toolbox/ В рамках этой встречи мы будем обсуждать её, начиная с раздела VII.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/67ztjb3qafhjvlediiueikpuri

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
У Charity Entrepreneurship до 3-го апреля открыт прием заявок в новую инкубационную программу

В Charity Entrepreneurship уже 4 года помогают запускать проекты, решающие масштабные и недооцененные проблемы, а также проводят исследования. В этом году программа будет направлена на создание благотворительных организаций в следующих сферах:

- Качество помощи
- Безопасность дорожного движения
- Налогообложение табака
- Послеродовое планирование семьи
- Изучение определенных проблем

"Мы предоставляем хорошо проработанные идеи благотворительности, 2-месячную очную программу обучения с оплатой стоимости обучения (онлайн), денежные стипендии для покрытия расходов на проживание, значительное финансирование (до $175 000) для воплощения проектов в жизнь и широкий спектр постоянной поддержки", — пишут организаторы.

Новая программа продлится с 27 июня по 19 августа 2022 года, крайний срок подачи заявок на второй тур — 3 апреля 2022 года (+1 неделя для опоздавших).

Больше подробностей:
➡️ www.charityentrepreneurship.com/incubation-program
#переводы

Новый перевод на сайте - совместная статья Эвана Хубингера, Криса ван Мервика, Владимира Микулика, Йоара Скалсе и Скотта Гаррабранта "Риски выученной оптимизации".

"Цель этой статьи – проанализировать выученную оптимизацию, происходящую, когда обученная модель (например, нейронная сеть) сама является оптимизатором – ситуация, которую мы называем меса-оптимизацией – неологизмом, представленным в этой цепочке. Мы убеждены, что возможность меса-оптимизации поднимает два важных вопроса касательно безопасности и прозрачности продвинутых систем машинного обучения. Первый: в каких обстоятельствах обученная модель будет оптимизатором, включая те, когда не должна была им быть? Второй: когда обученная модель – оптимизатор, каковы будут её цели: как они будут расходиться с функцией оценки, которой она была обучена, и как можно её согласовать?"

https://lesswrong.ru/node/1258

За перевод в очередной раз благодарим сообщество Мак и коты и AI Safety.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Зачем нам вообще уметь опознавать неадекватные равновесия? Есть множество людей, которые без всякого анализа скажут: "Совершенно очевидно, что вся система сломана. Зачем нужен какой-то анализ неадекватности?" Другие люди скажут: "Если тебе кажется, что в системе что-то работает не так, значит, ты просто недостаточно разобрался в ней". Почему этих точек зрения может быть недостаточно?

Сегодня, 4 апреля, мы закончим обсуждать третью главу "Инструментарий Молоха" ("Moloch’s Toolbox"), в которой нам остался раздел Х, и перейдём к главе "Жизнь в неадекватном мире" ("Living in an Inadequate World"). За эту встречу мы планируем обсудить первую половину этой главы (разделы I и II).

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/uvh5okbgujew3baosj2buyaaby

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Предположим, что мы действительно живём в достаточно неадекватном мире. Но что мы можем в таком случае сделать? Если даже признанные эксперты ошибаются, как мы можем об этом узнать, не становясь экспертами сами?

Сегодня, 11 апреля, мы обсудим вторую половину четвёртой главы "Жизнь в неадекватном мире" ("Living in an Inadequate World"). После этого мы перейдём к пятой главе "Слепой эмпиризм" ("Blind Empiricism"), в которой пойдёт речь о том, что хотя излишняя привязанность к своей теории крайне вредна, отсутствие теории тоже приводит к проблемам.

Встреча пройдёт в онлайне, на платформе Zoom. Чтобы получить ссылку, нужно зарегистрироваться: https://kocherga-club.ru/events/lwrqsgmw3be7rkfzlfhuydvomm

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#книги #галеф

Написал статью с пересказом основных идей книги Джулии Галеф "Мышление разведчика". С моей точки зрения, короче всего эту книгу можно описать так: это книга о том, как успешно менять своё мнение. Наверное, её можно считать более современной и, вероятно, более практичной версией соответствующего тома "Рациональности: от ИИ до Зомби".

Джулия Галеф когда-то была одним из авторов блога LessWrong. Также она была первым президентом CFAR. Сейчас ведёт подкаст "Rationally speaking".

https://telegra.ph/Dzhuliya-Galef-Myshlenie-razvedchika-04-12
#встречи #онлайн

Все мы знаем про ошибку планирования. Люди очень часто ошибаются в вопросах, сколько времени у них займёт та или иная задача или сколько им ресурсов потребуется. Известно, что лучший способ справиться с ошибкой планирования - воспользоваться "взглядом извне", то есть, посмотреть, сколько времени или ресурсов тратили на такую же задачу мы сами или хотя бы другие люди.

Однако что если человек планирует достаточно амбициозный проект, например, планирует сделать что-то новое, в чём его предшественники не добились успеха? Что здесь скажет "взгляд извне"?

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Сегодня, 18 апреля, мы обсудим вторую половину пятой главы "Слепой эмпиризм" ("Blind Empiricism"). После этого мы перейдём к шестой главе "Против эпистемологии скромности"("Against Modest Epistemology").

Встреча пройдёт в онлайне, на платформе Zoom. Регистрация на встречу: https://kocherga-club.ru/events/bjhqthhydnehjh3lzvsvq3mlg4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Литература, посвящённая когнитивным искажениям, часто пишет о том, как нам мешает жить сверхуверенность. Мудро ли в таком случае пытаться удержать людей от недоуверенности?

Почему многие люди зачастую склонны браться лишь за задачи, которые они точно могут решить, и не пытаются проверить свои силы в чём-то более серьёзном?

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия". Сегодня, 25 апреля, мы обсудим седьмую главу книги - "Контроль за статусами и тревожная недоуверенность" ("Status Regulation and Anxious Underconfidence").

Встреча пройдёт в онлайне, на платформе Zoom. Для получения ссылки нужно зарегистрироваться: https://kocherga-club.ru/events/v4bhqaodg5f5beb2iawavz5tb4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

С точки зрения эпистемологии сверхуверенность и недостаточная уверенность - явления одного порядка. Однако, кажется, человек, который постоянно пытается прыгнуть выше головы, осуждается окружающими чаще, чем человек, который не пытается это сделать никогда. Как это влияет на наше поведение?

Сегодня, 2 мая мы заканчиваем обсуждать книгу "Неадекватные равновесия". Обсудим вторую часть седьмой главы "Контроль за статусами и тревожная недоуверенность" ("Status Regulation and Anxious Underconfidence") и заключение , а также поговорим о книге в целом.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/paiqclm6nvamfftdxdsyg4xrde

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Как можно использовать в реальной жизни центральные идеи из книги «Неадекватные равновесия»? Как понятия адекватности, используемости и эффективности помогают узнать будет ли успешной новая задумка?

В понедельник, 9 мая обсудим эссе «Лицензия героя» — текст, по смыслу дополняющий книгу «Неадекватные равновесия», в котором Юдковский рассказывает об истории создания ГПиМРМ и своей работе в области искусственного интеллекта.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/exwjf4bxfjfapjy2znvd5jvbtu

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#переводы #скотталександер

Недавно здесь публиковался перевод статьи Эвана Хубингера и других "Риски выученной оптимизации", в которой вводилось понятие меса-оптимизатора. В апреле Скотт Александер написал эссе "Deceptively Aligned Mesa-Optimizers: It's Not Funny If I Have To Explain It" с объяснениями того, что это такое и с какими проблемами это понятие связано. А группа Мак и коты и AI Safety это эссе перевела.

Обманчиво согласованные меса-оптимизаторы. Это не смешно, если приходится объяснять
#встречи #онлайн

Чем могут помочь знания о неадекватных равновесиях и эпистемологии скромности? Что при наличии этих знаний мы можем начать делать по-другому?

Сегодня, 16 мая, мы подведём итоги обсуждений книги Элиезера Юдковского "Неадекватные равновесия" и поговорим о том, что мы будем обсуждать дальше.

Встреча пройдёт в онлайне, на платформе Zoom. Для участия во встрече необходимо зарегистрироваться: https://kocherga-club.ru/events/pmu2xkg3wveypp3utrfxcwzfym

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Продолжаем обсуждать различные материалы, посвящённые рациональному мышлению.

Сегодня, 23 мая, обсудим серию заметок «Краткое руководство по умным персонажам».
В нём Юдковский показывает минусы стереотипной рациональности или умности персонажей в художественных произведениях и даёт инструкции, как сделать своего персонажа умнее и правдоподобнее.

Прочитать руководство можно по ссылке:
EN: https://yudkowsky.tumblr.com/writing
RU: https://lesswrong.ru/205

Встреча пройдёт в онлайне, на платформе Zoom. Для участия во встрече необходимо зарегистрироваться: https://kocherga-club.ru/events/oxprzksdp5cflbe7yo3vuqznl4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Первая часть сегодняшнего (30 мая) клуба чтения Цепочек будет посвящена второй части "Руководства по созданию умных персонажей" Элиезера Юдковского.

Во второй части мы перейдём статьям, посвящённым согласованию искусственного интеллекта (AI alignment).

Почему Юдковский и другие исследователи AI alignment решили заниматься именно этой областью? Почему они считают, что вопросы согласования искусственного интеллекта чрезвычайно важны, а на их решение тратится недостаточно ресурсов? На какие предположения они опираются в своих рассуждениях об этом?

Поговорим про следующие эссе:

1. Нейт Соарес, "Четыре предпосылки".
2. Ричард Нго, "Безопасность сильного ИИ с чистого листа".

Встреча пройдёт в онлайне, на платформе Zoom. Для участия во встрече необходимо зарегистрироваться: https://kocherga-club.ru/events/4og3jw2bjfdt7keghim5tk7j4y

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.