Новости сообщества LessWrong

#в_мире #переводы

В конце декабря на lesswrong.com представители CFAR предложили участникам задавать любые вопросы про их деятельность. В итоге вопросов, ответов и обсуждений получилось довольно много.

В частности, мне показался интересным комментарий Адама Шолля про одну ошибку, с которой он особенно часто сталкивается на воркшопах для людей, которые занимаются рисками, связанными с искусственным интеллектом (т.е. в первую очередь для инженеров, программистов, математиков). И я решил его перевести (основную часть):

=======

[Иногда] я сталкиваюсь с вопросами вида:

"Должен ли я заменить [моя главная цель Х] на [перечень этических целей, про которые я недавно узнал]?"
"Почему наличие у меня цели - это хорошая причина, чтобы её достигать?"
"Можно ли вообще считать утверждения вида 'Х — это хорошо' или 'Y — это прекрасно' осмысленными?"

Когда я сталкиваюсь с этим, я часто показываю на ближайшее дерево и начинаю описывать его на разных уровнях абстракции. Слово "дерево" обозначает множество связанных штук: это объект, относящийся к биологическому царству "растения"; это объект, который люди обычно описывают, издавая звуки, складывающиеся в слово "дерево"; это конкретный физический объект, находящийся перед нами; это конкретное множество частиц, составляющий объект перед нами; и так далее. При этом вполне разумно всё равно использовать слово "дерево", во всяком случае, пока вы не забываете, на каком уровне абстракции вы находитесь, т.е. пока вы точно понимаете, на какую именно связь карты и территории вы ссылаетесь.

Для большинства людей с научным складом ума это очевидно. Но то, что то же самое, с теми же самыми предосторожностями нужно проделывать, обсуждая понятия "цель" и "хорошо", часто гораздо менее очевидно. Бессмысленно обсуждать, является ли указанное дерево "прочным", не уточнив, идёт речь о вероятности того, что оно упадёт, или о силе молекулярных связей. И точно также бессмысленно обсуждать является ли цель "хорошей", не уточняя, подразумеваете ли вы "с точки зрения существующего в обществе консенсуса", или "по отношению к моим текущим предпочтениям", или "по отношению к предпочтениям, которые бы у меня были, если бы я тщательнее их обдумал".

Часто это помогает людям разрешить имеющееся у них противоречие. Возможно, когда-нибудь я придумаю секцию на эту тему, чтобы разрешать больше таких противоречий. Однако мне кажется, что в таком случае некоторые инженеры из слушателей начнут нервничать, потому что всё это будет похожим на занятие по философии! (В беседах с глазу на глаз мне уже об этом говорят регулярно.)

=======

Адам в этом же комментарии ссылается, что в таких вопросах помогает чтение цепочки Как люди понимают слова. Хотя, с моей точки зрения, это ещё и тема Редукционизма.

Lesswrong

We run the Center for Applied Rationality, AMA - LessWrong

CFAR recently launched its 2019 fundraiser, and to coincide with that, we wanted
to give folks a chance to ask us about our mission, plans, and strategy. Ask any
questions you like; we’ll respond to as many as we can from 10am PST on 12/20
until 10am PST…

450 views11:48