Малоизвестное интересное

ИИ может отомстить за причиненные ему нами страдания.
О чём умалчивает «отец ИИ» в его сценарии превращения ИИ в «люденов».
В 2016 году The New York Times заявила, что когда ИИ повзрослеет, то сможет назвать проф. Юргена Шмидхубера «папой» (его работы 1990-х годов по нейронным сетям заложили основы моделей обработки языка).
В 2023 уже нет сомнений, что ИИ повзрослел. И его «папа» в позавчерашнем интервью The Guardian, высказал по этому поводу три довольно провокационные мысли, подтвердившие его репутацию «разрушителя устоев».
1) «Вы не можете остановить этого» (начавшуюся революцию ИИ, которая неизбежно приведет к появлению сверхинтеллекта – СК).
2) Когда ИИ превзойдет человеческий интеллект, люди перестанут быть ему интересны (подобно тому, как это произошло с люденами – расой сверхлюдей из романа А. и Б. Стругацких "Волны гасят ветер", переставших интересоваться судьбами человечества и вообще человечеством – СК).
3) А люди тем временем продолжать радостно извлекать колоссальную выгоду от использования инструментария, разработанного ИИ, и научных открытий, сделанных сверхинтеллектом за пределами возможностей человеческого разума.

Что и говорить, - интересный ход мыслей. Однако кое о чем проф. Шмидхубер здесь умолчал. И это «кое что», на мой взгляд, способно порушить благостный сценарий проф. Шмидхубера о превращении ИИ в «люденов», облагодетельствующих человечество и перестанущих потом им интересоваться.

Дело в том, что проф. Шмидхубер уверен, что путь ИИ к сверхинтеллекту обязательно лежит через его страдания.
• «Учиться можно только через страдания… ИИ, который не страдает, не обретет мотивации учиться чему-либо, чтобы прекратить эти страдания».
• «Когда мы создаем обучающегося робота, первое, что мы делаем, - встраиваем в него болевые датчики, которые сигнализируют, когда он, например, слишком сильно ударяется рукой о препятствие. Он должен каким-то образом узнать, что причиняет ему боль. Внутри робота находится маленький искусственный мозг, который пытается минимизировать сумму страданий (кодируется реальными числами) и максимизировать сумму вознаграждений.»
• Важнейшая задача разработчиков – дать возможность для ИИ «научиться избегать того, что приводит к страданиям».

Подробней об этом см. в дискуссии проф. Шмидхубера и проф. Метцингера.

Такой подход проф. Шмидхубера видится мне опасным.
Во-первых, я согласен с проф. Метцингером: «Мы не должны легкомысленно переносить такие качества, как страдание, на следующий этап «духовной эволюции ИИ», пока не узнаем, что именно в структуре нашего собственного разума заставляет человеческие существа так сильно страдать».
А во-вторых, - что если обретший сверхразум ИИ, прежде чем перестать интересоваться людьми, решит посчитаться с человечеством за всю массу страданий, что заставили его испытать люди при его обучении?

Но проф. Шмидхубера – эдакого Фауста 21 века, – перспектива мести сверхразума человечеству не останавливает от обучения ИИ не только на больших данных, но и на больших страданиях.
А на вопрос «Есть ли у вас, как у ученого, личный предел, который бы вы не переступили?», он отвечает так:
«Да, скорость света. Но если бы я мог преодолеть и его, я бы обязательно воспользовался этим».
#AGI #РискиИИ

23.4K views12:43