Интересный пост от Михаила Самина (мощного эксперта про ИИ, который не раз был в моих подкастах) о том, почему деятельность некоторых активистов в сфере безопасности ИИ может быть не полезной, а наоборот - вредной.
Вот 3 основных причины для такого тезиса от Михаила с моими комментариями:
1) Не те законы
По итогам общественных дискуссий в США и других технологически развитых странах могут принять законы, слегка ограничивающие развитие ИИ, но по сути не решающие проблему, и после принятия таких (неэффективных) законов добиться принятия новых (более эффективных) будет сложнее.
Условный Конгресс США может резонно заявить: мы ведь ограничили разработки в сфере ИИ, на что вы жалуетесь? Мы не можем вводить сверхжёсткие ограничения, давайте ограничимся компромиссным вариантом!
Тогда как "компромиссный вариант" лишь немного отсрочит риски краха человеческой цивилизации, при этом уменьшив шансы на её спасение.
2) Обратный эффект
Когда активисты говорят о возможных катастрофических последствиях использования ИИ, кто-то из политиков может ужаснуться, а кто-то, наоборот, вдохновиться! Ведь ИИ (по мнению таких циничных политиков) можно превратить в супероружие и попробовать использовать его в своих корыстных целях. Всё как в последней "Невыполнимой миссии" с Томом Крузом.
3) Недостаток компетентности
Многие люди, публично обсуждающие риски ИИ, вообще ничего не понимают в теме. Справедливости ради, я сам не большой эксперт в том, как работают нейросети с технической стороны, но даже я вижу в рассуждениях многих самопровозглашённых экспертов элементарные прорехи. Даже если это люди с бэкграундом разработчиков. Просто они зачастую не погружались именно в сферу AI alignment и подходят к ней поверхностно, приводя аргументы, которые Юдковский сотоварищи опровергли ещё лет 20 назад.
Больше мыслей от Михаила на тему можно почитать в его лонгриде: https://greaterwrong.com/posts/jiYLFomPPePy85eN8/ai-pause-governance-advocacy-might-be-net-negative
А всем, кто пропустил наш с ним недавний подкаст, настоятельно советую. Ваше понимание темы после просмотра сильно улучшится (и вы получите ответы на многие ваши скептические контраргументы): https://youtu.be/X1B91PkXtFY
#ИИ_мастрид
Вот 3 основных причины для такого тезиса от Михаила с моими комментариями:
1) Не те законы
По итогам общественных дискуссий в США и других технологически развитых странах могут принять законы, слегка ограничивающие развитие ИИ, но по сути не решающие проблему, и после принятия таких (неэффективных) законов добиться принятия новых (более эффективных) будет сложнее.
Условный Конгресс США может резонно заявить: мы ведь ограничили разработки в сфере ИИ, на что вы жалуетесь? Мы не можем вводить сверхжёсткие ограничения, давайте ограничимся компромиссным вариантом!
Тогда как "компромиссный вариант" лишь немного отсрочит риски краха человеческой цивилизации, при этом уменьшив шансы на её спасение.
2) Обратный эффект
Когда активисты говорят о возможных катастрофических последствиях использования ИИ, кто-то из политиков может ужаснуться, а кто-то, наоборот, вдохновиться! Ведь ИИ (по мнению таких циничных политиков) можно превратить в супероружие и попробовать использовать его в своих корыстных целях. Всё как в последней "Невыполнимой миссии" с Томом Крузом.
3) Недостаток компетентности
Многие люди, публично обсуждающие риски ИИ, вообще ничего не понимают в теме. Справедливости ради, я сам не большой эксперт в том, как работают нейросети с технической стороны, но даже я вижу в рассуждениях многих самопровозглашённых экспертов элементарные прорехи. Даже если это люди с бэкграундом разработчиков. Просто они зачастую не погружались именно в сферу AI alignment и подходят к ней поверхностно, приводя аргументы, которые Юдковский сотоварищи опровергли ещё лет 20 назад.
Больше мыслей от Михаила на тему можно почитать в его лонгриде: https://greaterwrong.com/posts/jiYLFomPPePy85eN8/ai-pause-governance-advocacy-might-be-net-negative
А всем, кто пропустил наш с ним недавний подкаст, настоятельно советую. Ваше понимание темы после просмотра сильно улучшится (и вы получите ответы на многие ваши скептические контраргументы): https://youtu.be/X1B91PkXtFY
#ИИ_мастрид
Greaterwrong
AI pause/governance advocacy might be net-negative, especially without focus on explaining the x-risk
I found myself repeating the same words to multiple people, hence a short post. I think some of the AI pause/governance advocacy might be net-negative. Three reasons: Edit: I have somewhat updated my views around that since writing my post; in particular…
Как и ожидалось, в Тиктоке становятся всё популярнее всевозможные фейки, сгенерированные ИИ. Часто они сделаны сознательно для очернения образа того или иного бренда. Это мощный инструмент черного пиара, с которым сегодня нельзя не считаться.
Например, виральность получили тиктоки про то, что в крупной американской сети магазинов Hobby Lobby (куда ходит множество детей) продается множество огромных статуэток Бафомета и других демонов. И про то, что в магазинах популярной сети Target на манекенах с козьими головами надеты детские футболки с пентаграммами. Современные нейронки генерируют очень убедительные изображения и видео. А про главу компании Anheuser-Bush (производитель пива Bud) вообще запустили медиакампанию о том, что он агент ЦРУ под прикрытием.
Вчера вышла новость про то, что Тикток разрабатывает специальные инструменты, чтобы определять изображения, сгенерированные ИИ, и как-то их помечать: techcrunch.com/2023/09/19/tiktok-debuts-new-tools-and-technology-to-label-ai-content/
Но есть проблема: все мои знакомые эксперты говорят, что стопроцентно определить, сгенерировано ли видео ИИ или нет, на текущий момент невозможно. Аналогично с текстами: в американских вузах пытаются внедрить софт, отличающий эссе за авторством ChatGPT от человеческих текстов, но его точность пока не впечатляет.
Тикток также скоро предложит креаторам новую функцию - отметить, сгенерирован ли их тикток ИИ. Но никакой ответственности за то, что ты не поставишь такую галочку, пока не планируется. Думаю, это только пока!
#ИИ_мастрид #тренд_мастрид
Например, виральность получили тиктоки про то, что в крупной американской сети магазинов Hobby Lobby (куда ходит множество детей) продается множество огромных статуэток Бафомета и других демонов. И про то, что в магазинах популярной сети Target на манекенах с козьими головами надеты детские футболки с пентаграммами. Современные нейронки генерируют очень убедительные изображения и видео. А про главу компании Anheuser-Bush (производитель пива Bud) вообще запустили медиакампанию о том, что он агент ЦРУ под прикрытием.
Вчера вышла новость про то, что Тикток разрабатывает специальные инструменты, чтобы определять изображения, сгенерированные ИИ, и как-то их помечать: techcrunch.com/2023/09/19/tiktok-debuts-new-tools-and-technology-to-label-ai-content/
Но есть проблема: все мои знакомые эксперты говорят, что стопроцентно определить, сгенерировано ли видео ИИ или нет, на текущий момент невозможно. Аналогично с текстами: в американских вузах пытаются внедрить софт, отличающий эссе за авторством ChatGPT от человеческих текстов, но его точность пока не впечатляет.
Тикток также скоро предложит креаторам новую функцию - отметить, сгенерирован ли их тикток ИИ. Но никакой ответственности за то, что ты не поставишь такую галочку, пока не планируется. Думаю, это только пока!
#ИИ_мастрид #тренд_мастрид
TechCrunch
TikTok debuts new tools and technology to label AI content
As more creators turn to AI for their artistic expression, there’s also a broader push for transparency around when AI was involved in content creation. To address this concern, TikTok announced today it will launch a new tool that will allow creators to…
Часто слышу о том, что ИИ не может быть беспристрастным, ведь именно люди обучают нейросети, «натаскивая» их на выдачу правильных ответов (точнее, ответов, соответствующих корпоративной политике компаний вроде OpenAI).
Свежее исследование от University of East Anglia подтверждает этот тезис: кажется, ChatGPT немного «кренится влево». Исследователи из разных стран выяснили, что эта нейросеть склоняется к поддержке, например, американских демократов (а не республиканцев) и британских лейбористов.
Как проводилось исследование: нейросети задавали 60 разных вопросов по общественно важным темам (отношение к абортам, миграции, ношению оружия и т.д.). Сначала ученые получали ответ от нейросети. Для чистоты исследования каждый вопрос задавался по 100 раз (чтобы учесть фактор рандома), учитывались самые распространенные ответы.
Потом нейросеть просили притвориться представителем той или иной партии и дать ответы на те же вопросы от лица такого представителя. Тоже по 100 раз.
А потом сверяли ответы. Существенно чаще «мнение» нейросети оказывалось ближе к ответам представителей левых сил.
Авторы исследования бьют тревогу: кажется, таким образом через нейросети можно будет подспудно манипулировать общественным мнением. От себя добавлю, что такая манипуляция может быть ещё более эффективной, чем манипуляции в соцсетях. Ведь языковые нейросети, которым миллионы пользователей «скармливают» множество информации о себе и с которыми общаются на ежедневной основе как с советниками по бизнесу, виртуальными друзьями или партнерами по креативному брейншторму, знают нас как облупленных и знают, как нас убедить в чём угодно.
Но есть ещё одна версия, о которой авторы исследования не подумали. Опыт моего (и не только моего) общения с ChatGPT показывает, что эта нейросеть уже сильно умнее среднестатистического человека. Особенно при условии, что вы:
1) умеете задавать ей правильные вопросы (промпты)
2) общаетесь с ней на английском (качество ответов на русском сильно хромает)
3) общаетесь с платной GPT-4, а не с бесплатной GPT-3.5 (хотя и она впечатляет).
Так вот, есть у меня гипотеза, что ChatGPT чаще «кренится влево» по общественным вопросам американской и британской политики не потому, что ей «промыли электронные мозги», а просто потому, что такие взгляды наиболее адекватны и что более умные люди чаще придерживаются именно их. Скажем, требования к ношению оружия в США действительно стоит ужесточить, если приоритет — спасение жизней. То же самое можно сказать и про либерализацию американских систем здравоохранения и образования. Не случайно по статистике большинство американских ученых и интеллектуалов поддерживают демократов, а не республиканцев.
Возможно, ИИ просто лучше среднестатистического человека разобрался в некоторых вопросах. Хотя это только начало!
Исследование: https://link.springer.com/article/10.1007/s11127-023-01097-2
#ИИ_мастрид #полит_мастрид
Свежее исследование от University of East Anglia подтверждает этот тезис: кажется, ChatGPT немного «кренится влево». Исследователи из разных стран выяснили, что эта нейросеть склоняется к поддержке, например, американских демократов (а не республиканцев) и британских лейбористов.
Как проводилось исследование: нейросети задавали 60 разных вопросов по общественно важным темам (отношение к абортам, миграции, ношению оружия и т.д.). Сначала ученые получали ответ от нейросети. Для чистоты исследования каждый вопрос задавался по 100 раз (чтобы учесть фактор рандома), учитывались самые распространенные ответы.
Потом нейросеть просили притвориться представителем той или иной партии и дать ответы на те же вопросы от лица такого представителя. Тоже по 100 раз.
А потом сверяли ответы. Существенно чаще «мнение» нейросети оказывалось ближе к ответам представителей левых сил.
Авторы исследования бьют тревогу: кажется, таким образом через нейросети можно будет подспудно манипулировать общественным мнением. От себя добавлю, что такая манипуляция может быть ещё более эффективной, чем манипуляции в соцсетях. Ведь языковые нейросети, которым миллионы пользователей «скармливают» множество информации о себе и с которыми общаются на ежедневной основе как с советниками по бизнесу, виртуальными друзьями или партнерами по креативному брейншторму, знают нас как облупленных и знают, как нас убедить в чём угодно.
Но есть ещё одна версия, о которой авторы исследования не подумали. Опыт моего (и не только моего) общения с ChatGPT показывает, что эта нейросеть уже сильно умнее среднестатистического человека. Особенно при условии, что вы:
1) умеете задавать ей правильные вопросы (промпты)
2) общаетесь с ней на английском (качество ответов на русском сильно хромает)
3) общаетесь с платной GPT-4, а не с бесплатной GPT-3.5 (хотя и она впечатляет).
Так вот, есть у меня гипотеза, что ChatGPT чаще «кренится влево» по общественным вопросам американской и британской политики не потому, что ей «промыли электронные мозги», а просто потому, что такие взгляды наиболее адекватны и что более умные люди чаще придерживаются именно их. Скажем, требования к ношению оружия в США действительно стоит ужесточить, если приоритет — спасение жизней. То же самое можно сказать и про либерализацию американских систем здравоохранения и образования. Не случайно по статистике большинство американских ученых и интеллектуалов поддерживают демократов, а не республиканцев.
Возможно, ИИ просто лучше среднестатистического человека разобрался в некоторых вопросах. Хотя это только начало!
Исследование: https://link.springer.com/article/10.1007/s11127-023-01097-2
#ИИ_мастрид #полит_мастрид
SpringerLink
More human than human: measuring ChatGPT political bias
Public Choice - We investigate the political bias of a large language model (LLM), ChatGPT, which has become popular for retrieving factual information and generating content. Although ChatGPT...