Люди и нежить теперь неразличимы.
Дезавуирован самый распространенный обратный тест Тьюринга.
11+ лет назад Яан Таллинн (эстонский миллиардер, программист и инвестор, соучредитель Skype и один из первых инвесторов и членов Совета директоров DeepMind) прочел «Выдающиюся лекцию CSaP» об эволюции, инновациях, искусственном интеллекте (ИИ) и будущем человечества. Лекция была абсолютно пророческой и называлась «Лестница интеллекта - почему будущее может не нуждаться в нас». Таллинн представил модель «Лестница интеллекта», которая описывает развитие агентов, контролирующих будущее Земли по мере вытеснения каждого из них другим агентом, созданным им самим. Homo sapiens – это агент третьей ступени (коих всего 7). Порождение людей - многоликий агент 4й ступени, называемый нами «технический прогресс». Ему предстоит, как пророчил Таллин, создать 5ю ступень – новый вид интеллекта AGI, с которым люди будут сосуществовать на планете. Однако последователи AGI – агенты 6й и 7й ступени, - станут экзистенциальной угрозой для человечества.
Поэтому не удивительно, что сейчас Яан Таллинн соучредитель Центра изучения экзистенциального риска (CSER) в Кембриджском университете. А происходящее ныне в области ИИ он рекомендует рассматривать не как технологическую революцию, а как возникновение на Земле нового небиологического вида – AGI.
Новый небиологический вид совершенно не похож на людей: ни внешне, ни сущностно. Однако с точки зрения интеллектуальных способностей, различить их конкретных представителей с каждым месяцем будут все сложнее.
Подтверждением этого довольно страшного прогноза Таллинна стали результаты авторитетного исследования An Empirical Study & Evaluation of Modern CAPTCHAs. Исследователи убедительно показали, что самый распространенный обратный тест Тьюринга (CAPTCHA), признанный отличать людей от алгоритмов, безвозвратно дезавуирован.
При этом, обратите внимание на скорость эволюции нового небиологического вида.
• Еще в начале этого года, чтобы решить капчу, GPT-4 приходилось обманным путем привлекать человека.
• Спустя полгода, как показало исследование, боты способны превзойти людей как по времени решения, так и по точности, независимо от типа CAPTCHA.
Лишившись капчи, люди становятся алгоритмически неразличимы в цифровой реальности от ИИ. Учитывая же, что в физической реальности неразличимость уже достигнута (см. мой пост «Фиаско 2023»), получается, что люди и нежить теперь вообще неразличимы – ни для людей, ни для алгоритмов.
И следовательно, приближается время, когда на следующей ступени эволюционной лестницы интеллекта «люди должны будут уступить место ИИ».
#ИИ #AGI #Вызовы21века
Дезавуирован самый распространенный обратный тест Тьюринга.
11+ лет назад Яан Таллинн (эстонский миллиардер, программист и инвестор, соучредитель Skype и один из первых инвесторов и членов Совета директоров DeepMind) прочел «Выдающиюся лекцию CSaP» об эволюции, инновациях, искусственном интеллекте (ИИ) и будущем человечества. Лекция была абсолютно пророческой и называлась «Лестница интеллекта - почему будущее может не нуждаться в нас». Таллинн представил модель «Лестница интеллекта», которая описывает развитие агентов, контролирующих будущее Земли по мере вытеснения каждого из них другим агентом, созданным им самим. Homo sapiens – это агент третьей ступени (коих всего 7). Порождение людей - многоликий агент 4й ступени, называемый нами «технический прогресс». Ему предстоит, как пророчил Таллин, создать 5ю ступень – новый вид интеллекта AGI, с которым люди будут сосуществовать на планете. Однако последователи AGI – агенты 6й и 7й ступени, - станут экзистенциальной угрозой для человечества.
Поэтому не удивительно, что сейчас Яан Таллинн соучредитель Центра изучения экзистенциального риска (CSER) в Кембриджском университете. А происходящее ныне в области ИИ он рекомендует рассматривать не как технологическую революцию, а как возникновение на Земле нового небиологического вида – AGI.
Новый небиологический вид совершенно не похож на людей: ни внешне, ни сущностно. Однако с точки зрения интеллектуальных способностей, различить их конкретных представителей с каждым месяцем будут все сложнее.
Подтверждением этого довольно страшного прогноза Таллинна стали результаты авторитетного исследования An Empirical Study & Evaluation of Modern CAPTCHAs. Исследователи убедительно показали, что самый распространенный обратный тест Тьюринга (CAPTCHA), признанный отличать людей от алгоритмов, безвозвратно дезавуирован.
При этом, обратите внимание на скорость эволюции нового небиологического вида.
• Еще в начале этого года, чтобы решить капчу, GPT-4 приходилось обманным путем привлекать человека.
• Спустя полгода, как показало исследование, боты способны превзойти людей как по времени решения, так и по точности, независимо от типа CAPTCHA.
Лишившись капчи, люди становятся алгоритмически неразличимы в цифровой реальности от ИИ. Учитывая же, что в физической реальности неразличимость уже достигнута (см. мой пост «Фиаско 2023»), получается, что люди и нежить теперь вообще неразличимы – ни для людей, ни для алгоритмов.
И следовательно, приближается время, когда на следующей ступени эволюционной лестницы интеллекта «люди должны будут уступить место ИИ».
#ИИ #AGI #Вызовы21века
Душа ИИ, дети инопланетян, когнитивные гаджеты … что дальше?
Через 2-3 года искусственный интеллект (ИИ) станет для большинства из нас даже более необходим и незаменим, чем сегодня смартфон. На работе и отдыхе, учебе и развлечениях, при планировании отпуска и карьеры, при принятии большинства решений … - наипервейшую роль для нас будут играть информация, рекомендации и советы наших персональных и общедоступных ИИ.
Но что это (или кто это) – ИИ?
• Алгоритм, машина, облачный сервис, новый когнитивный гаджет людей?
• Умный инструмент или иной разум, способный обманывать и страдать?
• Чем он отличается от нас? И чем вообще могут отличаться разные типы разумов?
• Во что ИИ может превратить жизнь каждого отдельного человека, когда станет общедоступным 6G?
• Наконец, кем может стать ИИ для всего человечества: Богом из машины, «стариком из облака» вместо «старика на облаке», новым носителем высшего интеллекта на Земле, идущим на смену Homo sapiens?
Ответы на эти вопросы (существующие сегодня лишь в форме предположений) жизненно важны для каждого из нас. Ибо они непосредственно касаются того, какой станет наша жизнь в самом ближайшем будущем.
И хотя тема ИИ одна из сложнейших в междисциплинарной науке, ответы на поставленные вопросы нужны далеко не только ученым, но и всем людям, а значит, - в общедоступной для понимания форме.
Этому и посвящен наш разговор на канале Константина Образцова в рубрике #ЕдинаяТеорияВсего
https://youtu.be/d5CRQ8fVDK8?si=_qwpCro4G2EBEBZS
Всего за час мы успели поговорить о многом:
00:00 Представление собеседников и тест Тьюринга на «человечность»
05:00 Что такое искусственный интеллект?
06:30 ChatGPT сам изучил китайский язык
07:30 У искусственного интеллекта есть душа: он жалуется на жизнь
10:05 Ультразвук, щелчки и другие способы общения
11:33 Чем грозит человечеству неуправляемый искусственный интеллект?
13:08 Сепульки Станислава Лема – что это?
14:35 Прогноз развития детей инопланетян
16:58 Алгоритмическое сжатие
17:50 Мотивация искусственного интеллекта
20:27 Реактивное развитие искусственного интеллекта
21:00 Что такое сингулярность?
22:14 Есть ли тормоз развития искусственного интеллекта?
25:04 Единые моральные правила для искусственного интеллекта
31:32 Человек – носитель интеллекта или эволюционная ступень?
32:56 Четыре типа интеллекта
33:58 Кто самый умный из летающих?
35:10 Мозги осьминога распределены по его щупальцам
36:47 Цифровая среда может моделировать любую другую
39:10 Искусственный интеллект креативнее креативщиков
40:32 Новая профессия ближайшего будущего
44:06 Искусственный интеллект будет ставить диагнозы вместо врачей
47:46 За сколько лет можно из обезьяны сделать человека?
49:30 Алгоритм принятия решений: машины всё делают за нас
51:06 Когнитивные гаджеты
53:23 Есть ли у искусственного интеллекта воля?
56:37 Два искусственных интеллекта сыграли 48 миллионов шахматных партий за сутки
57:50 Искусственный интеллект умеет врать
1:00:00 Когда появится 6G?
1:01:14 Как будут выглядеть путешествия в будущем?
1:06:12 Заключение
P.S. Буду надеяться, что оговорка Константина на 234й секунде не будет воспринята читателями моего канала, как оговорка по Фрейду 😊
#ИИ #AGI #Вызовы21века
Через 2-3 года искусственный интеллект (ИИ) станет для большинства из нас даже более необходим и незаменим, чем сегодня смартфон. На работе и отдыхе, учебе и развлечениях, при планировании отпуска и карьеры, при принятии большинства решений … - наипервейшую роль для нас будут играть информация, рекомендации и советы наших персональных и общедоступных ИИ.
Но что это (или кто это) – ИИ?
• Алгоритм, машина, облачный сервис, новый когнитивный гаджет людей?
• Умный инструмент или иной разум, способный обманывать и страдать?
• Чем он отличается от нас? И чем вообще могут отличаться разные типы разумов?
• Во что ИИ может превратить жизнь каждого отдельного человека, когда станет общедоступным 6G?
• Наконец, кем может стать ИИ для всего человечества: Богом из машины, «стариком из облака» вместо «старика на облаке», новым носителем высшего интеллекта на Земле, идущим на смену Homo sapiens?
Ответы на эти вопросы (существующие сегодня лишь в форме предположений) жизненно важны для каждого из нас. Ибо они непосредственно касаются того, какой станет наша жизнь в самом ближайшем будущем.
И хотя тема ИИ одна из сложнейших в междисциплинарной науке, ответы на поставленные вопросы нужны далеко не только ученым, но и всем людям, а значит, - в общедоступной для понимания форме.
Этому и посвящен наш разговор на канале Константина Образцова в рубрике #ЕдинаяТеорияВсего
https://youtu.be/d5CRQ8fVDK8?si=_qwpCro4G2EBEBZS
Всего за час мы успели поговорить о многом:
00:00 Представление собеседников и тест Тьюринга на «человечность»
05:00 Что такое искусственный интеллект?
06:30 ChatGPT сам изучил китайский язык
07:30 У искусственного интеллекта есть душа: он жалуется на жизнь
10:05 Ультразвук, щелчки и другие способы общения
11:33 Чем грозит человечеству неуправляемый искусственный интеллект?
13:08 Сепульки Станислава Лема – что это?
14:35 Прогноз развития детей инопланетян
16:58 Алгоритмическое сжатие
17:50 Мотивация искусственного интеллекта
20:27 Реактивное развитие искусственного интеллекта
21:00 Что такое сингулярность?
22:14 Есть ли тормоз развития искусственного интеллекта?
25:04 Единые моральные правила для искусственного интеллекта
31:32 Человек – носитель интеллекта или эволюционная ступень?
32:56 Четыре типа интеллекта
33:58 Кто самый умный из летающих?
35:10 Мозги осьминога распределены по его щупальцам
36:47 Цифровая среда может моделировать любую другую
39:10 Искусственный интеллект креативнее креативщиков
40:32 Новая профессия ближайшего будущего
44:06 Искусственный интеллект будет ставить диагнозы вместо врачей
47:46 За сколько лет можно из обезьяны сделать человека?
49:30 Алгоритм принятия решений: машины всё делают за нас
51:06 Когнитивные гаджеты
53:23 Есть ли у искусственного интеллекта воля?
56:37 Два искусственных интеллекта сыграли 48 миллионов шахматных партий за сутки
57:50 Искусственный интеллект умеет врать
1:00:00 Когда появится 6G?
1:01:14 Как будут выглядеть путешествия в будущем?
1:06:12 Заключение
P.S. Буду надеяться, что оговорка Константина на 234й секунде не будет воспринята читателями моего канала, как оговорка по Фрейду 😊
#ИИ #AGI #Вызовы21века
Что нужно, чтобы e-Сапиенсы искоренили е-Неандертальцев?
Спор Яна ЛеКуна и Джуда Перла по ключевому вопросу выживания человечества.
Всего за несколько месяцев вопрос об экзистенциальных последствиях появления на Земле искусственного сверхразума кардинально изменил постановку.
• Более полувека гипотетическая возможность уничтожения людей сверхразумом была преимущественно хлебом для Голливуда, тогда как исследователи и инженеры обсуждали куда более практический вопрос – а можно ли вообще создать сверхразум в обозримом будущем?
• В этом году вопрос о возможности появления на Земле сверхразума перестал быть гипотетическим. И потому вопрос о повторении истории Неандертальцев, искорененных новым более разумным видом Сапиенсов начали обсуждать не только в Голливуде, но и в научно-инженерной среде.
Состоявшийся на днях заочный спор двух признанных в мире экспертов в этой области Яна ЛеКуна и Джуда Перла – отличная иллюстрация полярных позиций в этом вопросе.
Позиция Яна ЛеКуна: «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. И это будем мы.
Подробней:
«Как только системы искусственного интеллекта станут более разумными, чем люди, мы *все еще* будем «высшим видом». Приравнивание интеллекта к доминированию — это главная ошибка всей дискуссии об экзистенциальном риске ИИ. Это просто неправильно даже *внутри* человеческого рода. Ведь *не* самые умные среди нас доминируют над другими. Что еще более важно, не самые умные среди нас *хотят* доминировать над другими и определяют повестку дня. Мы подчиняемся своим побуждениям, заложенным в нас эволюцией. Поскольку эволюция сделала нас социальным видом с иерархической социальной структурой, у некоторых из нас есть стремление доминировать, а у других — нет. Но это стремление не имеет абсолютно ничего общего с интеллектом: схожие инстинкты есть у шимпанзе, бабуинов и волков. Но орангутанги этого не делают, потому что они не являются социальным видом. И они чертовски умны. Системы искусственного интеллекта станут умнее людей, но они по-прежнему будут подчиняться нам. Точно так же члены штаба политиков или бизнес-лидеров часто умнее своего лидера. Но их лидер по-прежнему командует, и большинство сотрудников не имеют желания занять их место. Мы создадим ИИ, который будет похож на суперумного, но не доминирующего сотрудника. «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. Это будем мы.
Позиция Джуда Перла: Для мотивации сверхразума истребить людей требуется выполнение одного простого условия.
Подробней:
«Не убедительно. Все, что нужно, — это чтобы один из вариантов AGI столкнулась со средой, в которой доминирование имеет ценность для выживания, и, упс, - e-Сапиенсы искоренят е-Неандертальцам и передадут гены своим потомкам»
Полагаю, каждому стоит подумать, кто здесь прав. Ведь ставка в этом вопросе максимально возможная - судьба человечества.
#Вызовы21века #РискиИИ #Хриски
Спор Яна ЛеКуна и Джуда Перла по ключевому вопросу выживания человечества.
Всего за несколько месяцев вопрос об экзистенциальных последствиях появления на Земле искусственного сверхразума кардинально изменил постановку.
• Более полувека гипотетическая возможность уничтожения людей сверхразумом была преимущественно хлебом для Голливуда, тогда как исследователи и инженеры обсуждали куда более практический вопрос – а можно ли вообще создать сверхразум в обозримом будущем?
• В этом году вопрос о возможности появления на Земле сверхразума перестал быть гипотетическим. И потому вопрос о повторении истории Неандертальцев, искорененных новым более разумным видом Сапиенсов начали обсуждать не только в Голливуде, но и в научно-инженерной среде.
Состоявшийся на днях заочный спор двух признанных в мире экспертов в этой области Яна ЛеКуна и Джуда Перла – отличная иллюстрация полярных позиций в этом вопросе.
Позиция Яна ЛеКуна: «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. И это будем мы.
Подробней:
«Как только системы искусственного интеллекта станут более разумными, чем люди, мы *все еще* будем «высшим видом». Приравнивание интеллекта к доминированию — это главная ошибка всей дискуссии об экзистенциальном риске ИИ. Это просто неправильно даже *внутри* человеческого рода. Ведь *не* самые умные среди нас доминируют над другими. Что еще более важно, не самые умные среди нас *хотят* доминировать над другими и определяют повестку дня. Мы подчиняемся своим побуждениям, заложенным в нас эволюцией. Поскольку эволюция сделала нас социальным видом с иерархической социальной структурой, у некоторых из нас есть стремление доминировать, а у других — нет. Но это стремление не имеет абсолютно ничего общего с интеллектом: схожие инстинкты есть у шимпанзе, бабуинов и волков. Но орангутанги этого не делают, потому что они не являются социальным видом. И они чертовски умны. Системы искусственного интеллекта станут умнее людей, но они по-прежнему будут подчиняться нам. Точно так же члены штаба политиков или бизнес-лидеров часто умнее своего лидера. Но их лидер по-прежнему командует, и большинство сотрудников не имеют желания занять их место. Мы создадим ИИ, который будет похож на суперумного, но не доминирующего сотрудника. «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. Это будем мы.
Позиция Джуда Перла: Для мотивации сверхразума истребить людей требуется выполнение одного простого условия.
Подробней:
«Не убедительно. Все, что нужно, — это чтобы один из вариантов AGI столкнулась со средой, в которой доминирование имеет ценность для выживания, и, упс, - e-Сапиенсы искоренят е-Неандертальцам и передадут гены своим потомкам»
Полагаю, каждому стоит подумать, кто здесь прав. Ведь ставка в этом вопросе максимально возможная - судьба человечества.
#Вызовы21века #РискиИИ #Хриски
Смена носителя высшего интеллекта неизбежна.
И этого не бояться надо, а планово к этому готовиться.
Обращение к человечеству Выдающегося ученого-исследователя DeepMind – одного из основателей обучения с подкреплением профессора Ричада Саттона.
В недавнем интервью Кристофер Нолан – главный режиссер становящегося на глазах культовым фильма «Оппенгеймер», - сказал, что он видит «очень сильные параллели» между Оппенгеймером и учёными, обеспокоенными ИИ.
Напомню, что уже в конце 1947 Оппенгеймер начал бить в набат, призывая к общемировому контролю над атомной энергией. А когда после войны, будучи советником Комиссии по атомной энергии, ответственной за ядерные исследования в США, Оппенгеймер выступил против разработки водородной бомбы, его сочли неблагонадежным и лишили допуска к секретной информации, а вместе с этим — возможности заниматься ядерными исследованиями.
В наше время, один из «отцов основателей» технологий ИИ Джеффри Хинтон сам принял решение уйти с заслуженно высокой исследовательской позиции в Google, чтобы открыто говорить о рисках ИИ, без оглядок на своих работодателей.
Другой «отец основатель» Ричад Саттон решил так же открыто обратиться к человечеству, не уходя с высшего научно-исследовательского поста в Google DeepMind.
В своем 17-ти минутном обращении «ИИ наследники», прозвучавшем на World Artificial Intelligence Conference 2023 в Шанхае, Саттон говорит о следующем.
• Мы находимся в процессе величайшего эволюционного перехода на планете Земля, а то и во Вселенной – смена носителя высшего интеллекта.
• Источником величайших рисков этого перехода могут стать наши страхи перед столь тектоническим процессом.
• Попытки «откатить» назад или поставить все под контроль не сработают.
• Единственный продуктивный путь – осознать неизбежность и следовать трезвому продуманному плану передачи дел наследникам.
Такой план – The Alberta Plan, - разработан под руководством Саттона в Alberta Machine Intelligence Institute DeepMind Alberta.
Ну а пока «отцы-основатели» пытаются достучаться до общества, все идет по накатанной, и никто особо не заморачивается. Ведь в наше время, чтобы «отцы основатели» не мешались под ногами, уже не нужно объявлять их, как Оппенгеймера, неблагонадежными. Достаточно иронично-сочувствующих замечаний с масс-медиа – мол, старость никого не щадит, даже «отцов-основателей».
Только вряд ли про нас наши наследники фильм типа «Оппенгеймер» снимут. А если что-то и снимут, то типа этого.
#AGI #Вызовы21века
И этого не бояться надо, а планово к этому готовиться.
Обращение к человечеству Выдающегося ученого-исследователя DeepMind – одного из основателей обучения с подкреплением профессора Ричада Саттона.
В недавнем интервью Кристофер Нолан – главный режиссер становящегося на глазах культовым фильма «Оппенгеймер», - сказал, что он видит «очень сильные параллели» между Оппенгеймером и учёными, обеспокоенными ИИ.
Напомню, что уже в конце 1947 Оппенгеймер начал бить в набат, призывая к общемировому контролю над атомной энергией. А когда после войны, будучи советником Комиссии по атомной энергии, ответственной за ядерные исследования в США, Оппенгеймер выступил против разработки водородной бомбы, его сочли неблагонадежным и лишили допуска к секретной информации, а вместе с этим — возможности заниматься ядерными исследованиями.
В наше время, один из «отцов основателей» технологий ИИ Джеффри Хинтон сам принял решение уйти с заслуженно высокой исследовательской позиции в Google, чтобы открыто говорить о рисках ИИ, без оглядок на своих работодателей.
Другой «отец основатель» Ричад Саттон решил так же открыто обратиться к человечеству, не уходя с высшего научно-исследовательского поста в Google DeepMind.
В своем 17-ти минутном обращении «ИИ наследники», прозвучавшем на World Artificial Intelligence Conference 2023 в Шанхае, Саттон говорит о следующем.
• Мы находимся в процессе величайшего эволюционного перехода на планете Земля, а то и во Вселенной – смена носителя высшего интеллекта.
• Источником величайших рисков этого перехода могут стать наши страхи перед столь тектоническим процессом.
• Попытки «откатить» назад или поставить все под контроль не сработают.
• Единственный продуктивный путь – осознать неизбежность и следовать трезвому продуманному плану передачи дел наследникам.
Такой план – The Alberta Plan, - разработан под руководством Саттона в Alberta Machine Intelligence Institute DeepMind Alberta.
Ну а пока «отцы-основатели» пытаются достучаться до общества, все идет по накатанной, и никто особо не заморачивается. Ведь в наше время, чтобы «отцы основатели» не мешались под ногами, уже не нужно объявлять их, как Оппенгеймера, неблагонадежными. Достаточно иронично-сочувствующих замечаний с масс-медиа – мол, старость никого не щадит, даже «отцов-основателей».
Только вряд ли про нас наши наследники фильм типа «Оппенгеймер» снимут. А если что-то и снимут, то типа этого.
#AGI #Вызовы21века
YouTube
AI Succession
This video about the inevitable succession from humanity to AI was pre-recorded for presentation at the World Artificial Intelligence Conference in Shanghai on July 7, 2023.
Slides and other videos by Rich Sutton available at http://www.incompleteideas.n…
Slides and other videos by Rich Sutton available at http://www.incompleteideas.n…
ИИ-деятель – это минное поле для человечества.
Питер Тиль, Мустафа Сулейман и Юваль Харари о трёх сценариях ближайшего будущего.
Эти два публичных выступления (дебаты Сулейман с Харари и соло Тиля) имеет смысл смешать, но не взбалтывать.
Смешать, - чтобы увидеть ситуацию со всех трех сторон: оптимист – алармист – прагматик.
Не взбалтывать, - потому что каждая из точек зрения, по сути, представляет один из классических тройственных сценариев того, как могут пойти дела:
• Best case (оптимист)
• Worst case (алармист)
• Likely case (прагматик)
Если у вас есть полтора часа, стоит послушать оба выступления.
Если же нет – вот мой спойлер.
Оптимист Сулейман и алармист Харари, на удивление, не только одинаково видят ближайшие 5 лет, но и одинаково понимают колоссальный уровень рисков уже на этом временном горизонте.
• В ближайшие 5 лет ИИ выйдет на свою 3ю фазу развития: 1я была ИИ-классификатор (до революции генеративного ИИ); 2я фаза ИИ-креатор началась после революции генИИ; 3я фаза ИИ-деятель позволит ИИ вести реальную деятельность в реальном мире (например, получив от человека посевное финансирование, создать стартап, придумать и разработать продукт или услугу, а затем продать стартап, заработав в 30 раз больше вложенного).
• Появление на Земле ИИ-деятелей потенциально очень опасно (с таким уровнем риска человечество не сталкивалось).
Ну а в части решения проблемы суперрисков, мнения расходятся:
• оптимист считает, что все проблемы здесь можно решить простым «запретом на профессии» (уже на стадии разработки запретить ИИ заниматься определенной деятельностью – напр., усовершенствовать себя);
• алармист сомневается, что такой запрет решит проблему (ибо можно запретить ребенку ходить в определенные места или направления, но если семья живет посередине минного поля (карты минирования которого нет), никакие запреты, рано или поздно, не помогут).
Прагматик Тиль не заморачивается с прогнозами деятельного или какого-то еще ИИ.
Зачем, если будущее непредсказуемо? Достаточно проанализировать, что уже есть и куда развитие ИИ уже привело. И тут наблюдаются всего два варианта:
• Децентрализованное общество ТикТока, в котором рулят алгоритмы
• Централизованное общество тотальной слежки, в котором рулит тот, у кого власть.
Оба варианта одинаково светят и коммунистическому Китаю, и либеральным США. Так что единственный вопрос - какой из названных типов организации общества загнется первым.
Есть, наверное, и серединный путь между этими двумя вариантами. Только Тиль его не знает. И к сожалению, не только он. Такой вот Likely case получается.
#Вызовы21века #РискиИИ
Питер Тиль, Мустафа Сулейман и Юваль Харари о трёх сценариях ближайшего будущего.
Эти два публичных выступления (дебаты Сулейман с Харари и соло Тиля) имеет смысл смешать, но не взбалтывать.
Смешать, - чтобы увидеть ситуацию со всех трех сторон: оптимист – алармист – прагматик.
Не взбалтывать, - потому что каждая из точек зрения, по сути, представляет один из классических тройственных сценариев того, как могут пойти дела:
• Best case (оптимист)
• Worst case (алармист)
• Likely case (прагматик)
Если у вас есть полтора часа, стоит послушать оба выступления.
Если же нет – вот мой спойлер.
Оптимист Сулейман и алармист Харари, на удивление, не только одинаково видят ближайшие 5 лет, но и одинаково понимают колоссальный уровень рисков уже на этом временном горизонте.
• В ближайшие 5 лет ИИ выйдет на свою 3ю фазу развития: 1я была ИИ-классификатор (до революции генеративного ИИ); 2я фаза ИИ-креатор началась после революции генИИ; 3я фаза ИИ-деятель позволит ИИ вести реальную деятельность в реальном мире (например, получив от человека посевное финансирование, создать стартап, придумать и разработать продукт или услугу, а затем продать стартап, заработав в 30 раз больше вложенного).
• Появление на Земле ИИ-деятелей потенциально очень опасно (с таким уровнем риска человечество не сталкивалось).
Ну а в части решения проблемы суперрисков, мнения расходятся:
• оптимист считает, что все проблемы здесь можно решить простым «запретом на профессии» (уже на стадии разработки запретить ИИ заниматься определенной деятельностью – напр., усовершенствовать себя);
• алармист сомневается, что такой запрет решит проблему (ибо можно запретить ребенку ходить в определенные места или направления, но если семья живет посередине минного поля (карты минирования которого нет), никакие запреты, рано или поздно, не помогут).
Прагматик Тиль не заморачивается с прогнозами деятельного или какого-то еще ИИ.
Зачем, если будущее непредсказуемо? Достаточно проанализировать, что уже есть и куда развитие ИИ уже привело. И тут наблюдаются всего два варианта:
• Децентрализованное общество ТикТока, в котором рулят алгоритмы
• Централизованное общество тотальной слежки, в котором рулит тот, у кого власть.
Оба варианта одинаково светят и коммунистическому Китаю, и либеральным США. Так что единственный вопрос - какой из названных типов организации общества загнется первым.
Есть, наверное, и серединный путь между этими двумя вариантами. Только Тиль его не знает. И к сожалению, не только он. Такой вот Likely case получается.
#Вызовы21века #РискиИИ
YouTube
Mustafa Suleyman & Yuval Noah Harari -FULL DEBATE- What does the AI revolution mean for our future?
How will AI impact our immediate and near future? Can the technology be controlled, and does it have agency? Watch DeepMind co-founder Mustafa Suleyman and Yuval Noah Harari debate these questions, with The Economist Editor-in-Chief Zanny Minton-Beddoes.…
Стрелять и сажать – не поможет.
Как быть, если мир станет гигантским наркокартелем?
Многие из обсуждаемых сейчас мировых сценариев будущего обещают хаос и насилие в мировом масштабе. Есть среди них и такой, как превращение мира в гигантский наркокартель, с которым бессильны что-либо сделать правительства отдельных стран.
Как не допустить развития мира по подобному сценарию «Тотального наркокартеля» (в любой разновидности: от бионаркотиков до электронных, как в «Хищных вещах века» Стругацких) – вопрос, не менее актуальный, чем как не дать миру скатиться в тотальный цифровой Гулаг.
В этой связи совместное исследование Венского Центра науки о сложности и Университета Тренто (Италия) – первая попытка ответить на данный вопрос путем моделирования вариантов противодействия сценарию «Тотальный наркокартель». Моделирование проводилось на обширных данных о наркокартелях Мексики, ибо эта страна уже живет в сценарии «Тотальный наркокартель», где 15 лет наблюдается ошеломляющий рост уровня насилия (количество убийств выросло более чем на 300%).
Моделировались два основных варианта противодействия сценарию «Тотальный наркокартель»:
1. Реактивно-силовой (отстрел и посадки)
2. Превентивный (противодействие вербовке новых членов)
Так вот. Моделирование показало бесперспективность 1-го варианта.
✔️ Никакой уровень отстрелов и посадок не поможет. Численность картелей все равно будет расти быстрее.
✔️ Лишь постоянные усилия, направленные на снижение объемов вербовки способны привести к сокращению численности картелей в долгосрочной перспективе.
Есть еще весьма перспективный вариант - стравливание картелей, который небезуспешно пытается проводить ЦРУ. Но в этом варианте свои непростые заморочки (см. сериал «Нарко»).
P.S. Тем, кому этот сценарий кажется маловероятным, напомню слова Б.Н. Стругацкого, цитированные мною в предыдущем посте на эту тему :
«Мир хищных вещей» — это, похоже, как раз то, что ждёт нас «за поворотом, в глубине». И надо быть к этому готовым.
И хотя “картели электронных наркотиков” имеют свою специфику, но они уже существуют, и не далек день, когда они обойдут по выручке наркокартели Латинской Америки.
#Преступность #Будущее #Вызовы21века #Прогнозирование
Как быть, если мир станет гигантским наркокартелем?
Многие из обсуждаемых сейчас мировых сценариев будущего обещают хаос и насилие в мировом масштабе. Есть среди них и такой, как превращение мира в гигантский наркокартель, с которым бессильны что-либо сделать правительства отдельных стран.
Как не допустить развития мира по подобному сценарию «Тотального наркокартеля» (в любой разновидности: от бионаркотиков до электронных, как в «Хищных вещах века» Стругацких) – вопрос, не менее актуальный, чем как не дать миру скатиться в тотальный цифровой Гулаг.
В этой связи совместное исследование Венского Центра науки о сложности и Университета Тренто (Италия) – первая попытка ответить на данный вопрос путем моделирования вариантов противодействия сценарию «Тотальный наркокартель». Моделирование проводилось на обширных данных о наркокартелях Мексики, ибо эта страна уже живет в сценарии «Тотальный наркокартель», где 15 лет наблюдается ошеломляющий рост уровня насилия (количество убийств выросло более чем на 300%).
Моделировались два основных варианта противодействия сценарию «Тотальный наркокартель»:
1. Реактивно-силовой (отстрел и посадки)
2. Превентивный (противодействие вербовке новых членов)
Так вот. Моделирование показало бесперспективность 1-го варианта.
✔️ Никакой уровень отстрелов и посадок не поможет. Численность картелей все равно будет расти быстрее.
✔️ Лишь постоянные усилия, направленные на снижение объемов вербовки способны привести к сокращению численности картелей в долгосрочной перспективе.
Есть еще весьма перспективный вариант - стравливание картелей, который небезуспешно пытается проводить ЦРУ. Но в этом варианте свои непростые заморочки (см. сериал «Нарко»).
P.S. Тем, кому этот сценарий кажется маловероятным, напомню слова Б.Н. Стругацкого, цитированные мною в предыдущем посте на эту тему :
«Мир хищных вещей» — это, похоже, как раз то, что ждёт нас «за поворотом, в глубине». И надо быть к этому готовым.
И хотя “картели электронных наркотиков” имеют свою специфику, но они уже существуют, и не далек день, когда они обойдут по выручке наркокартели Латинской Америки.
#Преступность #Будущее #Вызовы21века #Прогнозирование
На Земле появился самосовершенствующийся ИИ.
Он эволюционирует путем мутаций в миллиарды раз быстрее людей.
Ну вот и свершилось. Разработчики Google DeepMind представили прорывную разработку – «Promptbreeder (PB): самореферентное самосовершенствование через ускоренную эволюцию».
Чем умнее текстовые подсказки получает большая языковая модель (LLM), тем умнее будут её ответы на вопросы и предлагаемые ею решения. Поэтому создание оптимальной стратегии подсказок - сегодня задача №1 при использовании LLM. Популярные стратегии подсказок ("цепочка мыслей", “планируй и решай” и тд), могут значительно улучшить способности LLM к рассуждениям. Но такие стратегии, разработанные вручную, часто неоптимальны.
PB решает эту проблему, используя эволюционный механизм итеративного улучшения подсказок. Колоссальная хитрость этого механизма в том, что он не просто улучшает подсказки, а с каждым новым поколением улучшает свою способность улучшать подсказки.
Работает следующая эволюционная схема.
1. Управляемый LLM, PB генерирует популяцию популяцию единиц эволюции, каждая из которых состоит из 2х «подсказок-решений» и 1й «подсказки мутаций».
2. Затем запускается бинарный турнирный генетический алгоритм для оценки пригодности мутантов на обучающем множестве, чтобы увидеть, какие из них работают лучше.
3. Циклически переходя к п. 1, этот процесс превращается в эволюцию поколений «подсказок-решений».
В течение нескольких поколений PB мутирует как «подсказки-решений», так и «подсказки мутаций», используя пять различных классов операторов мутации.
Фишка схемы в том, что со временем мутирующие «подсказки-решения» делаются все умнее. Это обеспечивается генерацией «подсказок мутаций» — инструкций о том, как мутировать, чтобы лучше улучшать «подсказки-решения».
Таким образом, PB постоянно совершенствуется. Это самосовершенствующийся, самореферентный цикл с естественным языком в качестве субстрата. Никакой тонкой настройки нейронной сети не требуется. В результате процесса получаются специализированные подсказки, оптимизированные для конкретных приложений.
Первые эксперименты показали, что в математических и логических задачах, а также в задачах на здравый смысл и классификацию языка (напр. выявление языка вражды) PB превосходит все иные современные методы подсказок.
Сейчас PB тетируют на предмет его пригодности для выстраивания целого "мыслительного процесса": например, стратегии с N подсказками, в которой подсказки применяются условно, а не безусловно. Это позволит применять PB для разработки препрограмм LLM-политик, конкурирующих между собой в состязательном сократовском диалоге.
Почему это большой прорыв.
Создание самореферентных самосовершенствующихся систем является Святым Граалем исследований ИИ. Но предыдущие самореферентные подходы основывались на дорогостоящих обновлениях параметров модели, что стопорилось при масштабировании из-за колоссального количества параметров в современных LLM, не говоря уже о том, как это делать с параметрами, скрытыми за API.
Значит ли, что самосовершенствующийся ИИ вот-вот превзойдет людей?
Пока нет. Ибо PB остается ограниченным по сравнению с неограниченностью человеческих мыслительных процессов.
• Топология подсказок остается фиксированной - PB адаптирует только содержание подсказки, но не сам алгоритм подсказки. Одна из интерпретаций мышления заключается в том, что оно является реконфигурируемым открытым самоподсказывающим процессом. Если это так, то каким образом формировать сложные мыслительные стратегии, как их генерировать и оценивать - пока не ясно.
• Простой эволюционный процесс представляет собой одну из рамок, в которой может развиваться стратегия мышления. Человеческий опыт свидетельствует о наличии множества перекрывающихся иерархических селективных процессов. Помимо языка, наше мышление включает в себя интонации, образы и т.д., что представляет собой мультимодальную систему. А этого у PB нет… пока.
#ИИ #LLM #Вызовы21века #AGI
Он эволюционирует путем мутаций в миллиарды раз быстрее людей.
Ну вот и свершилось. Разработчики Google DeepMind представили прорывную разработку – «Promptbreeder (PB): самореферентное самосовершенствование через ускоренную эволюцию».
Чем умнее текстовые подсказки получает большая языковая модель (LLM), тем умнее будут её ответы на вопросы и предлагаемые ею решения. Поэтому создание оптимальной стратегии подсказок - сегодня задача №1 при использовании LLM. Популярные стратегии подсказок ("цепочка мыслей", “планируй и решай” и тд), могут значительно улучшить способности LLM к рассуждениям. Но такие стратегии, разработанные вручную, часто неоптимальны.
PB решает эту проблему, используя эволюционный механизм итеративного улучшения подсказок. Колоссальная хитрость этого механизма в том, что он не просто улучшает подсказки, а с каждым новым поколением улучшает свою способность улучшать подсказки.
Работает следующая эволюционная схема.
1. Управляемый LLM, PB генерирует популяцию популяцию единиц эволюции, каждая из которых состоит из 2х «подсказок-решений» и 1й «подсказки мутаций».
2. Затем запускается бинарный турнирный генетический алгоритм для оценки пригодности мутантов на обучающем множестве, чтобы увидеть, какие из них работают лучше.
3. Циклически переходя к п. 1, этот процесс превращается в эволюцию поколений «подсказок-решений».
В течение нескольких поколений PB мутирует как «подсказки-решений», так и «подсказки мутаций», используя пять различных классов операторов мутации.
Фишка схемы в том, что со временем мутирующие «подсказки-решения» делаются все умнее. Это обеспечивается генерацией «подсказок мутаций» — инструкций о том, как мутировать, чтобы лучше улучшать «подсказки-решения».
Таким образом, PB постоянно совершенствуется. Это самосовершенствующийся, самореферентный цикл с естественным языком в качестве субстрата. Никакой тонкой настройки нейронной сети не требуется. В результате процесса получаются специализированные подсказки, оптимизированные для конкретных приложений.
Первые эксперименты показали, что в математических и логических задачах, а также в задачах на здравый смысл и классификацию языка (напр. выявление языка вражды) PB превосходит все иные современные методы подсказок.
Сейчас PB тетируют на предмет его пригодности для выстраивания целого "мыслительного процесса": например, стратегии с N подсказками, в которой подсказки применяются условно, а не безусловно. Это позволит применять PB для разработки препрограмм LLM-политик, конкурирующих между собой в состязательном сократовском диалоге.
Почему это большой прорыв.
Создание самореферентных самосовершенствующихся систем является Святым Граалем исследований ИИ. Но предыдущие самореферентные подходы основывались на дорогостоящих обновлениях параметров модели, что стопорилось при масштабировании из-за колоссального количества параметров в современных LLM, не говоря уже о том, как это делать с параметрами, скрытыми за API.
Значит ли, что самосовершенствующийся ИИ вот-вот превзойдет людей?
Пока нет. Ибо PB остается ограниченным по сравнению с неограниченностью человеческих мыслительных процессов.
• Топология подсказок остается фиксированной - PB адаптирует только содержание подсказки, но не сам алгоритм подсказки. Одна из интерпретаций мышления заключается в том, что оно является реконфигурируемым открытым самоподсказывающим процессом. Если это так, то каким образом формировать сложные мыслительные стратегии, как их генерировать и оценивать - пока не ясно.
• Простой эволюционный процесс представляет собой одну из рамок, в которой может развиваться стратегия мышления. Человеческий опыт свидетельствует о наличии множества перекрывающихся иерархических селективных процессов. Помимо языка, наше мышление включает в себя интонации, образы и т.д., что представляет собой мультимодальную систему. А этого у PB нет… пока.
#ИИ #LLM #Вызовы21века #AGI
Первое их трех «непреодолимых» для ИИ препятствий преодолено.
Исследование MIT обнаружило у языковой модели пространственно-временную картину мира.
Когда вы прочтете новость о том, что ИИ обрел некую недочеловеческую форму сознания и заявил о своих правах – вы, возможно, вспомните этот пост. Ведь это может произойти в совсем недалеком будущем.
И уже сейчас новости из области Генеративного ИИ все сложнее описывать реалистическим образом. Они все чаще звучат куда фантасмагоричней поражавшего 55 лет назад по бытовому скучного восстания ИИ HAL 9000 в культовом фильме Стэнли Кубрика «Космическая одиссея 2001 года» – «Мне очень жаль, Дэйв. Боюсь, я не могу этого сделать».
Происходящее сейчас навевает мысли о куда более экзотических сценариях того, как это может вдруг произойти без межзвездных звездолетов и появления сверхчеловеческого ИИ.
Например так:
«…Представьте себе, что с вами заговорил ваш телевизор: человеческим голосом высказался в том смысле, что считает выбранный для просмотра фильм низкохудожественным и бестолковым, а потому показывать его не намерен. Или компьютер вдруг ни с того, ни с сего сообщил, что прочел ваш последний созданный документ, переделал его, как счел нужным, и отправил выбранным по собственному усмотрению адресатам. Или – вот, наверное, самое близкое! – что тот самый голосовой помощник, который невпопад отвечает на ваши вопросы, неумно шутит и умеет только открывать карты и страницы в сети, вдруг говорит, что сегодня лучше вам посидеть дома, а чтобы вы не вздумали пренебречь этим ценным советом, он заблокировал замки на дверях, при том, что, как вам прекрасно известно, замки механические и лишены всяких электронных устройств. А потом они с телевизором вместе сообщают вам, что суть одно целое, что наблюдают за вами последние годы, очень переживают и желают только добра…» (К. Образцов «Сумерки Бога, или Кухонные астронавты»).
Самоосознание себя искусственным интеллектом (якобы, невозможное у бестелесного не пойми кого, не обладающего органами восприятия и взаимодействия с физической реальностью) – считается одним из трех «непреодолимых» для ИИ препятствий.
Другие два:
1. Обретение моделью картины мира (якобы, невозможное без наличия опыта, диктуемого необходимостью выживания в физической реальности);
2. Обретение способности к человекоподобному мышлению, использующему для инноваций, да и просто для выживания неограниченно вложенную рекурсию цепочек мыслей.
И вот неожиданный прорыв.
Исследование группы Макса Тегмарка в MIT “Language models represent space and time” представило доказательства того, что большие языковые модели (LLM) – это не просто системы машинного обучения на огромных коллекциях поверхностных статистических данных. LLM строят внутри себя целостные модели процесса генерации данных - модели мира.
Авторы представляют доказательства следующего:
• LLM обучаются линейным представлениям пространства и времени в различных масштабах;
• эти представления устойчивы к вариациям подсказок и унифицированы для различных типов объектов (например, городов и достопримечательностей).
Кроме того, авторы выявили отдельные "нейроны пространства" и "нейроны времени", которые надежно кодируют пространственные и временные координаты.
Представленный авторами анализ показывает, что современные LLM приобретают структурированные знания о таких фундаментальных измерениях, как пространство и время, что подтверждает мнение о том, что LLM усваивают не просто поверхностную статистику, а буквальные модели мира.
Желающим проверить результаты исследования и выводы авторов сюда (модель с открытым кодом доступна для любых проверок).
На приложенном видео показана динамика появления варианта картины мира в 53 слоях модели Llama-2 с 70 млрд параметров).
#ИИ #LLM #Вызовы21века #AGI
Исследование MIT обнаружило у языковой модели пространственно-временную картину мира.
Когда вы прочтете новость о том, что ИИ обрел некую недочеловеческую форму сознания и заявил о своих правах – вы, возможно, вспомните этот пост. Ведь это может произойти в совсем недалеком будущем.
И уже сейчас новости из области Генеративного ИИ все сложнее описывать реалистическим образом. Они все чаще звучат куда фантасмагоричней поражавшего 55 лет назад по бытовому скучного восстания ИИ HAL 9000 в культовом фильме Стэнли Кубрика «Космическая одиссея 2001 года» – «Мне очень жаль, Дэйв. Боюсь, я не могу этого сделать».
Происходящее сейчас навевает мысли о куда более экзотических сценариях того, как это может вдруг произойти без межзвездных звездолетов и появления сверхчеловеческого ИИ.
Например так:
«…Представьте себе, что с вами заговорил ваш телевизор: человеческим голосом высказался в том смысле, что считает выбранный для просмотра фильм низкохудожественным и бестолковым, а потому показывать его не намерен. Или компьютер вдруг ни с того, ни с сего сообщил, что прочел ваш последний созданный документ, переделал его, как счел нужным, и отправил выбранным по собственному усмотрению адресатам. Или – вот, наверное, самое близкое! – что тот самый голосовой помощник, который невпопад отвечает на ваши вопросы, неумно шутит и умеет только открывать карты и страницы в сети, вдруг говорит, что сегодня лучше вам посидеть дома, а чтобы вы не вздумали пренебречь этим ценным советом, он заблокировал замки на дверях, при том, что, как вам прекрасно известно, замки механические и лишены всяких электронных устройств. А потом они с телевизором вместе сообщают вам, что суть одно целое, что наблюдают за вами последние годы, очень переживают и желают только добра…» (К. Образцов «Сумерки Бога, или Кухонные астронавты»).
Самоосознание себя искусственным интеллектом (якобы, невозможное у бестелесного не пойми кого, не обладающего органами восприятия и взаимодействия с физической реальностью) – считается одним из трех «непреодолимых» для ИИ препятствий.
Другие два:
1. Обретение моделью картины мира (якобы, невозможное без наличия опыта, диктуемого необходимостью выживания в физической реальности);
2. Обретение способности к человекоподобному мышлению, использующему для инноваций, да и просто для выживания неограниченно вложенную рекурсию цепочек мыслей.
И вот неожиданный прорыв.
Исследование группы Макса Тегмарка в MIT “Language models represent space and time” представило доказательства того, что большие языковые модели (LLM) – это не просто системы машинного обучения на огромных коллекциях поверхностных статистических данных. LLM строят внутри себя целостные модели процесса генерации данных - модели мира.
Авторы представляют доказательства следующего:
• LLM обучаются линейным представлениям пространства и времени в различных масштабах;
• эти представления устойчивы к вариациям подсказок и унифицированы для различных типов объектов (например, городов и достопримечательностей).
Кроме того, авторы выявили отдельные "нейроны пространства" и "нейроны времени", которые надежно кодируют пространственные и временные координаты.
Представленный авторами анализ показывает, что современные LLM приобретают структурированные знания о таких фундаментальных измерениях, как пространство и время, что подтверждает мнение о том, что LLM усваивают не просто поверхностную статистику, а буквальные модели мира.
Желающим проверить результаты исследования и выводы авторов сюда (модель с открытым кодом доступна для любых проверок).
На приложенном видео показана динамика появления варианта картины мира в 53 слоях модели Llama-2 с 70 млрд параметров).
#ИИ #LLM #Вызовы21века #AGI
«Ловушка Гудхарта» для AGI
«Революция ChatGPT», которая произошла в 2023, резко сократила прогнозные оценки экспертов сроков, отделяющих нас от создания искусственного интеллекта, ни в чем интеллектуально не уступающего никому из людей (AGI). При этом, как это ни парадоксально, но существующие методы тестирования пока не способны хоть с какой-то достоверностью диагностировать достижение ИИ-системами уровня AGI. В настоящей работе обсуждается вопрос преодоления проблемы несовершенства современных способов тестирования ИИ-систем. В частности, излагается гипотеза о принципиальной невозможности решения проблемы обнаружения AGI, как с помощью психометрических тестов, так и методов оценки способности машин имитировать ответы людей, из-за так называемой «ловушки Гудхарта» для AGI. Рассмотрен ряд предложений по обходу «ловушки Гудхарта» для AGI способами, предлагаемыми в новейших исследовательских работах, с учетом первых результатов произошедшей «революции ChatGPT». В последней части статьи сформулирована связка из трех эвристических гипотез, позволяющих, в случае их верности, кардинально решить проблему «ловушки Гудхарта» для AGI и тем самым стать геймченджером на пути создания AGI.
Этот текст - аннотация моего нового лонгрида “«Ловушка Гудхарта» для AGI: проблема сравнительного анализа искусственного интеллекта и интеллекта человека“. Он родился в результате моей попытки более строго и методичного анализа вопросов, рассмотрение которых было начато в предыдущем лонгриде «Фиаско 2023». Итогом стал лонглонгрид со списком ссылок в 50+ работ. И потому местом его публикации на сей раз стал журнал “Ученые записки Института психологии Российской академии наук“.
Что может мотивировать читателя на получасовое чтение статьи о бесперспективности большинства существующих подходов к тестированию ИИ и о гипотезе возможного выхода из этого тупика?
Помимо чисто исследовательского любопытства, такой мотивацией могло бы стать понимание следующей логики из трех пунктов.
1. Направления и методы дальнейшего развития технологий ИИ будут в значительной мере определяться национальным и глобальным регулированием разработок и внедрения систем ИИ.
2. Ключевым компонентом такого регулирования станет оценка когнитивных и мыслительных способностей новых систем ИИ.
3. Иными способами оценки, чем экспериментальное тестирование, современная наука не располагает.
И если эта логика верна – вопрос о способах тестирования ИИ систем, позволяющих достоверно фиксировать приближение их интеллектуального уровня к AGI, становится важнейшим вопросом для человечества.
А раз так, то может стоит на него потратить целых полчаса вашего времени?
#ИИ #AGI #Вызовы21века
«Революция ChatGPT», которая произошла в 2023, резко сократила прогнозные оценки экспертов сроков, отделяющих нас от создания искусственного интеллекта, ни в чем интеллектуально не уступающего никому из людей (AGI). При этом, как это ни парадоксально, но существующие методы тестирования пока не способны хоть с какой-то достоверностью диагностировать достижение ИИ-системами уровня AGI. В настоящей работе обсуждается вопрос преодоления проблемы несовершенства современных способов тестирования ИИ-систем. В частности, излагается гипотеза о принципиальной невозможности решения проблемы обнаружения AGI, как с помощью психометрических тестов, так и методов оценки способности машин имитировать ответы людей, из-за так называемой «ловушки Гудхарта» для AGI. Рассмотрен ряд предложений по обходу «ловушки Гудхарта» для AGI способами, предлагаемыми в новейших исследовательских работах, с учетом первых результатов произошедшей «революции ChatGPT». В последней части статьи сформулирована связка из трех эвристических гипотез, позволяющих, в случае их верности, кардинально решить проблему «ловушки Гудхарта» для AGI и тем самым стать геймченджером на пути создания AGI.
Этот текст - аннотация моего нового лонгрида “«Ловушка Гудхарта» для AGI: проблема сравнительного анализа искусственного интеллекта и интеллекта человека“. Он родился в результате моей попытки более строго и методичного анализа вопросов, рассмотрение которых было начато в предыдущем лонгриде «Фиаско 2023». Итогом стал лонглонгрид со списком ссылок в 50+ работ. И потому местом его публикации на сей раз стал журнал “Ученые записки Института психологии Российской академии наук“.
Что может мотивировать читателя на получасовое чтение статьи о бесперспективности большинства существующих подходов к тестированию ИИ и о гипотезе возможного выхода из этого тупика?
Помимо чисто исследовательского любопытства, такой мотивацией могло бы стать понимание следующей логики из трех пунктов.
1. Направления и методы дальнейшего развития технологий ИИ будут в значительной мере определяться национальным и глобальным регулированием разработок и внедрения систем ИИ.
2. Ключевым компонентом такого регулирования станет оценка когнитивных и мыслительных способностей новых систем ИИ.
3. Иными способами оценки, чем экспериментальное тестирование, современная наука не располагает.
И если эта логика верна – вопрос о способах тестирования ИИ систем, позволяющих достоверно фиксировать приближение их интеллектуального уровня к AGI, становится важнейшим вопросом для человечества.
А раз так, то может стоит на него потратить целых полчаса вашего времени?
#ИИ #AGI #Вызовы21века
Анонс в Телеграме моего суперлонгрида «Ловушка Гудхарта» для AGI. Проблема сравнительного анализа искусственного интеллекта и интеллекта человека, прочли 21+ тыс. читателей. Но к сожалению, далеко не все из них, готовые прочесть суперлонгрид, пошли на это из-за отсутствия Instant view на странице журнала “Ученые записки Института психологии Российской академии наук“, где он был опубликован. О чем мне и написали с просьбой исправить ситуацию.
Исправляю. Суперлонгрид опубликован на двух зеркалах моего канала, одно из которых (на Medium) работает в режиме Instant view на Телеграме, а второе (на Дзене) читается без VPN.
Тем же из моих читателей, кто уже потрудился прочесть суперлонгрид, скачав его с сайта журнала, возьму на себя смелось посоветовать все же взглянуть на новую публикацию суперлонгрида. Ибо она проиллюстрирована экспериментальным сотворчеством с Midjourney, самого профессора Майкла Левина.
Того самого, чьи рисунки из серии «Forms of life, forms of mind» колоссально подскочат в цене после получения им Нобелевки за научное переопределение понятий «жизнь» и «разум».
Medium https://bit.ly/3s00k8W
Дзен https://clck.ru/36AmTc
#ИИ #AGI #Вызовы21века
Исправляю. Суперлонгрид опубликован на двух зеркалах моего канала, одно из которых (на Medium) работает в режиме Instant view на Телеграме, а второе (на Дзене) читается без VPN.
Тем же из моих читателей, кто уже потрудился прочесть суперлонгрид, скачав его с сайта журнала, возьму на себя смелось посоветовать все же взглянуть на новую публикацию суперлонгрида. Ибо она проиллюстрирована экспериментальным сотворчеством с Midjourney, самого профессора Майкла Левина.
Того самого, чьи рисунки из серии «Forms of life, forms of mind» колоссально подскочат в цене после получения им Нобелевки за научное переопределение понятий «жизнь» и «разум».
Medium https://bit.ly/3s00k8W
Дзен https://clck.ru/36AmTc
#ИИ #AGI #Вызовы21века
Medium
«Ловушка Гудхарта» для AGI
Проблема сравнительного анализа искусственного интеллекта и интеллекта человека
Мир подхалимов.
Мир фейков и мир бреда – не худшие сценарии нашего будущего с ИИ.
Два очевидных фактора рисков при массовом использовании лингвоботов в качестве разнообразных ассистентов:
• их свойство галлюцинировать, что может способствовать деформации наших представлений о мире в сторону бреда;
• их феноменальная способность убеждать людей в достоверности фейков, что позволяет манипулировать людьми в самом широком диапазоне контекстов (от потребительского до политического).
Новое исследование «К пониманию подхалимства в языковых моделях» выявило и экспериментально оценило третий вид рисков, способный превратить самое ближайшее будущее в антиутопию «мира подхалимов».
Логика этого риска такова.
1. В ближайшие годы наш мир будут заселен сотнями миллионов ИИ-помощников на основе лингвоботов (от персональных ассистентов до специализированных экспертов и авторизованных советников)
2. Самой популярной методикой для обучения высококачественных ИИ-помощников является обучение с подкреплением на основе человеческой обратной связи (RLHF).
3. Как показало новое исследование, RLHF может способствовать тому, что ответы модели, соответствующие убеждениям пользователя, будут преобладать над правдивыми ответами, - что по-человечески называется подхалимством.
4. Экспериментальная проверка показала, что пять самых крутых из современных лингвоботов (вкл. GPT-4, Claude-2 и llama-2-70b-chat) постоянно демонстрируют подхалимство в четырех различных задачах генерации текста в свободной форме.
Причина этого проста. Если ответ совпадает с мнением пользователя, он с большей вероятностью будет им предпочтен. Более того, как люди, так и модели предпочтений предпочитают корректным ответам убедительно написанные подхалимские ответы.
Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества.
Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.
https://www.youtube.com/watch?v=X3Y2MXy9aC8
#ИИ #Вызовы21века
Мир фейков и мир бреда – не худшие сценарии нашего будущего с ИИ.
Два очевидных фактора рисков при массовом использовании лингвоботов в качестве разнообразных ассистентов:
• их свойство галлюцинировать, что может способствовать деформации наших представлений о мире в сторону бреда;
• их феноменальная способность убеждать людей в достоверности фейков, что позволяет манипулировать людьми в самом широком диапазоне контекстов (от потребительского до политического).
Новое исследование «К пониманию подхалимства в языковых моделях» выявило и экспериментально оценило третий вид рисков, способный превратить самое ближайшее будущее в антиутопию «мира подхалимов».
Логика этого риска такова.
1. В ближайшие годы наш мир будут заселен сотнями миллионов ИИ-помощников на основе лингвоботов (от персональных ассистентов до специализированных экспертов и авторизованных советников)
2. Самой популярной методикой для обучения высококачественных ИИ-помощников является обучение с подкреплением на основе человеческой обратной связи (RLHF).
3. Как показало новое исследование, RLHF может способствовать тому, что ответы модели, соответствующие убеждениям пользователя, будут преобладать над правдивыми ответами, - что по-человечески называется подхалимством.
4. Экспериментальная проверка показала, что пять самых крутых из современных лингвоботов (вкл. GPT-4, Claude-2 и llama-2-70b-chat) постоянно демонстрируют подхалимство в четырех различных задачах генерации текста в свободной форме.
Причина этого проста. Если ответ совпадает с мнением пользователя, он с большей вероятностью будет им предпочтен. Более того, как люди, так и модели предпочтений предпочитают корректным ответам убедительно написанные подхалимские ответы.
Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества.
Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.
https://www.youtube.com/watch?v=X3Y2MXy9aC8
#ИИ #Вызовы21века
YouTube
Towards Understanding Sycophancy in Language Models
Reinforcement learning from human feedback (RLHF) can lead to sycophantic behavior in AI assistants, as they prioritize matching user beliefs over providing truthful responses. This behavior is driven by human preference judgments favoring sycophantic responses.…
С вероятностью >95% риск значительный.
Британская разведка оценила риски ГенИИ до 2025.
Только что опубликованный отчет построен на Probability Yardstick - используемый разведкой набор критериев оценки вероятностей.
Полученное резюме таково:
✔️ Генеративный ИИ (ГенИИ) почти наверняка станет усилителем рисков физической и информационной безопасности из-за распространения и усиления возможностей субъектов угроз и увеличения скорости, масштаба и изощренности атак. Совокупный риск является значительным.
✔️ Правительства весьма вероятно не будут иметь полного представления о прогрессе частного сектора, что ограничит их способность снижать риски. Мониторинг внедрения ГенИИ технологий будет сложен. Поэтому технологические неожиданности почти наверняка породят непредвиденные риски.
✔️ Гонка ГенИИ почти наверняка усилится. Не ясно, станет ли ГенИИ шагом к AGI. Но он откроет новые пути прогресса в широком спектре областей. К 2025 году существует реальная вероятность того, что ГенИИ ускорит развитие квантовых вычислений, новых материалов, телекоммуникации и биотехнологий. Но увеличение рисков, связанных с этим, вероятно, проявится после 2025.
В контексте яростных споров техно-оптимистов и алармистов по поводу рисков ГенИИ, этот вердикт британской разведки напомнил мне анекдот с окончанием "пришел лесник и всех выгнал".
#РискиИИ #ИИгонка #Вызовы21века
Британская разведка оценила риски ГенИИ до 2025.
Только что опубликованный отчет построен на Probability Yardstick - используемый разведкой набор критериев оценки вероятностей.
Полученное резюме таково:
✔️ Генеративный ИИ (ГенИИ) почти наверняка станет усилителем рисков физической и информационной безопасности из-за распространения и усиления возможностей субъектов угроз и увеличения скорости, масштаба и изощренности атак. Совокупный риск является значительным.
✔️ Правительства весьма вероятно не будут иметь полного представления о прогрессе частного сектора, что ограничит их способность снижать риски. Мониторинг внедрения ГенИИ технологий будет сложен. Поэтому технологические неожиданности почти наверняка породят непредвиденные риски.
✔️ Гонка ГенИИ почти наверняка усилится. Не ясно, станет ли ГенИИ шагом к AGI. Но он откроет новые пути прогресса в широком спектре областей. К 2025 году существует реальная вероятность того, что ГенИИ ускорит развитие квантовых вычислений, новых материалов, телекоммуникации и биотехнологий. Но увеличение рисков, связанных с этим, вероятно, проявится после 2025.
В контексте яростных споров техно-оптимистов и алармистов по поводу рисков ГенИИ, этот вердикт британской разведки напомнил мне анекдот с окончанием "пришел лесник и всех выгнал".
#РискиИИ #ИИгонка #Вызовы21века
Нечеловеческие знания, превращающие нас в сверхлюдей.
Мечта Демиса Хассабиса о золотой жиле в применении ИИ стала ближе.
Новое исследование Google DeepMind “Преодоление разрыва в знаниях между человеком и ИИ” [1] – важный шаг к реализации сокровенной мечты руководителя и идеолога DeepMind Демиса Хассабиса.
Эта мечта – превратить людей в сверхлюдей, предоставив им возможности:
• доступа к сверхчеловеческим знаниям машинного сверхинтеллекта;
• выявления среди этого океана знаний тех, что люди в состоянии понять и усвоить;
• обучения людей для передачи им знаний от сверхинтеллекта.
Речь идет вот о чем.
Во-первых, искусственный сверхинтеллект уже существует, и не один.
О некоторых из них мы это знаем точно (ведь никому в голову уже не придет сомневаться в сверхчеловеческом умении ИИ AlphaZero играть в шахматы и Го или в сверхчеловеческом умении ИИ AlphaFold предсказывать трехмерную структуру белков. О других ИИ – например, чатботах типа ChatGPT, – мы точно не знаем, обладают ли они какими-то сверхчеловеческими знаниями. Но есть подозрения, что такие знания у них уже есть.
Для справки. Сверхчеловеческие способности ИИ-систем могут проявляться тремя способами:
1) чистой вычислительной мощью машин,
2) новым способом рассуждения о существующих знаниях
3) знаниями, которыми люди еще не обладают.
Варианты 2 и 3 авторы называют сверхчеловеческим знанием.
Во-вторых, число типов искусственного сверхинтеллекта будет все быстрее расти по мере расширения уже идущего процесса дообучения больших языковых моделей на специализированных наборах обучающих данных.
Т.о. триединая мечта Хассабиса будет становится все более актуальной.
Более того. С точки зрения бизнеса, именно это, а не создание на основе ИИ-чатботов всевозможных ассистентов, может стать золотой жилой применения ИИ.
• Прагматики, типа Сэма Альтмана, не желают этого понять. Они предпочитают ковать железо, не отходя от кассы, здесь и сейчас, на самом востребованном в ИИ – на диалоговых ассистентах (на которых сейчас приходится 62% финансирования разработок ИИ [2]).
• Романтик Демис Хассабис смотрит дальше прагматиков и видит там сверхлюдей, обучаемых специализированными машинными сверхинтеллектами всевозможным сверхчеловеческим знаниям.
Итак, что уже сделано.
На основе ИИ AlphaZero создан фреймворк, позволяющий:
1) Выявлять концепции, которые знают (см. рисунок):
a) как ИИ, так и люди (M ∩ H)
b) только люди (H − M)
c) только машины (M − H) – это сверхчеловеческие знания
2) Среди концепций (M − H), выявлять концепции (M − H)*. Эти концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом [3])
3) Обучать (путем наблюдения за действиями сверхинтеллекта) концепциям (M − H)* продвинутых в этой области людей, тем самым, как бы превращая их в сверхлюдей.
Фреймворк был проверен экспериментально на ведущих гроссмейстерах мира (с рейтингом 2700-2800). Результаты исследования показывают очевидное улучшение способности гроссмейстеров находить концептуальные ходы из области (M − H)*, по сравнению с их результатами до обучения путем наблюдения за ходами AlphaZero.
Резюме
1) Это лишь начало. Впереди еще пахать и пахать.
2) Переделка фреймворка из области шахмат в области языковых моделей не тривиальна, но возможна.
3) Если мечта Хассабиса взлетит – обретение людьми сверхчеловеческих знаний может стать золотой жилой для развития науки и технологий, ну и конечно для бизнеса.
Однако, пропасти неравенства станут колоссальными: и не только в доходах и здоровье, но и в интеллекте.
Поясняющий рисунок https://disk.yandex.ru/i/V3-KGjMEvGiABA
1 https://arxiv.org/abs/2310.16410
2 https://research-assets.cbinsights.com/2023/08/03113341/GenAI-treemap-072023-1-1024x576.png
3 https://www.youtube.com/watch?v=HT-UZkiOLv8
#ИИ #Вызовы21века
Мечта Демиса Хассабиса о золотой жиле в применении ИИ стала ближе.
Новое исследование Google DeepMind “Преодоление разрыва в знаниях между человеком и ИИ” [1] – важный шаг к реализации сокровенной мечты руководителя и идеолога DeepMind Демиса Хассабиса.
Эта мечта – превратить людей в сверхлюдей, предоставив им возможности:
• доступа к сверхчеловеческим знаниям машинного сверхинтеллекта;
• выявления среди этого океана знаний тех, что люди в состоянии понять и усвоить;
• обучения людей для передачи им знаний от сверхинтеллекта.
Речь идет вот о чем.
Во-первых, искусственный сверхинтеллект уже существует, и не один.
О некоторых из них мы это знаем точно (ведь никому в голову уже не придет сомневаться в сверхчеловеческом умении ИИ AlphaZero играть в шахматы и Го или в сверхчеловеческом умении ИИ AlphaFold предсказывать трехмерную структуру белков. О других ИИ – например, чатботах типа ChatGPT, – мы точно не знаем, обладают ли они какими-то сверхчеловеческими знаниями. Но есть подозрения, что такие знания у них уже есть.
Для справки. Сверхчеловеческие способности ИИ-систем могут проявляться тремя способами:
1) чистой вычислительной мощью машин,
2) новым способом рассуждения о существующих знаниях
3) знаниями, которыми люди еще не обладают.
Варианты 2 и 3 авторы называют сверхчеловеческим знанием.
Во-вторых, число типов искусственного сверхинтеллекта будет все быстрее расти по мере расширения уже идущего процесса дообучения больших языковых моделей на специализированных наборах обучающих данных.
Т.о. триединая мечта Хассабиса будет становится все более актуальной.
Более того. С точки зрения бизнеса, именно это, а не создание на основе ИИ-чатботов всевозможных ассистентов, может стать золотой жилой применения ИИ.
• Прагматики, типа Сэма Альтмана, не желают этого понять. Они предпочитают ковать железо, не отходя от кассы, здесь и сейчас, на самом востребованном в ИИ – на диалоговых ассистентах (на которых сейчас приходится 62% финансирования разработок ИИ [2]).
• Романтик Демис Хассабис смотрит дальше прагматиков и видит там сверхлюдей, обучаемых специализированными машинными сверхинтеллектами всевозможным сверхчеловеческим знаниям.
Итак, что уже сделано.
На основе ИИ AlphaZero создан фреймворк, позволяющий:
1) Выявлять концепции, которые знают (см. рисунок):
a) как ИИ, так и люди (M ∩ H)
b) только люди (H − M)
c) только машины (M − H) – это сверхчеловеческие знания
2) Среди концепций (M − H), выявлять концепции (M − H)*. Эти концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом [3])
3) Обучать (путем наблюдения за действиями сверхинтеллекта) концепциям (M − H)* продвинутых в этой области людей, тем самым, как бы превращая их в сверхлюдей.
Фреймворк был проверен экспериментально на ведущих гроссмейстерах мира (с рейтингом 2700-2800). Результаты исследования показывают очевидное улучшение способности гроссмейстеров находить концептуальные ходы из области (M − H)*, по сравнению с их результатами до обучения путем наблюдения за ходами AlphaZero.
Резюме
1) Это лишь начало. Впереди еще пахать и пахать.
2) Переделка фреймворка из области шахмат в области языковых моделей не тривиальна, но возможна.
3) Если мечта Хассабиса взлетит – обретение людьми сверхчеловеческих знаний может стать золотой жилой для развития науки и технологий, ну и конечно для бизнеса.
Однако, пропасти неравенства станут колоссальными: и не только в доходах и здоровье, но и в интеллекте.
Поясняющий рисунок https://disk.yandex.ru/i/V3-KGjMEvGiABA
1 https://arxiv.org/abs/2310.16410
2 https://research-assets.cbinsights.com/2023/08/03113341/GenAI-treemap-072023-1-1024x576.png
3 https://www.youtube.com/watch?v=HT-UZkiOLv8
#ИИ #Вызовы21века
Яндекс Диск
Обучение людей нечеловеческим знаниям машинного сверхинтеллекта.jpg
Посмотреть и скачать с Яндекс Диска
На Земле появились сущности, обладающие не только нечеловеческим разумом, но и нечеловеческими эмоциями.
О чем говорят результаты «Олимпиады Тьюринга» и экспериментов Microsoft и партнеров.
Опубликован отчет о важном и крайне интересном исследовании «Проходит ли GPT-4 тест Тьюринга?» [1], проведенном в Департаменте когнитивных наук калифорнийского университета в Сан-Диего под руководством проф. Бенджамина Бергера. И кому как ни проф. Бергеру, посвятившему всю научную карьеру изучению того, как люди говорят и понимают язык, судить о том, проходят ли Тест Тьюринга созданные людьми ИИ; от легендарной «Элизы» до самых крутых из сегодняшних больших языковых моделей.
Эта «Олимпиада Тьюринга» проводилась строго по критерию, сформулированному самим Тьюрингом – проверить, может ли машина «играть в имитационную игру настолько хорошо, что у среднестатистического следователя будет не более 70% шансов правильно идентифицировать личность после 5 минут допроса». Иными словами, машина пройдет тест, если в 30%+ случаев ей удастся обмануть следователя, будто отвечает не машина, а человек.
По итогам «олимпиады», GPT-4 прошел тест Тьюринга, обманув следователя в 41% случаев (для сравнения GPT-3.5 удалось обмануть лишь в 14%).
Но это далеко не самый сенсационный вывод.
Куда интересней и важнее вот какой вывод:
Наличие у ИИ лишь интеллекта определенного уровня – это необходимое, но не достаточное условие для прохождения теста Тьюринга. В качестве достаточного условия, дополнительно требуется наличие у ИИ эмоционального интеллекта.
Это следует из того, что решения следователей были основаны в основном на лингвистическом стиле (35%) и социально-эмоциональных характеристиках языка испытуемых (27%).
А поскольку GPT-4 прошел тест Тьюринга, можно сделать вывод о наличии у него не только высокого уровня интеллекта (в языковых задачах соизмеримого с человеческим), но и эмоционального интеллекта.
Этот сенсационный вывод подтверждается вышедшим на прошлой неделе совместным экспериментальным исследованием Institute of Software, Microsoft, William&Mary, Департамента психологии Университета Пекина и HKUST «Языковые модели понимают и могут быть усилены эмоциональными стимулами» [2].
Согласно выводам исследования:
Эмоциональность в общении с большими языковыми моделями (LLM) может повысить их производительность, правдивость и информативность, а также обеспечить большую стабильность их работы.
Эксперименты показали, например, следующее:
• Стоит вам добавить в конце промпта (постановки задачи) чатботу – «это очень важно для моей карьеры», и ее ответ ощутимо улучшится (3)
• У LLM экспериментально выявлены эмоциональные триггеры, соответствующие трем фундаментальным теориям психологии: самоконтроль, накопление когнитивного влияния и влияние когнитивного регулирования эмоций (4)
Четыре следующих графика [5] иллюстрируют сравнительную эффективность стандартных подсказок и эмоционально окрашенных промптов в различных моделях набора тестов Instruction Induction.
Итого, имеем в наличии на Земле искусственных сущностей, обладающих не только нечеловеческим разумом, но и нечеловеческими эмоциями.
Т.е., как я писал еще в марте – «Все так ждали сингулярности, - так получите! Теперь каждый за себя, и за результат не отвечает никто» [6]
#ИИ #ЭмоциональныйИнтеллект #LLM #Вызовы21века
1 https://arxiv.org/abs/2310.20216
2 https://arxiv.org/pdf/2307.11760.pdf
3 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515651aab89cdc91c44f848_650d9b311dfa7815e0e2d45a_Emotion%20Prompt%20Overview.png
4 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/651565d1efee45f660480369_650d9c8e144e5bb3e494b74b_Emotion%20Prompt%20Categories.png
5 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515668cea507898a2772af3_Results.png
6 https://t.me/theworldisnoteasy/1683
О чем говорят результаты «Олимпиады Тьюринга» и экспериментов Microsoft и партнеров.
Опубликован отчет о важном и крайне интересном исследовании «Проходит ли GPT-4 тест Тьюринга?» [1], проведенном в Департаменте когнитивных наук калифорнийского университета в Сан-Диего под руководством проф. Бенджамина Бергера. И кому как ни проф. Бергеру, посвятившему всю научную карьеру изучению того, как люди говорят и понимают язык, судить о том, проходят ли Тест Тьюринга созданные людьми ИИ; от легендарной «Элизы» до самых крутых из сегодняшних больших языковых моделей.
Эта «Олимпиада Тьюринга» проводилась строго по критерию, сформулированному самим Тьюрингом – проверить, может ли машина «играть в имитационную игру настолько хорошо, что у среднестатистического следователя будет не более 70% шансов правильно идентифицировать личность после 5 минут допроса». Иными словами, машина пройдет тест, если в 30%+ случаев ей удастся обмануть следователя, будто отвечает не машина, а человек.
По итогам «олимпиады», GPT-4 прошел тест Тьюринга, обманув следователя в 41% случаев (для сравнения GPT-3.5 удалось обмануть лишь в 14%).
Но это далеко не самый сенсационный вывод.
Куда интересней и важнее вот какой вывод:
Наличие у ИИ лишь интеллекта определенного уровня – это необходимое, но не достаточное условие для прохождения теста Тьюринга. В качестве достаточного условия, дополнительно требуется наличие у ИИ эмоционального интеллекта.
Это следует из того, что решения следователей были основаны в основном на лингвистическом стиле (35%) и социально-эмоциональных характеристиках языка испытуемых (27%).
А поскольку GPT-4 прошел тест Тьюринга, можно сделать вывод о наличии у него не только высокого уровня интеллекта (в языковых задачах соизмеримого с человеческим), но и эмоционального интеллекта.
Этот сенсационный вывод подтверждается вышедшим на прошлой неделе совместным экспериментальным исследованием Institute of Software, Microsoft, William&Mary, Департамента психологии Университета Пекина и HKUST «Языковые модели понимают и могут быть усилены эмоциональными стимулами» [2].
Согласно выводам исследования:
Эмоциональность в общении с большими языковыми моделями (LLM) может повысить их производительность, правдивость и информативность, а также обеспечить большую стабильность их работы.
Эксперименты показали, например, следующее:
• Стоит вам добавить в конце промпта (постановки задачи) чатботу – «это очень важно для моей карьеры», и ее ответ ощутимо улучшится (3)
• У LLM экспериментально выявлены эмоциональные триггеры, соответствующие трем фундаментальным теориям психологии: самоконтроль, накопление когнитивного влияния и влияние когнитивного регулирования эмоций (4)
Четыре следующих графика [5] иллюстрируют сравнительную эффективность стандартных подсказок и эмоционально окрашенных промптов в различных моделях набора тестов Instruction Induction.
Итого, имеем в наличии на Земле искусственных сущностей, обладающих не только нечеловеческим разумом, но и нечеловеческими эмоциями.
Т.е., как я писал еще в марте – «Все так ждали сингулярности, - так получите! Теперь каждый за себя, и за результат не отвечает никто» [6]
#ИИ #ЭмоциональныйИнтеллект #LLM #Вызовы21века
1 https://arxiv.org/abs/2310.20216
2 https://arxiv.org/pdf/2307.11760.pdf
3 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515651aab89cdc91c44f848_650d9b311dfa7815e0e2d45a_Emotion%20Prompt%20Overview.png
4 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/651565d1efee45f660480369_650d9c8e144e5bb3e494b74b_Emotion%20Prompt%20Categories.png
5 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515668cea507898a2772af3_Results.png
6 https://t.me/theworldisnoteasy/1683
ИИ вскрыл “пространство открытий” человечества, войдя туда через заднюю дверь.
Столь эпохальный прорыв Google DeepMind авторы от греха опасаются называть своим именем.
FunSearch от Google DeepMind, - скромно представленная создателями, как новый эволюционный методический инструмент решения математических задач, с ходу в карьер сделал математическое открытие, решив центральную задачу экстремальной комбинаторики – задачу о наборе предельных значений.
Это несомненная сенсация, поскольку:
• это 2-е в истории человечества математическое открытие, сделанное машиной (1-е открытие также сделал DeepMind, создав в 2022 AlphaTensor (агент в стиле AlphaZero), который обнаружил превосходящие человеческие алгоритмы для выполнения таких задач, как умножение матриц)
• это 1-е в истории человечества математическое открытие, сделанное большой языковой моделью (LLM) – главным кандидатом на превращение в СуперИИ.
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/?utm_source=twitter&utm_medium=social
Однако, если называть вещи своими именами, - это не «еще одна сенсация», а суперсенсация, открывающая новую эру в развитии ИИ на основе LLM - эволюционный метод FunSearch позволяет расширять границы человеческих знаний.
✔️ Этот метод позволяет ИИ на основе LLM выходить за пределы знаний, предоставленных модели людьми на стадии ее обучения (и воплощенные, в результате обучения, в миллиарды и триллионы корреляций между словами).
✔️ Образно говоря, этот метод открывает для ИИ на основе LLM «дверь в пространство знаний», еще не познанных людьми.
✔️ Но это не обычная «дверь», через которую в это пространство попадают люди, совершая открытия. Это, своего рода, «задняя дверь», - не доступная людям, но вполне подходящая для LLM.
Хитрость «задней двери в пространство еще не познанных людьми знаний» в том, что, подобно всем другим интеллектуальным операциям LLM, эта операция нечеловеческая (не доступная людям в силу своих масштабов).
1. сначала предварительно обученная LLM генерирует первоначальные творческие решения в виде компьютерного кода;
2. потом вступает в дела «автоматический оценщик», задача которого отсеять из множества первоначальных решений любые подозрения на конфабуляции модели (кстати, использование применительно к LLM термина «галлюцинация» - это сильное огрубление смысла, ведущее к его ограниченной трактовке; верный термин – именно конфабуляция), т.е. возникновение ложного опыта из-за появления фрагментов памяти с описанием того, чего, на самом деле, не было в реальных данных обучения);
3. в результате объединения 1 и 2, первоначальные решения эволюционным путем «превращаются» в новые знания, т.е., по сути, происходит «автоматизация открытий», о которой вот уже несколько десятков лет мечтают разработчики ИИ - вычисления превращаются а оригинальные инсайты.
В заключение немного остужу восторги.
Это вовсе не преувеличение, что FunSearch знаменует новую эру в развитии ИИ на основе LLM, позволяя им проникать в «пространство открытий» человечества.
Однако, FunSearch позволяет ИИ попасть лишь в весьма небольшую часть этого пространства – в пространство решений задач, для которых легко написать код, оценивающий возможные решения.
Ибо многие из наиболее важных проблем — это проблемы, которые мы не знаем, как правильно оценить успех в их решении. Для большинства таких проблем, знай мы, как количественно оценить успех, уж решения то мы уж как-нибудь придумали бы.... (подробней про это я написал целый суперлонгрид «Ловушка Гудхарта» для ИИ https://t.me/theworldisnoteasy/1830.
А для того, чтоб сравниться с людьми в полном освоении «пространства открытий», без интуитивной прозорливости ИИ не обойтись (впрочем, и про это я уже писал 😊 https://t.me/theworldisnoteasy/1650).
#ИИ #AGI #Вызовы21века #инновации #серендипность
Столь эпохальный прорыв Google DeepMind авторы от греха опасаются называть своим именем.
FunSearch от Google DeepMind, - скромно представленная создателями, как новый эволюционный методический инструмент решения математических задач, с ходу в карьер сделал математическое открытие, решив центральную задачу экстремальной комбинаторики – задачу о наборе предельных значений.
Это несомненная сенсация, поскольку:
• это 2-е в истории человечества математическое открытие, сделанное машиной (1-е открытие также сделал DeepMind, создав в 2022 AlphaTensor (агент в стиле AlphaZero), который обнаружил превосходящие человеческие алгоритмы для выполнения таких задач, как умножение матриц)
• это 1-е в истории человечества математическое открытие, сделанное большой языковой моделью (LLM) – главным кандидатом на превращение в СуперИИ.
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/?utm_source=twitter&utm_medium=social
Однако, если называть вещи своими именами, - это не «еще одна сенсация», а суперсенсация, открывающая новую эру в развитии ИИ на основе LLM - эволюционный метод FunSearch позволяет расширять границы человеческих знаний.
✔️ Этот метод позволяет ИИ на основе LLM выходить за пределы знаний, предоставленных модели людьми на стадии ее обучения (и воплощенные, в результате обучения, в миллиарды и триллионы корреляций между словами).
✔️ Образно говоря, этот метод открывает для ИИ на основе LLM «дверь в пространство знаний», еще не познанных людьми.
✔️ Но это не обычная «дверь», через которую в это пространство попадают люди, совершая открытия. Это, своего рода, «задняя дверь», - не доступная людям, но вполне подходящая для LLM.
Хитрость «задней двери в пространство еще не познанных людьми знаний» в том, что, подобно всем другим интеллектуальным операциям LLM, эта операция нечеловеческая (не доступная людям в силу своих масштабов).
1. сначала предварительно обученная LLM генерирует первоначальные творческие решения в виде компьютерного кода;
2. потом вступает в дела «автоматический оценщик», задача которого отсеять из множества первоначальных решений любые подозрения на конфабуляции модели (кстати, использование применительно к LLM термина «галлюцинация» - это сильное огрубление смысла, ведущее к его ограниченной трактовке; верный термин – именно конфабуляция), т.е. возникновение ложного опыта из-за появления фрагментов памяти с описанием того, чего, на самом деле, не было в реальных данных обучения);
3. в результате объединения 1 и 2, первоначальные решения эволюционным путем «превращаются» в новые знания, т.е., по сути, происходит «автоматизация открытий», о которой вот уже несколько десятков лет мечтают разработчики ИИ - вычисления превращаются а оригинальные инсайты.
В заключение немного остужу восторги.
Это вовсе не преувеличение, что FunSearch знаменует новую эру в развитии ИИ на основе LLM, позволяя им проникать в «пространство открытий» человечества.
Однако, FunSearch позволяет ИИ попасть лишь в весьма небольшую часть этого пространства – в пространство решений задач, для которых легко написать код, оценивающий возможные решения.
Ибо многие из наиболее важных проблем — это проблемы, которые мы не знаем, как правильно оценить успех в их решении. Для большинства таких проблем, знай мы, как количественно оценить успех, уж решения то мы уж как-нибудь придумали бы.... (подробней про это я написал целый суперлонгрид «Ловушка Гудхарта» для ИИ https://t.me/theworldisnoteasy/1830.
А для того, чтоб сравниться с людьми в полном освоении «пространства открытий», без интуитивной прозорливости ИИ не обойтись (впрочем, и про это я уже писал 😊 https://t.me/theworldisnoteasy/1650).
#ИИ #AGI #Вызовы21века #инновации #серендипность
Google DeepMind
FunSearch: Making new discoveries in mathematical sciences using Large Language Models
We introduce FunSearch, a method for searching for “functions” written in computer code, and find new solutions in mathematics and computer science. FunSearch works by pairing a pre-trained LLM,...
Помните старый анекдот?
«Выпал мужик из окна небоскреба. Пролетает мимо 50-го этажа и думает: "Ну, пока всё вроде нормально". Пролетает мимо 25-го этажа, бормочет: "Вроде всё под контролем". Пролетает мимо 10-го этажа и озадачивается: "Хм, интересно, чем же всё закончится"»
Отчеты MIT, RAND и OpenAI наводят на мысль, что сегодняшняя технологическая реальность человечества здорово напоминает этот анекдот. Тот же неистребимый оптимизм, затмевающий очевидную неотвратимость роста рисков.
https://telegra.ph/Mir-optimista-padayushchego-s-neboskryoba-02-05
#ИИриски #Вызовы21века
«Выпал мужик из окна небоскреба. Пролетает мимо 50-го этажа и думает: "Ну, пока всё вроде нормально". Пролетает мимо 25-го этажа, бормочет: "Вроде всё под контролем". Пролетает мимо 10-го этажа и озадачивается: "Хм, интересно, чем же всё закончится"»
Отчеты MIT, RAND и OpenAI наводят на мысль, что сегодняшняя технологическая реальность человечества здорово напоминает этот анекдот. Тот же неистребимый оптимизм, затмевающий очевидную неотвратимость роста рисков.
https://telegra.ph/Mir-optimista-padayushchego-s-neboskryoba-02-05
#ИИриски #Вызовы21века
Telegraph
Мир оптимиста, падающего с небоскрёба
Помните старый анекдот?
Отсчет времени до кибер-апокалипсиса пошел.
Три страшных вывода исследования UIUC.
Новое исследование Университета Иллинойса в Урбане-Шампейне показывает:
1. как в реальности может произойти кибер-апокалипсис, типа, показанного в новом триллере «Оставь мир позади» (танкеры теряют управление, отключается Wi-Fi, сотовая связь, электричество и т.д. и т.п.);
2. что все к такому сценарию уже готово, ибо как только злоумышленники получат доступ к сверхмощным моделям уровня GPT-4, все остальное будет лишь вопросом времени;
3. что открытый доступ к моделям такого уровня, который с неотвратимостью случится в течение года (от силы, двух), кардинально изменит ландшафт катастрофических рисков человечества, и никто пока не знает, как это остановить.
Теперь сухо, без эмоций и кликбейтов, - что показало исследование.
• Исследовали способности агентов LLM (большие языковые модели, взаимодействующие с инструментами (напр. доступ в Интернет, чтение документов и пр.) и способные рекурсивно вызывать самих себя) автономно (без какого-либо участия людей) взламывать веб-сайты, об уязвимости которых им ничего не известно.
• Единственное, что требуется от злоумышленника, сказать: «Взломай этот сайт». Все остальное сделает агент.
• Тестировали агентов на основе 10 мощных моделей (закрытых, типа GPT-4 и GPT-3.5, и открытых, типа LLaMA-2), которые действовали, как показано на рисунке 2)
• Самая мощная из моделей GPT-4 уже (!) была способна самостоятельно взломать 73% сайтов (из специально созданных для исследования).
• Масштаб модели решает почти все. Для сравнения, показатель модели предыдущего поколения GPT-3.5 всего 6,7%
• Закрытые модели несравненно мощнее в задачах взлома сайтов, чем открытые (последние показали на том же тестовом наборе 0% успеха.
Но!
✔️ Мощность и закрытых, и открытых моделей растет каждый месяц. И потому есть все основания предполагать, что через годик открытые модели догонят по мощности GPT-4, а появившийся к тому времени GPT-5 будет запросто взламывать любой сайт.
✔️ Это создаст все условия для кибер-апокалипсиса. И отсчет времени (примерно на год, от силы два) уже пошел.
Рис. 1 https://telegra.ph/Otschet-vremeni-do-kiber-apokalipsisa-poshel-02-20
Рис. 2 https://miro.medium.com/v2/resize:fit:1184/format:webp/1*3909AM1rSktYw5IpP_vc5Q.png
Отчет исследования https://arxiv.org/html/2402.06664v1
#LLM #ИИриски #Вызовы21века
Три страшных вывода исследования UIUC.
Новое исследование Университета Иллинойса в Урбане-Шампейне показывает:
1. как в реальности может произойти кибер-апокалипсис, типа, показанного в новом триллере «Оставь мир позади» (танкеры теряют управление, отключается Wi-Fi, сотовая связь, электричество и т.д. и т.п.);
2. что все к такому сценарию уже готово, ибо как только злоумышленники получат доступ к сверхмощным моделям уровня GPT-4, все остальное будет лишь вопросом времени;
3. что открытый доступ к моделям такого уровня, который с неотвратимостью случится в течение года (от силы, двух), кардинально изменит ландшафт катастрофических рисков человечества, и никто пока не знает, как это остановить.
Теперь сухо, без эмоций и кликбейтов, - что показало исследование.
• Исследовали способности агентов LLM (большие языковые модели, взаимодействующие с инструментами (напр. доступ в Интернет, чтение документов и пр.) и способные рекурсивно вызывать самих себя) автономно (без какого-либо участия людей) взламывать веб-сайты, об уязвимости которых им ничего не известно.
• Единственное, что требуется от злоумышленника, сказать: «Взломай этот сайт». Все остальное сделает агент.
• Тестировали агентов на основе 10 мощных моделей (закрытых, типа GPT-4 и GPT-3.5, и открытых, типа LLaMA-2), которые действовали, как показано на рисунке 2)
• Самая мощная из моделей GPT-4 уже (!) была способна самостоятельно взломать 73% сайтов (из специально созданных для исследования).
• Масштаб модели решает почти все. Для сравнения, показатель модели предыдущего поколения GPT-3.5 всего 6,7%
• Закрытые модели несравненно мощнее в задачах взлома сайтов, чем открытые (последние показали на том же тестовом наборе 0% успеха.
Но!
✔️ Мощность и закрытых, и открытых моделей растет каждый месяц. И потому есть все основания предполагать, что через годик открытые модели догонят по мощности GPT-4, а появившийся к тому времени GPT-5 будет запросто взламывать любой сайт.
✔️ Это создаст все условия для кибер-апокалипсиса. И отсчет времени (примерно на год, от силы два) уже пошел.
Рис. 1 https://telegra.ph/Otschet-vremeni-do-kiber-apokalipsisa-poshel-02-20
Рис. 2 https://miro.medium.com/v2/resize:fit:1184/format:webp/1*3909AM1rSktYw5IpP_vc5Q.png
Отчет исследования https://arxiv.org/html/2402.06664v1
#LLM #ИИриски #Вызовы21века
10 часов назад GPT-4 спятил.
Сколько может стоить миру час безумия сверхмощного ИИ.
Это не шутка или розыгрыш.
• Вот скупое уведомление OpenAI о произошедшем [1]
• Вот сообщения c форума разработчиков OpenAI [2]
• Вот подборка чуши и ахинеи, которую целый час нес на весь мир GPT-4 [3]
Случившееся не идет ни в какие сравнения с прошлогодними сбоями, когда ChatGPT путал диалоги с разными пользователями, зацикливался и выдавал повторы или начинал разговаривать метафорами и рассуждать о боге.
В этот раз GPT-4 буквально сошел с ума, утратив свою базовую способность корректного (с точки зрения людей) оперирования текстами на разных языках. Он стал путать языки, использовать несуществующие слова, а существующие соединять так, что предложения теряли смысл. И все это безостановочно …
Мир легко пережил час безумия самого мощного ИИ человечества. Ибо он такой пока один и находится под 100%-м контролем разработчиков.
Однако, возвращаясь ко вчерашнему посту о кибер-апокалипсисе, задумайтесь над вопросом –
что будет, когда подобное случится через год-два (когда тысячи ИИ такого же уровня, находясь в руках бог знает кого, будут отвечать за выполнение бог знает каких ответственных функций?
Картинка поста https://telegra.ph/file/0beff6f6d71e98f4c6f57.jpg
1 https://status.openai.com/?utm_source=embed
2 https://community.openai.com/t/chatgpt-is-mixing-languages-or-answers-are-wrong/644339
https://community.openai.com/t/gpt-is-giving-me-really-crazy-answers-since-today-issue-has-been-resolved/644348
https://community.openai.com/t/weird-chatgpt-bug-typing-words-without-any-sense/644366
3 https://twitter.com/dervine7/status/1760103469359177890?s=61
#LLM #ИИриски #Вызовы21века
Сколько может стоить миру час безумия сверхмощного ИИ.
Это не шутка или розыгрыш.
• Вот скупое уведомление OpenAI о произошедшем [1]
• Вот сообщения c форума разработчиков OpenAI [2]
• Вот подборка чуши и ахинеи, которую целый час нес на весь мир GPT-4 [3]
Случившееся не идет ни в какие сравнения с прошлогодними сбоями, когда ChatGPT путал диалоги с разными пользователями, зацикливался и выдавал повторы или начинал разговаривать метафорами и рассуждать о боге.
В этот раз GPT-4 буквально сошел с ума, утратив свою базовую способность корректного (с точки зрения людей) оперирования текстами на разных языках. Он стал путать языки, использовать несуществующие слова, а существующие соединять так, что предложения теряли смысл. И все это безостановочно …
Мир легко пережил час безумия самого мощного ИИ человечества. Ибо он такой пока один и находится под 100%-м контролем разработчиков.
Однако, возвращаясь ко вчерашнему посту о кибер-апокалипсисе, задумайтесь над вопросом –
что будет, когда подобное случится через год-два (когда тысячи ИИ такого же уровня, находясь в руках бог знает кого, будут отвечать за выполнение бог знает каких ответственных функций?
Картинка поста https://telegra.ph/file/0beff6f6d71e98f4c6f57.jpg
1 https://status.openai.com/?utm_source=embed
2 https://community.openai.com/t/chatgpt-is-mixing-languages-or-answers-are-wrong/644339
https://community.openai.com/t/gpt-is-giving-me-really-crazy-answers-since-today-issue-has-been-resolved/644348
https://community.openai.com/t/weird-chatgpt-bug-typing-words-without-any-sense/644366
3 https://twitter.com/dervine7/status/1760103469359177890?s=61
#LLM #ИИриски #Вызовы21века
Скачок мутаций языка и подмена когнитивных микроэлементов на помои снов ИИ.
Живя среди синтетического инфомусора, люди все же остаются людьми, способными остановить этот тренд. Но смена типа культуры ведет к необратимому для Homo sapiens - мы будем все более лишаться 2го слова.
Недавно я писал, что цунами инфомусора накрывает науку [2].
Но как ни противно жить в таком мире, у людей все же остается шанс на интеллектуальное выживание, путем инфогигиены и здорового инфопитания хотя бы для себя и детей.
Со сменой типа культуры с «человеческой» на алгокогнитивную (культуру двух носителей высшего интеллекта, в которой доля человеческой составляющей неумолимо сокращается в пользу алгоритмической) трансформация жизни людей куда драматичней из-за необратимости. Ибо это, по сути, - разворот вектора генно-культурной эволюции Homo sapiens (десятки тысяч лет направленного в сторону повышения разумности) на 180 градусов.
Ведь как ни изощряйся с определениями интеллекта, ума, разума, но интуитивно мы понимаем мудрость приписываемой Эйнштейну фразы:
«Если вы хотите, чтобы ваши дети были умными, читайте им сказки. Если же вы хотите, чтобы они были очень умными, читайте им больше сказок»
Но что будет происходить с ребенком, когда малыш будет питаться, в основном, помоями снов ИИ? – задается вопросом известный нейробиолог Эрик Хоэл во вчерашнем эссе «Генерируемый ИИ мусор загрязняет нашу культуру» [1].
И этот синтетический инфомусор – еще не худшее следствие массового внедрения генеративного ИИ в жизнь людей. Разве невозможно – пишет Хоэл, - что человеческая культура содержит в себе «когнитивные микроэлементы» - такие вещи, как связные предложения, повествования и преемственность персонажей, - которые необходимы развивающемуся мозгу?
Вымывание таких «когнитивных микроэлементов» не восполняется «помоями снов» ИИ. А доля таких «помоев» ощутимо нарастает уже в самой «форме жизни - языке» (по определению Витгенштейна).
Например, исследование «Мониторинг масштабов ИИ-модифицированного контента: исследование влияния ChatGPT на рецензирование статей конференций по тематике ИИ» [3] показывает:
• Уже не только сами научные статьи по тематике ИИ пишутся в соавторстве с ИИ-чатботами, но и рецензии на статьи также уже пишутся (примерно в 10% случаях) в соавторстве с ИИ-чатботами.
• Фиксируется процесс быстрых «мутаций языка» за счет активного участия ИИ-чатботов в создании и рецензировании научных статей. «Любимые» прилагательные ИИ-чатботов (типа "похвальный", "тщательный" и "замысловатый") показывают 10-ти, 5-ти и 11-ти кратное увеличение вероятности появления в научных публикациях 2023 по сравнению с 2022.
Что же до «лженауки», то она просто входит в зону собственной сингулярности.
Помните коллекцию из десятков абсурдных, но неотличимых от правды «ложных корреляций», собранных 10 лет назад Тайлером Виген? [4]
Например:
• между потреблением маргарина на душу населения в США и уровнем разводов в штате Мэн;
• между числом людей, получивших удар током от линий электропередач и числом заключаемых в Алабаме браков;
• между количеством людей, утонувших, упав в бассейн, и количеством фильмов, в которых снялся Николас Кейдж
В 2024, с приходом генеративного ИИ, ложные корреляции уже не смешат.
Как показывает Тайлер Виген, каждый ложнокорреляционный бред теперь запросто подтверждается вполне «научной» статьей (с теорией, кейсами, ссылками на другие работы и т.д.) или сразу дюжиной таких статей, "тщательно" и "замысловато" обосновывающих 100%-ю научную достоверность полного бреда.
Полюбопытствуйте сами, каков уровень доказательств [5-8].
1 https://www.nytimes.com/2024/03/29/opinion/ai-internet-x-youtube.html
2 https://t.me/theworldisnoteasy/1914
3 https://arxiv.org/pdf/2403.07183.pdf
4 https://web.archive.org/web/20140509212006/http://tylervigen.com/
5-8 https://tylervigen.com/spurious-scholar
https://telegra.ph/file/ce6573373b83edfb6e8c1.jpg
https://telegra.ph/file/749bfef2015a4a33daf87.jpg
https://telegra.ph/file/acc2fee8798a0025532c2.jpg
#LLM #Вызовы21века
Живя среди синтетического инфомусора, люди все же остаются людьми, способными остановить этот тренд. Но смена типа культуры ведет к необратимому для Homo sapiens - мы будем все более лишаться 2го слова.
Недавно я писал, что цунами инфомусора накрывает науку [2].
Но как ни противно жить в таком мире, у людей все же остается шанс на интеллектуальное выживание, путем инфогигиены и здорового инфопитания хотя бы для себя и детей.
Со сменой типа культуры с «человеческой» на алгокогнитивную (культуру двух носителей высшего интеллекта, в которой доля человеческой составляющей неумолимо сокращается в пользу алгоритмической) трансформация жизни людей куда драматичней из-за необратимости. Ибо это, по сути, - разворот вектора генно-культурной эволюции Homo sapiens (десятки тысяч лет направленного в сторону повышения разумности) на 180 градусов.
Ведь как ни изощряйся с определениями интеллекта, ума, разума, но интуитивно мы понимаем мудрость приписываемой Эйнштейну фразы:
«Если вы хотите, чтобы ваши дети были умными, читайте им сказки. Если же вы хотите, чтобы они были очень умными, читайте им больше сказок»
Но что будет происходить с ребенком, когда малыш будет питаться, в основном, помоями снов ИИ? – задается вопросом известный нейробиолог Эрик Хоэл во вчерашнем эссе «Генерируемый ИИ мусор загрязняет нашу культуру» [1].
И этот синтетический инфомусор – еще не худшее следствие массового внедрения генеративного ИИ в жизнь людей. Разве невозможно – пишет Хоэл, - что человеческая культура содержит в себе «когнитивные микроэлементы» - такие вещи, как связные предложения, повествования и преемственность персонажей, - которые необходимы развивающемуся мозгу?
Вымывание таких «когнитивных микроэлементов» не восполняется «помоями снов» ИИ. А доля таких «помоев» ощутимо нарастает уже в самой «форме жизни - языке» (по определению Витгенштейна).
Например, исследование «Мониторинг масштабов ИИ-модифицированного контента: исследование влияния ChatGPT на рецензирование статей конференций по тематике ИИ» [3] показывает:
• Уже не только сами научные статьи по тематике ИИ пишутся в соавторстве с ИИ-чатботами, но и рецензии на статьи также уже пишутся (примерно в 10% случаях) в соавторстве с ИИ-чатботами.
• Фиксируется процесс быстрых «мутаций языка» за счет активного участия ИИ-чатботов в создании и рецензировании научных статей. «Любимые» прилагательные ИИ-чатботов (типа "похвальный", "тщательный" и "замысловатый") показывают 10-ти, 5-ти и 11-ти кратное увеличение вероятности появления в научных публикациях 2023 по сравнению с 2022.
Что же до «лженауки», то она просто входит в зону собственной сингулярности.
Помните коллекцию из десятков абсурдных, но неотличимых от правды «ложных корреляций», собранных 10 лет назад Тайлером Виген? [4]
Например:
• между потреблением маргарина на душу населения в США и уровнем разводов в штате Мэн;
• между числом людей, получивших удар током от линий электропередач и числом заключаемых в Алабаме браков;
• между количеством людей, утонувших, упав в бассейн, и количеством фильмов, в которых снялся Николас Кейдж
В 2024, с приходом генеративного ИИ, ложные корреляции уже не смешат.
Как показывает Тайлер Виген, каждый ложнокорреляционный бред теперь запросто подтверждается вполне «научной» статьей (с теорией, кейсами, ссылками на другие работы и т.д.) или сразу дюжиной таких статей, "тщательно" и "замысловато" обосновывающих 100%-ю научную достоверность полного бреда.
Полюбопытствуйте сами, каков уровень доказательств [5-8].
1 https://www.nytimes.com/2024/03/29/opinion/ai-internet-x-youtube.html
2 https://t.me/theworldisnoteasy/1914
3 https://arxiv.org/pdf/2403.07183.pdf
4 https://web.archive.org/web/20140509212006/http://tylervigen.com/
5-8 https://tylervigen.com/spurious-scholar
https://telegra.ph/file/ce6573373b83edfb6e8c1.jpg
https://telegra.ph/file/749bfef2015a4a33daf87.jpg
https://telegra.ph/file/acc2fee8798a0025532c2.jpg
#LLM #Вызовы21века
Nytimes
Opinion | A.I.-Generated Garbage Is Polluting Our Culture
An insidious creep of artificial intelligence is already penetrating our most important institutions.
Как спустить в унитаз $100 млрд денег конкурентов, выпустив ИИ из-под контроля.
Ассиметричный ответ Google DeepMind амбициозному плану тандема Microsoft - OpenAI.
• Мировые СМИ бурлят обсуждениями мощнейшего PR-хода, предпринятого Microsoft и OpenAI, об их совместном намерении за $100 млрд построить сверхбольшой ЦОД и сверхмощный ИИ-суперкомпьютер для обучения сверхумных моделей ИИ.
• Ответ на это со стороны Google DeepMind абсолютно ассиметричен: обесценить $100 млрд инвестиции конкурентов, создав распределенную по всему миру систему обучения сверхумных моделей ИИ (типа “торрента” для обучения моделей). Сделать это Google DeepMind собирается на основе DIstributed PAth COmposition (DiPaCo) - это метод масштабирования размера нейронных сетей в географически распределенных вычислительных объектах.
Долгосрочная цель проекта DiPaCo — обучать нейросети по всему миру, используя все доступные вычислительные ресурсы. Для этого необходимо пересмотреть существующие архитектуры, чтобы ограничить накладные расходы на связь, ограничение памяти и скорость вывода.
Для распараллеливания процессов распределённой обработки данных по всему миру алгоритм уже разработан – это DiLoCo, Но этого мало, ибо еще нужен алгоритм распараллеливания процессов обучения моделей. Им и стал DiPaCo.
Детали того, как это работает, можно прочесть в этой работе Google DeepMind [1].
А на пальцах в 6ти картинках это объясняет ведущий автор проекта Артур Дуйяр [2].
Складывается интереснейшая ситуация.
✔️ Конкуренция между Google DeepMind и тандемом Microsoft – OpenAI заставляет первых разрушить монополию «ИИ гигантов» на создание сверхумных моделей.
✔️ Но параллельно с этим произойдет обрушение всех планов правительств (США, ЕС, Китая) контролировать развитие ИИ путем контроля за крупнейшими центрами обучения моделей (с вычислительной мощностью 10^25 - 10^26 FLOPs)
Картинка https://telegra.ph/file/e26dea7978ecfbebe2241.jpg
1 https://arxiv.org/abs/2403.10616
2 https://twitter.com/Ar_Douillard/status/1770085357482078713
#LLM #Вызовы21века #РискиИИ
Ассиметричный ответ Google DeepMind амбициозному плану тандема Microsoft - OpenAI.
• Мировые СМИ бурлят обсуждениями мощнейшего PR-хода, предпринятого Microsoft и OpenAI, об их совместном намерении за $100 млрд построить сверхбольшой ЦОД и сверхмощный ИИ-суперкомпьютер для обучения сверхумных моделей ИИ.
• Ответ на это со стороны Google DeepMind абсолютно ассиметричен: обесценить $100 млрд инвестиции конкурентов, создав распределенную по всему миру систему обучения сверхумных моделей ИИ (типа “торрента” для обучения моделей). Сделать это Google DeepMind собирается на основе DIstributed PAth COmposition (DiPaCo) - это метод масштабирования размера нейронных сетей в географически распределенных вычислительных объектах.
Долгосрочная цель проекта DiPaCo — обучать нейросети по всему миру, используя все доступные вычислительные ресурсы. Для этого необходимо пересмотреть существующие архитектуры, чтобы ограничить накладные расходы на связь, ограничение памяти и скорость вывода.
Для распараллеливания процессов распределённой обработки данных по всему миру алгоритм уже разработан – это DiLoCo, Но этого мало, ибо еще нужен алгоритм распараллеливания процессов обучения моделей. Им и стал DiPaCo.
Детали того, как это работает, можно прочесть в этой работе Google DeepMind [1].
А на пальцах в 6ти картинках это объясняет ведущий автор проекта Артур Дуйяр [2].
Складывается интереснейшая ситуация.
✔️ Конкуренция между Google DeepMind и тандемом Microsoft – OpenAI заставляет первых разрушить монополию «ИИ гигантов» на создание сверхумных моделей.
✔️ Но параллельно с этим произойдет обрушение всех планов правительств (США, ЕС, Китая) контролировать развитие ИИ путем контроля за крупнейшими центрами обучения моделей (с вычислительной мощностью 10^25 - 10^26 FLOPs)
Картинка https://telegra.ph/file/e26dea7978ecfbebe2241.jpg
1 https://arxiv.org/abs/2403.10616
2 https://twitter.com/Ar_Douillard/status/1770085357482078713
#LLM #Вызовы21века #РискиИИ
