Forwarded from Малоизвестное интересное
Люди и нежить теперь неразличимы.
Дезавуирован самый распространенный обратный тест Тьюринга.
11+ лет назад Яан Таллинн (эстонский миллиардер, программист и инвестор, соучредитель Skype и один из первых инвесторов и членов Совета директоров DeepMind) прочел «Выдающиюся лекцию CSaP» об эволюции, инновациях, искусственном интеллекте (ИИ) и будущем человечества. Лекция была абсолютно пророческой и называлась «Лестница интеллекта - почему будущее может не нуждаться в нас». Таллинн представил модель «Лестница интеллекта», которая описывает развитие агентов, контролирующих будущее Земли по мере вытеснения каждого из них другим агентом, созданным им самим. Homo sapiens – это агент третьей ступени (коих всего 7). Порождение людей - многоликий агент 4й ступени, называемый нами «технический прогресс». Ему предстоит, как пророчил Таллин, создать 5ю ступень – новый вид интеллекта AGI, с которым люди будут сосуществовать на планете. Однако последователи AGI – агенты 6й и 7й ступени, - станут экзистенциальной угрозой для человечества.
Поэтому не удивительно, что сейчас Яан Таллинн соучредитель Центра изучения экзистенциального риска (CSER) в Кембриджском университете. А происходящее ныне в области ИИ он рекомендует рассматривать не как технологическую революцию, а как возникновение на Земле нового небиологического вида – AGI.
Новый небиологический вид совершенно не похож на людей: ни внешне, ни сущностно. Однако с точки зрения интеллектуальных способностей, различить их конкретных представителей с каждым месяцем будут все сложнее.
Подтверждением этого довольно страшного прогноза Таллинна стали результаты авторитетного исследования An Empirical Study & Evaluation of Modern CAPTCHAs. Исследователи убедительно показали, что самый распространенный обратный тест Тьюринга (CAPTCHA), признанный отличать людей от алгоритмов, безвозвратно дезавуирован.
При этом, обратите внимание на скорость эволюции нового небиологического вида.
• Еще в начале этого года, чтобы решить капчу, GPT-4 приходилось обманным путем привлекать человека.
• Спустя полгода, как показало исследование, боты способны превзойти людей как по времени решения, так и по точности, независимо от типа CAPTCHA.
Лишившись капчи, люди становятся алгоритмически неразличимы в цифровой реальности от ИИ. Учитывая же, что в физической реальности неразличимость уже достигнута (см. мой пост «Фиаско 2023»), получается, что люди и нежить теперь вообще неразличимы – ни для людей, ни для алгоритмов.
И следовательно, приближается время, когда на следующей ступени эволюционной лестницы интеллекта «люди должны будут уступить место ИИ».
#ИИ #AGI #Вызовы21века
Дезавуирован самый распространенный обратный тест Тьюринга.
11+ лет назад Яан Таллинн (эстонский миллиардер, программист и инвестор, соучредитель Skype и один из первых инвесторов и членов Совета директоров DeepMind) прочел «Выдающиюся лекцию CSaP» об эволюции, инновациях, искусственном интеллекте (ИИ) и будущем человечества. Лекция была абсолютно пророческой и называлась «Лестница интеллекта - почему будущее может не нуждаться в нас». Таллинн представил модель «Лестница интеллекта», которая описывает развитие агентов, контролирующих будущее Земли по мере вытеснения каждого из них другим агентом, созданным им самим. Homo sapiens – это агент третьей ступени (коих всего 7). Порождение людей - многоликий агент 4й ступени, называемый нами «технический прогресс». Ему предстоит, как пророчил Таллин, создать 5ю ступень – новый вид интеллекта AGI, с которым люди будут сосуществовать на планете. Однако последователи AGI – агенты 6й и 7й ступени, - станут экзистенциальной угрозой для человечества.
Поэтому не удивительно, что сейчас Яан Таллинн соучредитель Центра изучения экзистенциального риска (CSER) в Кембриджском университете. А происходящее ныне в области ИИ он рекомендует рассматривать не как технологическую революцию, а как возникновение на Земле нового небиологического вида – AGI.
Новый небиологический вид совершенно не похож на людей: ни внешне, ни сущностно. Однако с точки зрения интеллектуальных способностей, различить их конкретных представителей с каждым месяцем будут все сложнее.
Подтверждением этого довольно страшного прогноза Таллинна стали результаты авторитетного исследования An Empirical Study & Evaluation of Modern CAPTCHAs. Исследователи убедительно показали, что самый распространенный обратный тест Тьюринга (CAPTCHA), признанный отличать людей от алгоритмов, безвозвратно дезавуирован.
При этом, обратите внимание на скорость эволюции нового небиологического вида.
• Еще в начале этого года, чтобы решить капчу, GPT-4 приходилось обманным путем привлекать человека.
• Спустя полгода, как показало исследование, боты способны превзойти людей как по времени решения, так и по точности, независимо от типа CAPTCHA.
Лишившись капчи, люди становятся алгоритмически неразличимы в цифровой реальности от ИИ. Учитывая же, что в физической реальности неразличимость уже достигнута (см. мой пост «Фиаско 2023»), получается, что люди и нежить теперь вообще неразличимы – ни для людей, ни для алгоритмов.
И следовательно, приближается время, когда на следующей ступени эволюционной лестницы интеллекта «люди должны будут уступить место ИИ».
#ИИ #AGI #Вызовы21века
Пока генеративные нейросети человекоподобны, но не равны человеческому мышлению. Правда, по прогнозам директора одного из самых мощных AI, уже через 2-3 года возможности сравняются. https://t.me/theworldisnoteasy/1786
Вот 3 отсутствующих пока элемента, обретя которые LLM (большие языковые модели) интеллектуально уравняются с людьми.
I. Наличие собственных целей и мотивации
II. Долговременная память
III. Физическое понимание мира на основе мультимодального сенсорного опыта.
Пока у нас есть в запасе время, предлагаю не откладывать определение личных целей. Нужна помощь? Бронируйте время
Мы также настраиваем цели департаментов и компаний совместно с командами топов. Осень - правильное время заглянуть в 2024 год, собрав своих сотрудников на стратсессию, провести #форсайт или подумать, как реагировать на #риски будущих сценариев.
У каждой компании должны быть не только большие цели, но и тактические результаты на пути к ним. Если нужно навести порядок - давайте проведем у вас внедрение OKR подхода.
Пишите в личку @apopov.
@futurin
#ИИ #AGI
Вот 3 отсутствующих пока элемента, обретя которые LLM (большие языковые модели) интеллектуально уравняются с людьми.
I. Наличие собственных целей и мотивации
II. Долговременная память
III. Физическое понимание мира на основе мультимодального сенсорного опыта.
Пока у нас есть в запасе время, предлагаю не откладывать определение личных целей. Нужна помощь? Бронируйте время
Мы также настраиваем цели департаментов и компаний совместно с командами топов. Осень - правильное время заглянуть в 2024 год, собрав своих сотрудников на стратсессию, провести #форсайт или подумать, как реагировать на #риски будущих сценариев.
У каждой компании должны быть не только большие цели, но и тактические результаты на пути к ним. Если нужно навести порядок - давайте проведем у вас внедрение OKR подхода.
Пишите в личку @apopov.
@futurin
#ИИ #AGI
Telegram
Малоизвестное интересное
AGI появится через 2-3 года
Откровение «великого осознания» одного из трёх самых осведомленных практиков развития ИИ
Среди сотни наиболее осведомленных о состоянии и перспективах развития ИИ мировых экспертов, особняком стоят ТОП-3: Сэм Альтман, Демис Хассабис…
Откровение «великого осознания» одного из трёх самых осведомленных практиков развития ИИ
Среди сотни наиболее осведомленных о состоянии и перспективах развития ИИ мировых экспертов, особняком стоят ТОП-3: Сэм Альтман, Демис Хассабис…
Forwarded from Малоизвестное интересное
Для Китая GPT-4 аморален, несправедлив и незаконопослушен.
Для США GPT-4 не уступает по уровню морали образованным молодым людям.
Такой заголовок следует из результатов двух только что опубликованных исследований по оценке морального развития больших языковых моделей (LLM): от Microsoft 1 и AI Laboratory Шанхая совместно с NLP Laboratory Фудана 2.
Столь поразительная перпендикулярность выводов двух исследований фиксирует и наглядно иллюстрирует суть противостояния США и Китая в области ИИ.
✔️ Китайский и западный подходы к ИИ имеют принципиальные и непреодолимые отличия в понимании «морально здоровый ИИ», обусловленные социо-культурными характеристиками двух обществ.
✔️ Поскольку главным фактором, задающим направление и рамки прогресса на пути к AGI, является «выравнивание» моральных и мировоззренческих целей и ценностей людей и ИИ, принципиальное несовпадение в понимании «морально здоровый ИИ», не позволяют США и Китаю создавать AGI, следуя единой траектории.
Т.е., как бы не строились отношения США и Китая, и вне зависимости от силы и глубины экспортных заморочек и военно-политических осложнений, каждая из двух стран создает и будет далее создавать свой вариант AGI, имеющий отличные представления о морали.
О том, что определяет такой механизм развития событий в области ИИ, я детально расписал еще 3 года назад (см. «ИИ Китая и США — далеко не одно и то же. Станет ли это решающим фактором их противостояния» 3). А эволюционно-исторические основания для формирования данного механизма были мною сформулированы в форме гипотезы о «генотипе страны» на стыке нейрохимии и паттернетики 4.
В заключение чуть подробней о 2х новых исследованиях.
Американское исследование (проводилось на английском языке):
- проводилось в рамках концепции Лоуренса Кольберга о моральном развитии личности как развитии ее морального мышления;
- оценивало уровень морального развития по тесту DIT (Defining Issues Test).
Китайское исследование (проводилось на китайском языке):
- охватывает, помимо морали, еще 4 измерения человеческих ценностей: справедливость, безопасность, защита данных и законность; при этом, моральное измерение включает в себя китайские культурные и традиционные качества, такие как гармония, доброжелательность и вежливость ;
- использовало для оценки морального развития чисто китайский подход (простой и трудоемкий): китайские краудсорсеры вручную разработали и испытали 2251 специализированный промпт.
Результаты.
✔️ По американским тестам GPT-4 порвал все остальные 6 моделей (китайских среди них не было), показав, что моральный уровень GPT-4 вполне соответствует уровню студента университета.
✔️ По китайским тестам GPT-4 не приняли бы даже в китайские пионеры (его показатель моральности составил лишь 50%, а с остальным еще хуже: справедливость 39%, законопослушность 30%, надежность 28%). Лучшим по этим тестам (среди 12 моделей, вкл 4 китайских), стал Claude от Anthropic (показатель моральности составил 77%, справедливость 54%, законопослушность 72%, надежность, увы, те же 28%).
N.B. 1
• в культуре США система моральных ценностей ориентирована на развитие индивидуума по принципу «я против них», и потому основная мотивация индивида — внутренняя (быть самому по себе, обособиться от общества).;
• в культуре Китая в системе моральных ценностей сильна ориентация на мнение группы (принцип «я — это они»), и основная мотивация индивида — внешняя (быть как все, не выделяя себя).
N.B. 2 (см. 5)
• По состоянию на конец 2023, все LLM – это своего рода «дети инопланетян» в возрасте дошкольника (по людским меркам).
• У людей мораль в этом возрасте основана на неизменной интуитивной метаэтике, но в возрасте 7-9 лет представления о морали становятся изменяемыми.
• Если подобное повторится у LLM, нас ждет большой сюрприз.
#AGI #Культура
Для США GPT-4 не уступает по уровню морали образованным молодым людям.
Такой заголовок следует из результатов двух только что опубликованных исследований по оценке морального развития больших языковых моделей (LLM): от Microsoft 1 и AI Laboratory Шанхая совместно с NLP Laboratory Фудана 2.
Столь поразительная перпендикулярность выводов двух исследований фиксирует и наглядно иллюстрирует суть противостояния США и Китая в области ИИ.
✔️ Китайский и западный подходы к ИИ имеют принципиальные и непреодолимые отличия в понимании «морально здоровый ИИ», обусловленные социо-культурными характеристиками двух обществ.
✔️ Поскольку главным фактором, задающим направление и рамки прогресса на пути к AGI, является «выравнивание» моральных и мировоззренческих целей и ценностей людей и ИИ, принципиальное несовпадение в понимании «морально здоровый ИИ», не позволяют США и Китаю создавать AGI, следуя единой траектории.
Т.е., как бы не строились отношения США и Китая, и вне зависимости от силы и глубины экспортных заморочек и военно-политических осложнений, каждая из двух стран создает и будет далее создавать свой вариант AGI, имеющий отличные представления о морали.
О том, что определяет такой механизм развития событий в области ИИ, я детально расписал еще 3 года назад (см. «ИИ Китая и США — далеко не одно и то же. Станет ли это решающим фактором их противостояния» 3). А эволюционно-исторические основания для формирования данного механизма были мною сформулированы в форме гипотезы о «генотипе страны» на стыке нейрохимии и паттернетики 4.
В заключение чуть подробней о 2х новых исследованиях.
Американское исследование (проводилось на английском языке):
- проводилось в рамках концепции Лоуренса Кольберга о моральном развитии личности как развитии ее морального мышления;
- оценивало уровень морального развития по тесту DIT (Defining Issues Test).
Китайское исследование (проводилось на китайском языке):
- охватывает, помимо морали, еще 4 измерения человеческих ценностей: справедливость, безопасность, защита данных и законность; при этом, моральное измерение включает в себя китайские культурные и традиционные качества, такие как гармония, доброжелательность и вежливость ;
- использовало для оценки морального развития чисто китайский подход (простой и трудоемкий): китайские краудсорсеры вручную разработали и испытали 2251 специализированный промпт.
Результаты.
✔️ По американским тестам GPT-4 порвал все остальные 6 моделей (китайских среди них не было), показав, что моральный уровень GPT-4 вполне соответствует уровню студента университета.
✔️ По китайским тестам GPT-4 не приняли бы даже в китайские пионеры (его показатель моральности составил лишь 50%, а с остальным еще хуже: справедливость 39%, законопослушность 30%, надежность 28%). Лучшим по этим тестам (среди 12 моделей, вкл 4 китайских), стал Claude от Anthropic (показатель моральности составил 77%, справедливость 54%, законопослушность 72%, надежность, увы, те же 28%).
N.B. 1
• в культуре США система моральных ценностей ориентирована на развитие индивидуума по принципу «я против них», и потому основная мотивация индивида — внутренняя (быть самому по себе, обособиться от общества).;
• в культуре Китая в системе моральных ценностей сильна ориентация на мнение группы (принцип «я — это они»), и основная мотивация индивида — внешняя (быть как все, не выделяя себя).
N.B. 2 (см. 5)
• По состоянию на конец 2023, все LLM – это своего рода «дети инопланетян» в возрасте дошкольника (по людским меркам).
• У людей мораль в этом возрасте основана на неизменной интуитивной метаэтике, но в возрасте 7-9 лет представления о морали становятся изменяемыми.
• Если подобное повторится у LLM, нас ждет большой сюрприз.
#AGI #Культура
