Малоизвестное интересное
65.7K subscribers
102 photos
1 video
11 files
1.81K links
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет.




Рекламы, ВП и т.п. в канале нет.
Пишите на @karelovs
Download Telegram
​​Человечество на пути к пропасти AICG, и не видно способа отвернуть.
Сенсационное обращение ИИ-гуру Китая Кай-Фу Ли к мировому сообществу разработчиков ИИ.

В 2023 мир столкнется с риском более серьёзным, чем риски ядерной войны, голода или пандемии. Это риск неотличимости правды от лжи, как для индивидов, так и для социумов любых масштабов.

✔️ Материализация этого риска более вероятна, чем риска гибели миллионов в результате ядерной войны, мирового голода или сверхсмертоносной пандемии.

✔️ Последствия же материализации этого риска окажутся разрушительны для большинства из существующих на Земле цивилизаций (ибо все они имеют в своей культурной основе различие правды и лжи).


Об этом говорил в своем предновогоднем обращении к мировому сообществу разработчиков ИИ один из самых авторитетных в мире ИИ специалистов — Кай-Фу Ли: ученый, венчурный инвестор, человек с головокружительной карьерой (Apple, Silicon Graphics, Microsoft, Google) и автор двух мировых бестселлеров про ИИ.

Технологиями, позволяющими стирать различие правды от лжи, являются технологии AICG (генерация контента с помощью ИИ).

В основе AICG обучаемые на масштабируемых «больших данных» т.н. «базовые модели» ИИ, адаптируемые для широкого круга задач нижестоящего уровня (большие языковые модели, генераторы изображений, звука, видео, 3D ...)
Достигнутый к началу 2023 г. уровень развития AICG уже таков, что в этом году начнется их внедрение в поисковых системах и онлайн торговле товарами и услугами (как коммерческими, так и государственными).

Ключевой особенностью онлайн систем нового типа станет то, что наряду с имеющимися у них возможностями персонализации, у них появятся возможности:
• убедительного обоснования навязываемого человеку выбора, с учетом его персональных предпочтений, вкусов, склонностей, пристрастий и предубеждений;
• представления преимуществ навязываемого человеку выбора в наиболее привлекательном для него сочетании мультимедийных форматов
.

Новые возможности позволят пробивать персональные фильтры критического мышления подавляющего числа людей, склоняя их к выбору, решениям или действиям, выгодным для владельцев онлайн-платформ.
Ну а наличие среди их владельцев (или тех, кто может на них влиять) лиц, не имеющих этических тормозов, будет иметь катастрофические последствия. Осуществляя любой выбор, решение или действие в онлайне, люди не будут различать правду от лжи: действуют ли они по своей воле и собственному выбору или являются объектом манипуляций заинтересованных лиц, втюхивающих им те или иные товары, услуги, идеи, суждения и т.д.

И никакие полномочия правительств не смогут подобное предотвратить уже известными методами.

Кай-Фу Ли считает, что высокая вероятность материализации вышеописанного определяется двум факторами.
1. Непонятно, как контролировать AIGT.
Человечество обладает средствами снижения вероятности известных смертоносных рисков (даже риск ядерного Апокалипсиса остается ограниченным уже полвека из-за наличия у сверхдержав механизма полного взаимного уничтожения).
Новый риск имеет совершенно иной характер, и способы снижения его вероятности пока неизвестны. А способы, работающие для других глобальных рисков здесь будут неэффективны.
2. AIGT обещает столь колоссальную выгоду для технологических гигантов (коммерческую) и правительств (политическую), что противопоставить этому что-либо проблематично.

Кай-Фу Ли полагает, что помешать материализации нового риска уже невозможно. Технологии AICG уже существуют.
И потому мировому сообществу разработчиков ИИ необходимо срочно направить максимальные усилия на поиск способов минимизации вреда при широком распространении AICG.

Об этом же см. мои недавние посты 1, 2, 3, 4

#AICG
​​Ложь и пропаганда станут повсеместны, неопределимы и непреодолимы.
Как будет выглядеть падение человечества в пропасть
AICG.
Опубликован большой отчет Center for Security and Emerging Technology, OpenAI и Stanford Internet Observatory «Генеративные языковые модели и автоматизированные операции влияния: ввозникающие угрозы и потенциальные меры по их смягчению». Отчет содержит стратегическую аналитику катастрофического сценария, описанного в обращении Кай-Фу Ли к мировому сообществу разработчиков ИИ.

Напомню читателям. Перед самым НГ ИИ-гуру Китая Кай-Фу Ли рассказал, что уже в 2023 мир столкнется с риском более серьёзным, чем риски ядерной войны, голода или пандемии.
Это риск того, что технологии AICG (генерация контента с помощью ИИ) сделают неотличимыми правду и ложь, как для индивидов, так и для социумов любых масштабов.

Новый отчет расписывает в деталях, как, скорее всего, будет происходить процесс падения человечества в пропасть AICG.

Кардинально изменятся:
✔️ Доступность и эффективность любых операций влияния (как на индивидов, так и на социумы)
✔️ Три ключевых фактора появления, распространения и принятия лжи за истину в мире:
• акторы, ведущие кампании пропаганды лжи;
• способы и тактика такой пропаганды;
• пропагандистский контент


В результате применения все более совершенных больших моделей, LLM и ИИ-генераторы образов станут:
• более удобными для использования (упрощая их применение в операциях влияния),
• сильно надежными (уменьшая вероятность того, что модели выдают выходные данные с очевидными ошибками)
• и сильно эффективными (повышая экономическую эффективность применения LLM и ИИ-генераторов образов для операций влияния).

Как будет происходить этот прогресс, иллюстрирует рисунок, сопровождающий данный пост.
✔️ Вверху: как с 2014 по 2021 менялось качество фейковых образов людей, генерируемых моделями.
✔️ Внизу: как в 2022 произошел революционный прорыв, в результате которого стала возможна предельно точная и убедительная генерация чего-угодно (например, фейковых образов по таким описаниям «Енот в официальной одежде с цилиндром, тростью и мешок для мусора. Картина маслом в стиле Рембрандта (результат слева) и Ван-Гога (справа)».

Итогом (1) предельного упрощения процесса стирания границы правды и лжи в сочетании с (2) неспособностью критического мышления людей бороться с ИИ-пропагандой, - станет доминирование и в политике, и в бизнесе повсеместных, неопределимых и непреодолимых операций влияния.
#AICG #РискиИИ
​​Цифрообезьянья лапа.
Мир обретает черты сверхъестественного хоррора.

Ярчайшим примером этого жуткого жанра стал знаменитый рассказ Уильяма Джекобса «Обезьянья лапа». В этой истории, владельцу обезьяньей лапы даются три желания, но за их исполнение и вмешательство в судьбу приходится платить огромную цену.
За 120 лет с написания рассказа по нему поставлено много пьес, фильмов и сериалов. Ибо его идея столь же вечна, как и ужасна: люди редко способны предвидеть страшные последствия исполнения своих желаний.

В 21 веке человечеству особенно крупно не повезло. За пару десятков лет, перепрыгнув в цифровую эпоху глобальной сети, люди возжелали по-крупному.
Захотелось сделать жизнь легкой и приятной, переложив на компьютерные алгоритмы трудоемкую и нудную работу:
1) по поиску информации и принятию повседневных решений;
2) по просеиванию и оценке разрастающихся до неохватности океанов информации о новостях, общественной жизни, науке, культуре и т.д.


К 2023 стало ясно, что оба желания исполняются. Но в следствии этого, мир сталкивается с колоссальной засадой - новой обезьяньей лапой. На сей раз, - цифровой.

Платой за исполнение желаний стали два абсолютно новых глобальных риска, путей преодоления которых (хотя бы теоретических) пока не видно.
1. Риск насыщения медиасреды алгоритмами, забирающими на себе все больше функций обработки информации и принятия решений (что будет из поколения в поколение требовать все новых апгрейдов когнитивных гаджетов людей, превращая их в инфоргов (см. мой пост «Превращение в инфоргов»).
2. Риск неотличимости правды от лжи, ослабляющей иммунитет критического мышления и делающей нас предельно уязвимыми перед алгоритмической пропагандой (см. мой вчерашний пост).

Поскольку способы минимизации этих рисков пока неизвестны, а прогресс IT технологий продолжается, получается, что цивилизация движется к пропасти, отвернуть от которой она не может.

Об этот мой часовой видеорассказ на канале Бориса Бояршинова.

P.S.
1. Название этого видео «Искусственный интеллект превратит человека в обезьяну!» - метафора для кликбейта. Если же не гнаться за кликбейтом, то куда более точная метафора – «цифрообезьянья лапа».
2. В самом конце видео у меня, к сожалению, произошла оговорка (к счастью, не меняющая смысла сказанного). Названные мною 500+ тыс фильмов – это общий пул фильмов для просмотра (ведь выбирая, что посмотреть, мы ориентируемся на общий пул, а не только на фильмы года). К этому нужно добавить пул сериалов – 800+ тыс. Получается более 1.3 миллионов. Если, выбирая что посмотреть, потратить на каждый пункт этого списка всего 1 мин, то занимаясь выбором полный рабочий день, потребуется около 10 лет. Отсюда и сделанный мною вывод - для человека выбор такого масштаба никак не подъемен, и без алгоритмов здесь не обойтись.
3. О разновидностях рисков цифрообезьяньей лапы я пишу уже не первый год (напр. см. здесь и здесь).
#AICG #РискиИИ
Китай уступает США право прыгнуть в пропасть первым.
Генеративного ИИ без лицензии в Китае не будет.

Главный убойный аргумент против введения госрегулирования генеративного ИИ (типа GPT и Stable Diffusion) в США – этого нельзя делать, поскольку тогда Китай догонит и обгонит США в этой самой ценной технологии, придуманной человечеством за всю свою историю.
✔️ Ведь генеративный ИИ скоро перекроит все (!) сферы применения IT во всех (!) отраслях, заменяя людей «кентаврами людей и ИИ» (смотри только вышедший отчет Sequoia Capital)
✔️ Генеративный ИИ - это бизнес колоссального объема, который будет ежегодно удваиваться в ближайшие 5 лет, втрое быстрее, чем все остальные сегменты мирового рынка ИИ (см. только вышедший отчет China Insights Consulting)

Следуя логике Google (и наперекор логике OpenAI), многие влиятельные политики США категорически возражают против лицензирования генеративного ИИ, дабы не дать Китаю возможности догнать и перегнать себя в этой ключевой области.

Но вот что делает Китай.
Чжуан Жунвэнь (директор Управления киберпространства Китая), отвечающего за регулирование генеративного ИИ, вчера заявил следующее.
1. Генеративный ИИ способен влиять на все аспекты жизни общества и повседневной жизни отдельных граждан.
2. Тем самым он создает новую огромную проблему для управления государством и обществом.
3. Поэтому, прежде чем генеративный ИИ будут широко применяться, «нам нужно убедиться, что он надежен и управляем».
4. Для этого ВСЕ алгоритмы генеративного ИИ, планируемые для широкого применения обязаны пройти лицензирование.
И уже опубликован список из 41 (!) алгоритма генеративного ИИ, которые обязаны пройти лицензирование в Управлении киберпространства Китая.
На этих алгоритмах работают все (!) 79 китайских LLM генеративного ИИ, имеющих более 1 млрд. параметров (подробней см. в отчете «Китайский ”ураган” больших моделей».

Решение Китая радикально затормозить внедрение у себя генеративного ИИ, по сути означает, что Китай отказывается от первенства во внедрении этого класса технологий.

Единственным основанием этого может быть признание Китаем, что риски быть первым в массовом внедрении у себя генеративного ИИ, существенно превышают потенциальную выгоду от его внедрения.

Это значит (с учетом потенциальной потери прибыли в сотни миллиардов долларов, сулимой широким внедрением генеративного ИИ), что Китай, скорее всего, пришел к выводу, о котором я писал еще полгода назад:
✔️ Человечество на пути к пропасти AICG;
✔️ Не видно способа, как от пропасти отвернуть.
✔️ Так пусть США хотя бы прыгают в нее первыми.


#AICG #Китай #США
Не роботы отнимут у вас работу, а аватары.
До полумиллиона стримеров Е-коммерции Китая скоро могут потерять работу.

Не только генералы всегда готовятся к прошедшей войне. То же самое делают и большинство бизнес-аналитиков, прогнозируя рынок труда ближайшего будущего. Мысля шаблонами 20-го века, они пишут о скорой потере работы водителями и рабочими-сборки, финансистами и юристами … А практика 21 века свидетельствует о другом.
Ибо, вступив в эпоху сингулярности (а это уже произошло задолго до прогнозировавшегося 2045), мир меняется непредсказуемо быстро по непредсказуемым направлениям.

Так в Китае под угрозой быстрой потери работы оказалось около полумиллиона человек, работающих стримерами Е-коммерции. Они общаются с огромной аудиторией онлайн в ходе интернет-стримов, исподволь продавая своим поклонникам и просто интересующимся разнообразные товары и услуги.

С развитием цифровой экономики Китая (где Интернетом пользуются ¾ населения – более 1 млрд людей), новая бизнес-модель livestream shopping в последнюю пару лет бьет рекорды роста популярности и продаж. Сейчас этот сегмент рынка Е-торговли Китая (более 5 трлн долларов) приближается в 10% - это около 0,5 трлн долларов (примерно в 10 раз больше, чем весь рынок розничной Е-торговли России).

В сегменте livestream shopping Китая работает около 0.5 млн человек: более 1К мегаинфлюэнсеров национального уровня и сотни тысяч инфлюэнсеров локальных аудиторий. Но даже локальный инфлюенсер, с учетом затрат на студию и трансляцию, обходится в десятки тысяч долларов в год.
Аватары –цифровые копии инфлюенсеров, - с учетом всех затрат на их производство и эксплуатацию, стоят на порядок меньше. А революция генеративного ИИ предполагает, что способность убеждать людей купить товар будет у аватаров на порядок выше, чем у их белковых оригиналов. Т.о. аватары очень скоро станут примерно в 100 раз эффективней людей в индустрии livestream shopping.

В Китае такая перспектива уже стала предметом панических настроений среди стримеров Е-коммерции. Но это лишь первая ласточка в начинающемся нашествии генеративных ИИ аватаров на рынок труда. С переходом в Метавселенную, процесс станет тотальным.

Причем, наперекор даже таким выдающимся визионерам, как Кай-Фу Ли, наибольшее преимущество генеративных ИИ аватаров перед людьми будет основано на их суперспособностях играть на тонких душевных струнах человеческих отношений. Ибо это и есть супер-оружие разума генеративного ИИ, против которого пока не придумано защиты: ни эволюцией Homo sapiens, ни современной наукой и технологиями людей.
#Китай #Екоммерция #AICG
​​«Глубокая фальшивая любовь» - развлечение на базе технологической пытки.
За что платят $900К продукт-менеджерам на удаленке.

«Вероятно, вы доживете до того дня, когда сможете увидеть рукотворные ужасы, выходящие за рамки вашего понимания» - сказал великий Никола Тесла на первой выставке электротехники в сентябре 1898 года. Спустя 125 лет мы дожили до этого.

Мир шоу-бизнеса креативен и прагматичен. Пока исследователи ИИ, политики и общественность спорят о моральных аспектах начавшейся революции генеративного ИИ, шоу-бизнес уже вовсю зарабатывает на нем.

О том, много ли уже зарабатывает, - можно судить по зарплатам в объявлениях о найме китами этого бизнеса Netflix и Disney:
• технарь по генеративному ИИ - до $650K
• продукт-менеджер платформы машинного обучения (можно на удаленке) - до $900K.

О том, на чем зарабатывают, можно сказать по-разному. Например (ссылки не привожу, дабы не перегружать) на:
• «рукотворном ужасе» и «самом жестком шоу на ТВ»
• «глубокой фальшивой науке, стирающей грань между правдой и ложью»
• «развлечении в форме технологической пытки»
• «антиутопическом кошмаре, где Бога не существует»
• «абсурдном оскорбительном развлечении на основе мошенничества и дезинформации»
• «встраивании реальных людей в порно без их согласия».

Речь о новом реалити-шоу Netflix «Глубокая фальшивая любовь» - «Deep Fake Love») – восьмисерийной психологической пытке пяти пар, находящихся в серьезных отношениях (некоторые из них помолвлены, а другие вместе уже много лет). У каждой пары есть две общие черты: их партнерские отношения несколько натянуты, и они не знают, во что ввязываются, решив принять участие в откровенно ужасающем шоу.

✔️ В первом эпизоде пары разделяют и отправляют в разные пансионаты под названием «Марс» и «Венера», полные одиноких людей, многие их которых готовы на все за свои 15 минут позора.
✔️ В конце каждого дня участнику показывают видео измены его/ее партнера, которые могут быть правдой или дипфейком.
✔️ По ходу сериала, дипфейки становятся все более непристойными, а ИИ используется для создания иллюзии полноценного секса.
✔️ Наживкой для зрителей становится наблюдение за реакцией людей, которые видят, как их партнеры им изменяют, разрушая их и без того хрупкое доверие. В отличие от участников, зрители в курсе дипфейков. Им даже показывают подоплеку фальшивых замен участников на актеров: на половине экрана - ведущего себя невинно участника, а на второй – беснующегося актера, на внешность которого «натягивается» внешность участника.
✔️ На кону приз в размере 100 000 евро, о котором участники не знают. Он присуждается вовсе не на основе верности или доверия. Вместо этого, победителями станет пара, которая сможет расшифровать наибольшее количество видео как настоящие или фейковые.

Реакция медиа на это шоу довольно однозначная.
• «Deep Fake Love — это не просто эксперимент по нанесению абсолютно ненужного психологического ущерба личной жизни участников, но и создание мрачного прецедента для будущего ИИ»
• «Если мусорный телевизор — это пол, то Deep Fake Love — в подвале»
• «Deep Fake Love - душераздирающий и крайне интересный тест использования технологий, но его видео следовало оставить в монтажной и никогда не показывать на ТВ»

Зато какая реклама от всей этой шумихи!
Так что ожидайте. Полагаю, что скоро и у нас подобный концентрат мусора появится, и не на одном канале. Лицензию ведь теперь покупать не нужно. А шоу о суровой повседневности и приветов от Андреев давно пора разбавлять высокотехнологичной «генеративной клубничкой».

Ох и не зря я свой первый пост этого года назвал «Человечество на пути к пропасти AICG, и не видно способа отвернуть». Всё к тому и идет 🥹
#AICG
​​Цифрообезьянья лапа ChatGPT уже портит наши «когнитивные гаджеты».
Рандомизированное исследование зафиксировало ослабление иммунитета критического мышления в результате использования ChatGPT.

Исследование «ИИ неэффективен и потенциально вреден для проверки фактов», проведенное «Обсерваторией социальных медиа» под руководством Заслуженного профессора Филиппо Менцер (чинов и званий не счесть) подтвердило мой прогноз, опубликованный в начале года в посте «Цифрообезьянья лапа. Мир обретает черты сверхъестественного хоррора».

Исследователи впервые смогли проверить в ходе рандомизированного эксперимента, как использование ChatGPT для факт-чекинга влияет на работу наших «когнитивных гаджетов» критического мышления.

Площадкой эксперимента стала соцсеть. Здесь участники репрезентативной выборки из 1.5К+ человек:
• использовали или НЕ использовали ChatGPT для факт-чекинга заголовков политических новостей;
• в зависимости от того, что им говорил их «когнитивный гаджет» критического мышления,
- верили или не верили заголовкам;
- делились или не делились новостью.
А исследователи проверяли:
• насколько хорош ИИ в факт-чекинге при анализе ложных и правдивых новостей;
• как влияют результаты ИИ факт-чекинга на то:
- поверил человека в новость или нет;
- стал ли он ею делиться или нет.

Основных результатов три.
1. В целом, ChatGPT уже неплохо справляется с факт-чекингом:
- с проверкой истинности ложных заголовков новостей все отлично: 90% выявил и лишь в 10% не уверен.
- с правдивыми новостями похуже: лишь 15% точно выявлены, 20% ложных срабатываний (якобы это фейки), 65% разной степени неуверенности (то ли правда, то ли ложь).
2. Но ценность п. 1 сводится на нет тем, что использование людьми ИИ факт-чекинга существенно не влияет
- ни на способность людей распознавать правдивость заголовков (на приложенном рис. слева),
- ни на их желание поделиться правдивыми новостями (на рис. справа).
3. Более того, все еще хуже - проведение ИИ факт-чекинга наносит несомненный вред, беря на себя часть работ (а то и всю работу), ранее выполняемых «гаджетами критического мышления» людей:
- ИИ уменьшает веру людей правдивым заголовкам, когда ошибочно помечает их как ложь;
- ИИ увеличивает веру в ложные заголовки, когда отмечает их, возможно, правдивыми или нет.

В резюме исследования авторы указывают на важный источник потенциального вреда, исходящего от приложений ИИ, предлагающих людям факт-чекинг.

От себя добавлю, что это слишком мягкий вывод.
Ведь неявный ИИ факт-чекинг всего через полгода будет окружать нас повсюду: от поиска и справочных систем до офисных приложений, от рекомендательных сервисов всех типов до персональных ассистентов …
И если результаты исследования подтвердятся в ходе пир-ревю и повторных экспериментов, это будет означать, что
деградация «когнитивных гаджетов» людей, в результате передаче ИИ когнитивных функций критического мышления, не требует смены поколений, а начинается немедленно при использовании ИИ (примерно так же, как деградировал «гаджет устного счета» с распространением всевозможных калькуляторов и один из «гаджетов памяти» с появлением у каждого своего сотового аппарата).

#AICG #РискиИИ