Малоизвестное интересное
65.9K subscribers
103 photos
1 video
11 files
1.81K links
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет.




Рекламы, ВП и т.п. в канале нет.
Пишите на @karelovs
Download Telegram
Сейчас все экспертные ресурсы брошены на текущую аналитику борьбы с пандемией. Всех волнует лишь будущее ближайших месяцев. До того, как мировая пандемия будет остановлена, никому не будет дело «что потом». Посему столь ценны сейчас серьезные наработки пост-пандемийных сценариев, созданных еще в «прежнем мире», когда были время, деньги и возможности этим заниматься. Ибо сейчас их нет, и скоро не появятся.

Самый похожий на происходящую сегодня мировую пандемию сценарий был разработан 10 лет назад. Из него следовало, что эта пандемия – вовсе не «черный лебедь». Она, так или иначе, неизбежна на горизонте всего лишь нескольких лет.
Ну а дальше все было, как всегда. Почти все страны забыли (или «забили») про этот сценарий. И лишь несколько стран разработали на его основе свои национальные планы действий. Кто это сделал – сегодня уже видно. Кто «забил», - тоже.

Но самое интересное, - что в этом сценарии локдауны продолжались менее года. А потом начался локстеп, который затянулся еще на 19 лет и кардинально поменял траекторию развития цивилизации. Что это - локстеп, почему он не лучше коронавирусных локдаунов, и куда он ведет, - мой новый пост на 6 мин. чтения:
- на Medium https://bit.ly/2JlkEb6
- на Яндекс Дзен https://clck.ru/MhDVq

#БольшойБрат #БольшиеБоги #ЦифровойАвторитаризм
Пока важные новости о пандемии отвлекают меня от завершения трилогии «Большой брат – сын Большого бога», коллеги из «Эксперта» удаленно обсудили со мной эту тему. Получилось хоть и сумбурно, но зато довольно лаконично для столь обширной и сложной темы. Посему рекомендую.

“Приготовьтесь читать очень страшный текст о том, почему цифровой контроль неизбежен, а вы или ваши ближайшие потомки скоро лишитесь свободы выбора и свободы воли добровольно, даже не очень заметив этого.

Эволюция привела нас к какому-то новому огромному скачку сложности мира. Мы все чувствуем быстро растущую неопределенность даже собственных поступков, не говоря уже о поступках и решениях правительств, мэров, всевозможных быстро возникающих социальных групп — «желтые жилеты», MeToo, «Я/Мы Иван Голунов», а скоро к ним прибавятся и организованные в группы умные устройства.

Как ответит человечество на эту сложность и потерю управляемости? Сможет ли оно опереться на нынешние представления о морали или потребуется внести кардинальные изменения в эти понятия? Надо ли считать изменение рамок приватности и конфиденциальности достаточно большой угрозой более широким представлениям о добре и зле, чтобы отстаивать их, несмотря на риск разрушить мир? И наоборот, отказавшись от приватности и конфиденциальности, мы действительно откажемся от добра и свободы выбора и таким образом создадим бо́льшую угрозу человечеству, чем несет в себе растущая сложность? И неужели наука не в состоянии решить эти проблемы, не разрушая наши моральные принципы? И разве политики не должны найти в себе волю ограничить рост сложности, раз угрозы столь велики?

Нет. Вы не найдете ответов на эти вопросы в этом тексте. Но вы их себе с тревогой зададите.

Интервью с Сергеем Кареловым экс-топ-менеджером международных ИТ-компаний IBM, SGI, Cray, независимым экспертом, ведущим авторского научно-популярного канала «Малоизвестное интересное»”.


Продолжение на страницах журнала «Эксперт»
https://expert.ru/expert/2020/25/bolshoj-brat-kak-naslednik-bolshih-bogov/

Первые две части трилогии «Большой брат – сын Большого бога»:
1я часть
- на Medium http://bit.ly/2X3ppiO
- на Яндекс Дзен https://clck.ru/Gjshp
2я часть
- на Medium http://bit.ly/2mSjcoK
- на Яндекс Дзен https://clck.ru/JKH7Z

3я часть, надеюсь, скоро будет.

#БольшойБрат #БольшиеБоги
Привыкая к мысли о неизбежности тотального цифрового контроля, мы успокаиваем себя ограниченностью его возможностей.
• Подумаешь, Большой Брат может обнаружить меня среди протестующих по геолокации смартфона, — но ведь его можно и дома оставить.
• Подумаешь, ББ может распознавать лица демонстрантов, — но поди найди среди тысяч часов видеозаписи момент, когда я бросил в космонавта пластиковый стаканчик.
Старый «китайский подход» — решать проблемы числом, а не умением, усадив за анализ видео армию «видеоаналитиков», имеет массу недостатков. А при масштабировании наблюдения за пределы отдельных «горячих точек» и, тем паче, на весь мегаполис и страну, «китайский подход» вообще не реализуем, — слишком много нужно «видеоаналитиков» и, следовательно, слишком высока стоимость технологии наблюдения.

Так может ИИ в состоянии решить эту проблему, взяв на себя автоматизированный поиск, так сказать, «потенциальных правонарушителей»?

Мы успокаиваем себя, что это не под силу современному ИИ, умеющему решать лишь задачи статистического распознавания паттернов (в изображениях, текстах, речи и т.д.), но ни черта не понимающему, что он распознает. Он может распознать в потоке речи редкие слова, известные лишь немногим (типа, Frankenfood — генетически модифицированные продукты). Но при этом, на вопрос «How many legs does a centipede have» (сколько ног у сороконожки), ответ может быть и 4, и 8, но уж никак не 30 или 382.

Конечно, и этот ничего не понимающий ИИ можно научить распознавать что угодно. Но для этого нужно, чтобы его научили. А для обучения нужно иметь море размеченных данных (например, тысячи фото кошек с пометкой для ИИ, что это кошка, и тысячи фото собак, людей, птиц и т.д. с пометкой, что это не кошка).
Когда же встает задача, научить ИИ распознавать факт бросания в космонавта пластикового стаканчика, нужно загрузить на вход ИИ тысячи таких сцен.
Но и после того, как ИИ научится это делать, он не сможет распознать, когда в космонавта бросят урну (она же совсем не похожа на стаканчик).

Казалось бы, нам можно расслабиться. ББ далеко не всеведущ, хоть и научился распознавать наши лица.
Но тут появляется Большой Брат — 2, умеющий автоматически распознавать, что люди делают: стаканчик в космонавта бросают, урну или заточенную копьём арматуру. И не только это, но и вообще что угодно: закурил не там, где можно, или пописал в неположенном месте, — да мало ли что еще.

Продолжить чтение (еще 2 мин):
На Medium https://bit.ly/3ddTZcE
На Яндекс Дзен https://clck.ru/P7Xee
#БольшойБрат
​​«Большой Брат—2» уже наблюдает
Пару недель назад я написал пост про «Большого Брата—2», который еще не всеведущ, но знает о вас куда больше, чем вы думаете. Он умеет автоматически распознавать, что люди делают: стаканчик в космонавта бросают, урну или заточенную копьём арматуру. И не только это, но и вообще что угодно: закурил не там, где можно, или пописал в неположенном месте, — да мало ли что еще.

Эту систему (пока что лабораторную) сделали кудесники из Amazon Go, тем самым доказав, что ИИ в состоянии решить проблему автоматизированного поиска «потенциальных правонарушителей».

Но Китай не был бы Китаем, если бы ответка американцам не прилетела мгновенно. И какая ответка! «Большой Брат—2» в Китае работает уже не в лабах, а в промышленной эксплуатации.

Пятеро молодых ребят из шанхайского НИИ сделали по заказу крупного девелопера систему социального контроля поведения в лифтах в реальном времени. Система автоматически выявляет (сама!) любую «ненормальную активность» в лифтах, - т.е. если люди делают что-то не то, что обычно делается в лифтах. Это может быть что угодно: торговля наркотиками, проституция, сексуальное домогательство, хулиганство … Или что-то не столь очевидное, но подозрительное – например, слишком много человек проживает на каком-то этаже (прямо мечта Собянина).

В настоящее время система развернута и обкатывается вживую на 100 000 лифтов. Заказчик не нарадуется. Система стучит на жителей весьма креативно. Например, настучала, что служба общественного питания работает из квартиры (что запрещено).

Это значит, что теперь возможна автоматическая идентификации любого, кто отклоняется от какой-либо нормы. И это очень перспективно для авторитарных режимов.

На приложенной картинке интерфейс инспектора, наблюдающего за работой системы.
#БольшойБрат #Китай
​​Сколько стоит конфиденциальность и приватность, от которых мы отказываемся в пользу техно-ништяков?

Мало стоит 😣
Впрочем, так было всегда, - мода, функциональность и удобство новых технологий всегда ценились людьми выше, чем негативные последствия от их использования. Телефон куда проще прослушать, чем ваш очный разговор со знакомым. Электронную почту легче и эффективней перлюстрировать, чем бумажные письма. Но многие ли отказываются от телефона и е-почты, желая оградить свою приватность и сохранить конфиденциальность?

Самое неприятное, что тренд на тотальное уничтожение приватности и конфиденциальности частной жизни основан не только на интересах двух «Больших братьев» - спецслужб и ИКТ-мегакорпораций. Вторым и не менее важным фактором является слабость человеческой натуры. Для большинства ценность новых техно-ништяков куда выше стоимости потери личной конфиденциальности и приватности. Тем более, что большинство просто не представляют той изощренной легкости, с который хакается их личная жизнь.

Вот новый характерный пример – камеры домашней безопасности.
Миллионы людей устанавливают их у себя дома для наблюдения за тем, что там происходит в их отсуствие. Кто для контроля детей, кто, полагая таким образом отпугнуть грабителей. Но вот ведь незадача.

Новый отчет, озаглавленный «Your Privilege Gives Your Privacy Away: An Analysis of a Home Security Camera Service», как ушат холодной воды на голову тех, кто полагает будто камеры домашней безопасности увеличивают их безопасность.

Оказывается, что наличие в доме таких камер существенно повышает безопасность грабителей, т.к. позволяет им легко отслеживать, когда в доме никого нет.
Причем грабителям даже не нужно заморачиваться с просмотром гигобайтов видео. Им достаточно лишь взглянуть на объем передаваемого видео, который ощутимо увеличивается, если камера зафиксировала в доме движение. То есть грабители могут полностью автоматизировать мониторинг присутствия людей в домах и квартирах всех потенциальных жертв лишь по объемам исходящего видеопотока.

Как пишут авторы отчета, не все грабители столь технопродвинуты. Но вряд ли кто сомневается, что универсальные программы мониторинга квартир на основе видеопотоков домашних камер уже разрабатываются профессиональными программистами по всему миру.

И как вам это? Откáжетесь теперь от камер домашней безопасности?
Сомнительно. Ибо просто так этот рынок с объемом, приближающимся к $1,5 млрд, его интересанты не сольют в унитаз. Тем более, что за брендами - лидерами рынка Xiaomi и Nest, - просматривается интерес Google. А кто сможет противостоять рекламным возможностям «бури и натиска» Google?
Тем не менее, CNN давеча обратилась к Xiaomi и Nest за объяснениями.
#БольшойБрат
​​Перейдет ли мир на китайский техно-авторитарный проект.
Безопасная жизнь в обмен на свободу и конфиденциальность.

По классификации V-Dem политические режимы бывают 4-х типов: либеральная демократия, электоральная демократия, электоральная автократия и закрытая (нереформированная) автократия (кто есть кто по этой классификации, см. карту на рисунке).
Стратегия борьбы с пандемией, как показала жизнь, сильно зависит от политического режима. Ключевым индикатором здесь является готовностью государства нарушать де-факто стандарты демократии, измеряемая «индексом ответной реакции на пандемию» - Pandemic Response Index – см. горизонтальные столбики на рисунке).
• У автократий этот индекс высок, - они запросто идут на всевозможные ограничения свобод и конфиденциальности.
• У демократий – наоборот: общество всячески ограничивает государство при попытках ограничить де-факто стандарты гражданских свобод и конфиденциальности.

Столь разный подход не может не сказываться на результатах борьбы с пандемией. И хотя эти результаты зависят много от чего (культурные нормы, возрастной состав и т.д.), ответные меры государства – один из, если ни самый важный фактор в распространении пандемии.
Прокси результата борьбы с пандемией – обусловленная COVID-19 смертность на миллион населения, - на рисунке показана вертикальными столбиками на примерах нескольких стран.
• Наилучший результат у закрытых автократий, среди которых наиболее характерен и успешен техно-авторитарный подход Китая.
• У либеральных демократий показатель втрое хуже.
• У обоих типов электоральных режимов показатели на порядок хуже (а наихудшие – у электоральных автократий, к коим, по классификации V-Dem относится и Россия).

Вопрос о том, велики ли шансы, что весь мир перейдет на китайский техно-авторитарный подход борьбы с пандемиями, чрезвычайно важен. Только что опубликованный анализ данного вопроса «Surveillance, Security, and Liberal Democracy in the Post-COVID World» фиксирует следующее.
1. Пандемия в значительной степени усилила существующие тенденции, а это означает, что автократии обоих типов реагируют на пандемию еще большим ущемлением прав граждан и низвержением прав на конфиденциальность.
2. Слабые демократии сталкиваются с нарастающим риском демократической эрозии и связанной с пандемией автократизации.
3. Лишь у крепких консолидированных демократий есть шанс не поддаться искусу в той или иной мере последовать техно-авторитарной модели Китая.
Так что шансы человечества пожертвовать свободой и конфиденциальностью за безопасность – весьма значительны.
Ну а когда к риску новых пандемий добавится осознание уже известных, но пока игнорируемых глобальных рисков, перед китайским вариантом ответа на глобальные риски могут не устоять даже консолидированные демократии.

Нарастание сложности ведет к росту неопределенностей и глобальных рисков. Найдет ли человечество какой-то иной вариант выживания, кроме китайского «Большого брата - сына Большого бога», обменивающего свободу и конфиденциальность людей на их безопасность, - не известно.

Источники информации рисунка: 1, 2
#ПостнормальныйМир #Китай #БольшойБрат #БольшиеБоги
Превращение ИИ в АК-47.
SeekNet – мать SkyNet, ведет нас к Большому Брату – сыну Большого Бога.

Самая серьезная и непростительная ошибка большинства экспертов по ИИ, футурологов и стратегических аналитиков - их видение потенциальных проблем ИИ лишь в средне-далекой перспективе десятков и более лет. Эта ошибка может дорого стоить человечеству, поскольку главная потенциальная проблема ИИ уже существует и, экспоненциально укрепляясь, растет со страшной скоростью.
Устранить ее через десяток-другой лет будет столь же трудно, как устранить из сегодняшнего мира самое эффективное оружие массового убийства людей – автомат Калашникова АК-47.

Эта проблема – быстрое удешевление ИИ систем.
В сочетании с биологической сущностью самого агрессивного, хитрого и властолюбивого животного, дешевый ИИ уже в ближайшие годы превратит Большого Брата в главный инструмент, определяющий политику, экономику, социальную жизнь общества и повседневную жизнь индивидов. Тем самым ИИ, на новом витке технопрогресса, повторит эпохальную судьбу автомата Калашникова, ставшего национальным символом 5-ти государств третьего мира.
Но ИИ куда мощнее АК-47. И для него, что страны 3-го мира, что США с Китаем, — все одно.

Комодизация ИИ (типа умных колонок и т.п.) только кажется благом. Ведь современный ИИ (а вовсе не общий ИИ неблизкого будущего) способен показывать поразительную мощь в решении задач, требующих вычислений. Но это пока очень дорого. И только потому еще не делается в массовом порядке. А как только сильно подешевеет – тут же сделают (и ничьего разрешения просить не потребуется).

Ну а в первую очередь, будет сделан SkyNet. Только будет он вовсе не голливудским бредом про спонтанное превращение слабого ИИ в сильного, а самым востребованным в пост-ковидном мире инструментом тотального общественного контроля. Тем самым, что я именую Большой Брат – сын Большого Бога.

И в доказательство того, что все это вполне реально и совсем рядом, - вот прекрасный пример.
Разработана система SeekNet – вполне заслуживающая стать матерью SkyNet. Это система наблюдения и контроля, способная уже не просто на тупое распознавание номеров или лиц, а на самостоятельное (!) слежение и контроль за людьми. И сделано это (кто бы сомневался) для контроля в людных местах за людьми с симптомами COVID-19.

Продолжение поста (еще на 3 мин) с деталями SeekNet можно прочесть здесь:
- на Medium http://bit.do/fLqUZ
- на Яндекс Дзен https://clck.ru/SAafU
#большойбрат #большиебоги #ЦифровойАвторитаризм
Когда в июне 2019-го я начинал цикл статей о «Большом брате – сыне Большого бога», мне казалось, что до возможной материализации этой антиутопии еще, как минимум, пара десятков лет. И потому я не спешил с публикацией всего цикла статей, полагая, что спешить некуда.
Однако, пандемия COVID-19 настолько ускорил большинство антиутопических трендов, что тянуть с публикацией серии статей о «Большом брате – сыне Большого бога» уже нельзя. Иначе может статься, что события опередят мои предсказания.
Поэтому я в срочном порядке дописываю данную серию. А поскольку она растянулась уже более чем на 1.5 года, имеет смысл:
• обновить в памяти читателей, какие материалы на эту тему уже были опубликованы;
• и опубликовать в открытом доступе то, что до сих пор было за пейволом.

Вот что уже опубликовано на эту тему

Первые две части серии «Большой брат — сын Большого бога»:
• 1я часть «Большой Брат — сын Большого Бога. Почему его воцарение в мире может быть неизбежным» (Medium, Дзен)
• 2я часть « Почему и когда пришли Большие Боги» (Medium, Дзен)

Другие посты, затрагивающие эту же тему
«Превращение ИИ в АК-47» (Medium, Дзен)
«Перейдет ли мир на китайский техно-авторитарный проект» (Medium, Дзен)
«Подрывные технологии похоронят демократию» (Medium, Дзен)
«ЛЮДИ, БОГИ, БОТЫ» (Medium, Дзен)
«Большой Брат — сын Большого Бога» приходит в наш мир» (Medium, Дзен)
• Интервью изданию Republic, озаглавленное «У нашего общества уже нет всезнающего Большого Бога — люди лишены стимулов к правильному поведению» (Medium, Дзен)
• Интервью журналу «Эксперт», озаглавленное «Большой брат как наследник Больших богов» (Medium, Дзен)

#БольшойБрат #БольшиеБоги
Предвидение преступлений и мыслепреступлений.
Глобализация Большого Брата на марше.

Медиа ежедневно рассказывают нам о холодной войне Китая и США, а также о том, как прогрессивная общественность планеты выступает против экспансии китайского Большого Брата внутри своей страны и по миру.
А тем временем глобальное сотрудничество Китая с компаниями США и Европы в деле построения и совершенствования технологий продвинутой слежки неуклонно растет и активно развивается.
Просто видеонаблюдение, так или иначе, уже освоено всеми странами. И потому на очереди предиктивные системы для замышляемых и даже просто мыслепреступлений – по эмоциям (привет Тому Крузу и «Minority Report», – и 20-ти лет не прошло).

Со стороны Китая работы финансируются и координируются China Electronics Technology Group - крупнейшей китайской военно-технологической корпорацией (персонал 180 тыс., активы $50+ млрд примерно равны Госкорпорации Ростех) на 100% принадлежащей государству.
Цель нового проекта: предвидение того, где могут произойти преступления, на основе экстраполяции пространственных моделей прошлого при анализе мультипотока текущего видеонаблюдения, интегрирующего автоматическое распознавание движений и эмоций людей.
Ведущий исполнитель проекта: специально созданная «Национальная инженерная лаборатория (NEL) для приложений анализа больших данных по выявлению, предотвращению и контролю рисков».
Оборудование суперкомпьютерных центров анализа, строится (как это было отработано в Синьцзяне) на чипсетах Intel и Nvidia.
Разработку прототипа планируется выполнить на основе усовершенствованного подхода, используемого американской системой предсказания критических ситуаций PredPol. На финансирование доработки подхода NEL выдала грант великобританской SpaceTimeLab, давно и плотно занимающейся исследованием и разработкой пространственно-временных систем наблюдения, анализа и предсказаний.
Инфраструктура сбора, хранения и обработки данных для этого проекта основана на трёх программных продуктах американской корпорации Oracle, о чем повествует вышедшее на прошлой неделе скандальное расследование TheIntercept. Oracle, естественно, открещивается, говоря, что напрямую с китайской полицией больше не сотрудничает. Но как обходятся все эмбарго, я хорошо и в деталях помню на конкретных примерах обхода еще более драконовских ограничений КОКОМа в конце СССР и начале России.

Сотрудничество Запада и Китая в области инфраструктуры видеонаблюдения двустороннее. Только на прошлой неделе Routers выдал «Эксклюзив: половина лондонских советов обнаружила, что использование китайской технологии слежки связано с злоупотреблениями по отношению уйгуров».

А неделей раньше журналисты Los Angeles Times раскопали историю о продолжении закупок китайского оборудования для наблюдения у компаний, внесенных в черный список США. Оказалось, что Amazon заключила контракт с производителем умных камер видеонаблюдения Dahua (находится в черном списке правительства США), оснащенных программным обеспечением распознавания лиц и расы и самостоятельно связывающимися с полицией, если найдет, например, уйгура. Но видится мне, не уйгуров будет искать полиция Лос-Анжелеса.

#БольшойБрат #Китай
​​От всевидящего ока к всезнающему богу.
Дроны учат ИИ понимать наши действия.

Даже самые крутые из современных систем распознавания лиц, поз и жестов – просто детские игрушки по сравнению с системами слежки ближайшего будущего. Новое поколение таких систем будет всевидящим оком, скрыться от которого будет не просто.
Более того.
Такие системы будут понимать, что мы делаем – гуляем, читаем, удим рыбу, играем на смартфоне, садимся в машину, открываем зонтик и т.д. и т.п. Они будут способны понимать (!) поступки людей и прогнозировать их ближайшие намерения, подобно всезнающему богу.

Все эти фантастические возможности ИИ получит, если обучать его с помощью данный, собираемых специально оснащенными дронами.

Ведь в чем сейчас заминка? Просто не хватает данных, чтобы научить ИИ понимать поведение человека. Откуда бы этим данным взяться? Не посадишь же тысячи волонтеров неделями, например, открывать и закрывать зонт, чтобы ИИ научился распознавать эти два примитивных действия.

Прорывная идея оказалась в том, что можно использовать дроны, которые будут наблюдать за людьми. Причем не просто смотреть на их действия, а видеть эти действия так, как люди просто не могут: меняя углы зрения, широкоугольным охватом объектива «рыбий глаз» (180+ градусов), ночным видением, RGB, в инфракрасном диапазоне и т.д.

Новейшая разработка – система «Дрон-Человек» (UAV-Human) позволяет собирать море данных о любых действиях людей, решая тем самым проблему наборов данных для обучения ИИ. Данные собираются в различных погодных условиях и в различных модальностях (диапазонах), включая съемку в специальных режимах, когда дрон спускается, движется и вращается или зависает на месте.

И вполне может статься, что очень скоро проблем застреленных полицией по ошибке парней станет куда меньше. Ибо убивать будут уже не они. Всевидящее с неба око за миллисекунды распознает не только остроту инцидента с полицией, но и что за штуку потянул из кармана парень с не самым незапятнанным прошлым. Ну а всезнающий бог еще за несколько миллисекунд вынесет приговор и приведет его в исполнение.

На приложенной картинке реальные примеры видео действий в наборе данных «Дрон-Человек». Первая строка показывает различные модальности данных. Второй и третий ряды показывают две видеопоследовательности значительных движений камеры и вариаций вида, вызванных непрерывно меняющимися ориентациями полета, скоростями и высотами. Последние три строки отображают больше образцов действий этого набора данных, показывая различные виды, места захвата, погоду, масштабы и размытие движения.
https://arxiv.org/abs/2104.00946
#БПЛА #БольшойБрат
С 1 июня Сингапур станет мировым полигоном Большого брата.
И все в мире увидят, каким ему быть через несколько лет.

Споры о границах приватности и правах Большого брата в постковидном мире можно заканчивать. Через несколько лет во всех развитых странах будет так, как уже с 1 июня в Сингапуре:
обязательное приложение на телефоне и/или специальный брелок, без которых закрыт вход во все людные места, за исключением маленьких магазинчиков и аптек;
• это приложение (или брелок) отслеживает и пишет в специальную базу данные о перемещениях человека и его «контактах» (всех людях, с кем человек был в пределах 2 метров не менее 30 мин – эти два параметра настраиваемые).


Собираемые данные считаются анонимными. Однако:
1. как только у кого-то появится положительный тест на COVID (скоро в Сингапуре это будет делаться прямо по дыханию), его данные перестают быть анонимными, и все люди, имевшие с ним «контакт», оповещаются об этом (ну и, понятное дело, «компетентные органы»).
2. также возможна передача собираемых данных и полиции, даже при отсутствии у человека положительного теста на COVID (подробней в расследовании Кирстена Хана).

Никто против такой системы особо не возражает, поскольку всех устраивает, что коронавируса в Сингапуре почти нет, и люди жертвуют приватностью, чтоб не болеть.

Общеизвестно, что в госинициативах добровольное легко становится обязательным, а временное - постоянным. Для этого даже не требуются политические решения на высоком уровне. Просто работают сила привычки, инерция и обычная осторожность.
А еще работает фактор «роста функциональности» - тенденции правительств и корпораций объединять отдельные IT системы, создавая тем самым нечто большее, чем функционал составных частей.

Никто ведь, например, не возмущается, что наши лица записываются и распознаются. А потом приходит полиция с наездом об участии в несанкционированной акции.
А сингапурская система еще круче. Совмещая данные о перемещениях с данными о контактах, она открывает такой ящик Пандоры, что о приватности уже можно будет забыть.
#Эпидемия #БольшойБрат
Угробит ли Китай свои инновации, или госмонополия на данные важнее.
Надзорный капитализм может стать спасительной модернизацией ленинизма.

🔹 Наличие океанов данных – один из важнейших факторов лидерства в цифровой экономике 21 века.
🔹 Тотальная слежка - один из важнейших факторов обеспечения несменяемости власти.
В странах с авторитарным режимом (Китай и не только):
1. надзорный капитализм (создание экосистемы тотальной цифровой слежки во благо интересов власти и большого бизнеса) душит инновационный потенциал (что для страны очень плохо);
2. госмонополия на данные позволяет ускорять развитие всего комплекса завязанных на «большие данные» технологий - в первую очередь, это ИИ (что для страны очень хорошо).

В зависимости от того, какой из двух факторов окажется сильнее в условиях конкретной страны, во многом зависит успешность ее экономики и крепость её политического режима.

Разведка и лучшие «мозговые центры» мира бьются над вопросом, какой из двух названных факторов окажется сильнее в Китае. Но данных для точного ответа на этот вопрос пока маловато (да и Китай все активней их прячет).

И все же первое из серии подобных исследований опубликовано - Artificial Intelligence, Surveillance, and Big Data (1).

Его предварительный вывод таков.
Негативные последствия цензуры и слежки в Китае могут быть смягчены – или даже перевешены – положительными эффектами наличия больших объемов доступных данных.

Т.е. получается, что надзорный капитализм может стать спасительной техномодернизацией китайского варианта ленинизма (о которой только что вышла интересная книга Retrofitting Leninism: Participation without Democracy in China (2))

Полагаю, что такой вывод применим не только к Китаю. И если это действительно так, то приход Большого Брата – сына Большого Бога может стать глобальным будущим человечества.
#Китай #НадзорныйКапитализм #ГосмонополияДанных #БольшойБрат #БольшиеБоги
Ссылки 1 2
Тайный язык людей непостижим для ИИ.
Большой брат и цензура в Метаверсе преодолимы.

В 1й в истории битве андроритмов и алгоритмов победа будет за нами.
Китай (и не только он) стремиться взять под контроль властей политические ценности, идеалы и стандарты цифровой социо-коммуникационной инфосреды. Уже сегодня эта среда (Интернет) настолько огромна, что для контроля за ней в Китае работает целая армия спецов. Ну а чтоб держать под контролем бесчисленное множество цифровых миров Метаверса, никакой армии уже не хватит. Это могут сделать лишь специально настроенные и обученные алгоритмы.
Китай первым понял это и начал мобилизацию сетевых алгоритмов. Его примеру последуют и другие страны, узаконивающие уголовку за сетевой контент определенного смысла и тупо табуирующие отдельные фамилии и слова.

Казалось бы, ничто не сможет противостоять колоссальной вычислительной мощи госмашины алгоритмов контроля и цензуры цифровой социо-коммуникационной инфосреды.
И тем не менее, это не так. В 1й в истории цивилизации битве андроритмов и алгоритмов с неотвратимостью победят люди. Ибо мы обладаем тайным языком, не доступным для алгоритмов.

Известно, что люди – уникальный вид из-за наличия у нас развитого абстрактного языка. Он обладает безграничной смысловой мощью, ибо он «открыто-бесконечен» (т.е. обладает свойством ничем не ограниченной открытости для любых изменений, исправлений и дополнений (в английском это open-endedness).
На практике это позволяет:
1) бесконечно расширять язык новыми словами, символами и знаками;
2) бесконечно адаптировать смысл элементов языка и их сочетаний;
3) когда 1-2 недостаточно, строить на основе языка новые метаязыки более высокого уровня абстрагирования.

Алгоритмы же так не умеют. И если по отношению к т.н. «явным коммуникационным сигналам» у алгоритмов сохраняются шансы научиться их распознавать, то в отношении т.н. «скрытых коммуникационных сигналов» (понимаемых лишь «своими» - разделяющими контекст коммуникации) у алгоритмов нет ни шанса.

Как показало новое исследование «Стратегическая передача сигналов идентификации в гетерогенных сетях», поставившее целью экспериментально проверить «Теорию скрытой передачи сигналов» Пола Смальдино:
1) Как только риски и иные связанные с проявлением своей социально-политической идентичности издержки становятся высоки, люди переходят к «скрытым сигналам», которые кодируют информацию таким образом, что ее могут понять лишь те, кто разделяет их взгляды. Т.е. эти сигналы точно воспринимаются целевой аудиторией («своими» - «мы»), но весьма затруднительны для понимания «чужими» - «они».
2) Скрытые сигналы позволяют людям получать выгоду от того, что их идентифицируют «свои», одновременно избегая затрат, связанных с обнаружением себя «чужими». Это происходит за счет того, что общение с использованием скрытых сигналов содержит несколько одновременных смысловых слоев, которые не одинаково очевидны для всех типов получателей. Фоновые знания получателя и восприятие контекста влияют на то, будут ли раскрыты эти слои и каким образом.
3) Если значение некоторых слов или фраз, как маркеров веры, известно только «своим», их использование на публике позволяет говорящему передать сообщение «своим» слушателям («я разделяю ваши ценности»), не засвечиваясь перед остальными (среди которых немало «чужих»).

Т.к. для алгоритмов ИИ тайный язык скрытых сигналов непостижим, исследователи набирали оценщиков для классификации явных и скрытых сигналов среди сообщений Twitter среди людей на платформе Mechanical Turk. Отобрали 2 тыс. оценщиков: примерно по 500 крайне левых, умеренно левых, крайне правых и умеренно правых (определялось их ответами на вопросы анкеты).

Для выявления скрытых и явных твитов оценщики использовали методику Смальдино (чем экстремальней позиция, тем выше доля скрытых сигналов и аффектация).

Как и язык, скрытые сигналы open-endedness. Цензуре и Большому брату с этим не совладать.
https://www.pnas.org/doi/10.1073/pnas.2117898119
#Цензура #БольшойБрат #Metaverse
​​COVID-19 открыл дверь в «Мир Большого Брата».
Кейс китайских вкладчиков, чьи счета заморозили.

✔️ Один из ключевых трендов мирового развития – формирование на Земле «Мира Большого Брата»
✔️ Основные черты грядущего «Мира Большого Брата» можно уже сегодня видеть в Китае.
✔️ Если у мира есть шанс, пусть не избежать, но хотя бы хоть как-то ограничить всевластие Большого Брата, - то людям нужно внимательно наблюдать за происходящем в Китае, мотать на ус и пытаться протестовать против самых отвратительных последствий трансформации социальных, культурных и коммерческих практик в надзорный капитализм Большого Брата.


Вот свежий показательный кейс.
На прошлой неделе сотни вкладчиков китайских региональных банков провинции Хэнань, отправились в столицу Чжэнчжоу, чтобы потребовать доступ к своим счетам, замороженным из-за идущего расследования, связанного с коррупцией.
И вдруг сюрприз-сюрприз: т.н. «коды здоровья» (введенные для борьбы с пандемией приложения для смартфонов, выполняющие функцию типа электронного паспорта с информацией о статусе по Covid-19 и регламентирующие возможность посещения любых общественных мест) протестующих в одночасье стали красными.
Тем самым перед всеми протестующими зажегся красный свет при попытках войти в аэропорт, вокзал, отель, торговый центр и даже небольшое кафе в переулке (как это выглядело в мобильном приложении см. приложенную картинку с примером покрасневшего кода здоровья одного из протестующих вкладчиков).

Этот кейс наглядно показывает, как просто и незатейливо власти могут использовать коды здоровья для любых целей, никак не связанных с пандемией и направленных исключительно на контроль протестов.

В этой связи возникают три важных вопрос.
• Как люди могут защитить свои права, если им присвоен красный код здоровья, в случае подозрения на злоупотребление административными полномочиями?
• Кто несет ответственность за это злоупотребление красными кодами здоровья?
• Исчезнут ли коды здоровья после окончания пандемии?


Эксперты расходятся в ответах на эти вопросы. Мое резюме по прочтению ответов экспертов, такое.
– Считается, что в перспективе такие приложения, как код здоровья, должны будут использоваться лишь во время эпидемий. Однако, выносить решение, есть эпидемия или нет, будут власти, и ничто им не мешает превратить волны пандемий в перманентный процесс (тем более, что все и так к этому идет.
– Спросить с кого-либо за злоупотребление будет не менее трудно, чем спросить с автоматической камеры, выписавшей вам штраф (т.е. можно в теории, но на практике, увы, нет)
– Что же до отстаивания своих прав, то эта ситуация нам хорошо знакома: не нравится – обращайтесь в суд (а как решает суд – тоже известно).

Получается тупик. Единожды отдав свои права и свободу в силу форсмажорных обстоятельств, вернуть их обратно столь же проблематично, как вернуть себе невинность.
А раз так, - здравствуй прекрасный новый «Мир Большого Брата».
Большого Брата – сына Большого Бога. Всевидящего и всезнающего. Кары которого никто не избежит (даже если подаст на него в суд).
Ибо, при построении Рая сверху неизменно получается Ад

Подробней (спасибо Джеффри Дингу за перевод)

P.S. О Большом Брате — сыне Большого Бога (почему его воцарение в мире может быть неизбежным, а также почему и когда пришли Большие Боги) я уже писал в двух лонгридах:
Лонгрид 1
Лонгрид 2
#Китай #НадзорныйКапитализм #БольшойБрат #БольшиеБоги
​​Все под наблюдением и счастливы этим.
Перспективы распространения китайской ИИтократии по миру
.
1) Даже в самом Китае мало кто осознаёт, насколько тотальной там стала ИИ-слежка (алгоритмическое видеонаблюдение с распознаванием лиц) за различными аспектами поведения людей.
По данным People Think Tank (аналитический центр при официальном медиа ЦК КПК «Жэньминь жибао») на июнь 2022 (1):
ИИ-слежка в «умных городах» Китая работает практически повсеместно 24х7: от наблюдения за поведением учащихся в классах до наблюдения в общественных туалетах для контроля экономии использования туалетной бумаги.
Охват населения ИИ-слежкой почти 100%-ный.
99,3% сталкиваются с распознаванием их лица в тех или иных сценариях (51,8% при регистрации в отелях и общественных зданиях, 47% на транспорте, 43,9% при контроле доступа и проверке посещаемости на работе и учебе, 33,5% при контроле входа и выхода в жилые дома …)
Большинство считает, что так и надо.
Таких 70%, и лишь 30% от этого не в восторге. При этом 67% признают, что власти злоупотребляют ИИ-слежкой, а 44.6% считают, что «распознавание лиц само по себе нарушает неприкосновенность их частной жизни и заставляет чувствовать, что за ними наблюдают».

2) ИИ и автократия взаимно усиливают друг друга в результате симбиоза ИИ и тотального наблюдения.
Это подозревали давно, но доказательств не было.
Теперь они есть в результате исследования профессоров Ноама Юхтмана (Лондонская школа экономики) и Дэвида Янга (Гарвардский университет) и их коллег (2, 3).
Анализ обширной базы данных о китайских фирмах, работающих в области ИИ, их контрактов на госзакупки для ИИ-слежки и данных о силе и динамике социальных волнений по всему Китаю в течение последнего десятилетия показал следующее.
Инновации в области ИИ-слежки и автократия могут взаимно усиливать друг друга, когда:
✔️ новые технологии укрепляют власть автократа;
✔️ а спрос автократа на технологию стимулирует дальнейшие ИИ-инновации за пределами областей, приносящих автократу непосредственную пользу;
✔️ с ИИ-слежкой именно так и получается из-за больших данных, доступ к которым получает бизнес с разрешения властей; в результате этого симбиоза и власть, и бизнес в шоколаде, ибо положительная обратная связь между усилением тотального контроля и развития ИИ-технологий устраивает и тех, и других.


Подробней - завтра от самих авторов исследования в рамках онлайн-семинара «Симбиоз ИИ и тотального наблюдения в Китае» проекта Центра стратегических международных исследований и Стэнфордского центра изучения экономики и институтов Китая (4).

3) Что может помешать распространению опыта китайской ИИтократии по миру?
Только активное противостояние со стороны общества.
США может спасти индивидуальная протестантская трудовая этика, делающая акцент на ответственности и правах личности и потому всячески противящаяся любым использованиям ИИ, грозящих нарушением прав человека и размыванию границ его ответственности (5).
На что надеяться социумам, делающим акцент не на личности, а на обществе, и в результате этого готовым смирится с нарушением прав отдельных людей, осуществляемых (как убеждает пропаганда) на пользу обществу, - остается загадкой.

#Китай #ИИтократия #НадзорныйКапитализм #БольшойБрат
1 2 3 4 5
​​Тотальное наблюдение приведет к бунтам.
Поразительные выводы исследования авторитарно-цифрового будущего мира на основе анализа опыта Китая.


Вопрос о том, что ждет общество в самом ближайшем будущем, когда технологии слежки могут стать тотальными даже в называющих себя демократическими странах, весьма актуален. Для понимания, куда это может привести мир, опыт Китая крайне важен и интересен. Ведь в деле слежки за своими гражданами Китай впереди планеты всей.
За последние 5 лет исследования в этой области расширялись. Но в основном, это было накопление данных о пилотных проектах по расширению слежки в рамках разнообразных китайских экспериментов с системой соцкредита.

В 2022 году от накопления данных и их анализа перешли к первым обобщающим выводам. Они были доложены на прошлой неделе в рамках мини-конференции «Propaganda and Surveillance: Maintaining Legitimacy and Compliance in China».

Например, вот такой весьма удивительный вывод, способный произвести фурор.
Тотальная слежка эффективно работает лишь до определенного предела.
• Пока он не достигнут, люди опасаются ведущейся за ними слежки и предпочитают следовать установленным государством правилам.
• При расширении слежки на другие аспекты жизни людей, что-то в головах людей переключается. И многие из тех, кто раньше был за слежку, становятся против.
• Более того. Люди проявляют нарастающее желание бунтовать против слежки (включая ту, против которой они раньше не возражали).
Подробней в этом исследовании.

В качестве примера, см. приложенные диаграммы от Chinadatalab
• На верхней показано, что китайцы весьма благосклонно относятся, например, к слежке за их поведением на транспорте и их участию в волонтерской деятельности. Однако, как только доходит, например, до отслеживания их смены работы, поддержка китайцев резко падает. И желание протестовать против подобной слежки проявляют до 20% населения.
• На нижней, - аналогичная смена поддержки на неприятие в вопросах наказания людей в системе соцкредита за разные типы «неправильного» поведения. Например, 80% поддерживают ограничения на занятие общественных должностей и путешествия. Но ограничения при поступлении детей в частные школы или «информирование домкома» о нелояльном поведении поддерживают менее половины китайцев.

Выводы исследования ставят под вопрос всесилие Большого брата и заставляют власти искать обходные пути, как заставить людей подчиняться и быть лояльными власти.
#Китай #БольшойБрат
США готовят внедрение Большого Брата – 3.0.
От физического контроля за телами не удастся ускользнуть никому.

• Множество старших по возрасту Больших Братьев 1.0 уже более 30 лет следят за разговорами и прочим обменом информацией между нами по разнообразным сетям связи.
• Появившиеся на свет в последнее десятилетие Большие Братья 2.0 крепко обосновались внутри «умных городов» - мегаполисов, осуществляя через тысячи камер визуальный контроль с распознаванием лиц всех, кого надо властям и спецслужбам.
• Но младший Большой Брат 3.0 (пока в единственном числе - в США) горазда сильней и могуче своих средних и старших братьев. Ибо он не только интегрирует в себя их информацию, но и идет существенно дальше, осуществляя физический контроль за телами.

Он интегрирует информацию о всех людях, поступающую из Интернета, Интернета вещей и всех систем умных городов в целях отслеживания массовых перемещений людей по всему миру и выявления всевозможных «аномалий» с помощью ИИ.

Проект называется «Программа определения скрытых сигналов активности и характеристик аномалий траектории» (HAYSTAC), и он «направлен на создание «нормальных» моделей движения населения во времени и в разных местах, а также на определение того, что делает активность нетипичной», — говорится в пресс- релизе.

Также в HAYSTAC планируется интегрировать несколько продвинутых систем «слежения за телами по их биометрическим функциям», типа системы от оборонного подрядчика Пентагона Assured Information Security (AIS) - контроль за людьми, работающими со всеми существующими типами компьютеров от настольных и ноутбуков до планшетов и смартфонов. Мониторингу подвергается широкий спектр модальностей («акселерометр и гироскоп, данные о нажатии клавиш, данные мыши, взаимодействие с сенсорным экраном и другую информацию») — говорится в сообщении фирмы.

Развертывание HAYSTAC будет проходить в течение следующих четырех лет. После чего проектанты планируют идентифицировать 80% любых аномальных физических активностей людей сначала в США, а потом и в остальном мире (детали см. здесь).

Как мир дошел до столь изощренного (если не сказать, извращенного) тотального наблюдения, в этом канале несколько десятков постов с тэгом
#БольшойБрат
​​Система «фьючерсов на поведение людей» будет дополнена «фьючерсами на кибернасилие».
В сентябре Китай перейдет на новую модель общества.

7 июля Управление киберпространства Китая (CAC) запустило общественное обсуждение проекта «Положения об управлении информацией о кибернасилии».
В нем кибернасилие определяется, как распространение через интернет контента, содержащего незаконную и/или недобросовестную информацию, которая оскорбляет человека, фабрикует на него клевету, нарушает неприкосновенность частной жизни, серьезно влияет на физическое и/или психическое здоровье жертв, включая моральный ущерб, унижение и дискриминацию, а также злонамеренные спекуляции.

Основанные на столь широком определении понятия кибернасилие (тут полный салат из коня с рябчиком) три десятка статей нового Положения, по сути меняют морально-правовые основы общества в медиа-среде Интернета.

В отличие от обычной жизни в оффлайне, в онлайне станет возможным:
1. любому человеку объявить себя «жертвой кибернасилия», не утруждая себя доказательствами этого факта и требуя от владельцев интернет-платформ (соцсети, паблики, блоги и т.д.) расследовать кейс и наказать виновных;
2. а владельцам интернет платформ, в ответ на это, не заморачиваясь, просто закрывать экаунт обвиненного на основании «Положения об управлении информацией о кибернасилии».

Для реализации 1й возможности Положение предусматривает т.н. "защиту в один клик". Она позволяет считающим себя жертвами кибернасилия, закрывать личные сообщения и не нравящиеся комментарии о себе одним щелчком мыши.

Для реализации 2й возможности поставщики информационных услуг Интернета должны не просто «явиться на собственную казнь, но и принести с собой веревку»:
• разработать, мониторить и обновлять классификатор кибернасилия;
• получив «сигнал в один клик»:
- ограничить доступ к кибернасилующей информации;
- провести расследование и проверку факта кибернасилия;
- наказать виновного штрафом вплоть до отзыва экаунта;
• вести «черные списки» замеченных в кибернасилии и регулярно подавать отчеты наверх о его пресечении;
• а в качестве вишенки на торте - поставщикам информационных сетевых услуг предложено создать и усовершенствовать модель раннего предупреждения кибернасилия.

Последнее, по сути, расширяет существующую в «надзорном капитализме» систему «фьючерсов на поведение людей» (по определению Шошаны Зубофф) системой «фьючерсов на кибернасилие», на которых будут зарабатывать власть имущие (об этом я рассказывал еще 2 года назад). Ибо они, а не суд на основании закона, будут решать, кто «кибернасильник», а кто нет. И больше никакие законы не нужны ни о каких противоправных действиях. Ведь все они – теперь будут всего лишь разновидностями кибернасилия.

Общественное обсуждение «Положения об управлении информацией о кибернасилии» продлится до 6 августа, чтобы с 1 сентября ввести его в действие.

Однако поставщики информационных услуг Интернета решили не тянуть с разработкой модели раннего предупреждения кибернасилия. И первые платформы (напр. Zhihu) уже с 14 июля отключают все анонимные экаунты, ссылаясь на статью 14-ю еще даже не вступившего в силу Положения.

Так что, здравствуй прекрасный новый «Мир Большого Брата - сына Большого Бога». Всевидящего и всезнающего. Кары которого никто не избежит (и для этого даже не нужен суд).
Ибо, при построении Рая сверху неизменно получается Ад

#Китай #НадзорныйКапитализм #БольшойБрат
​​Новое подтверждение превосходства модели «Большого и строгого брата».
Угроза неотвратимого жесткого наказания действенней любых штрафов.

Новое совместное исследование MIT Senseable City Lab (США) и Knowledge Discovery and Data Mining Lab (Италия) ставит точки над “I” в вопросе о наиболее эффективном способе борьбы с нарушением правил дорожного движения.
Сравнении статистики нарушений по превышению скорости в пяти странах (Германия, Италия, Япония, США и Китай) показало:
1) Даже огромные штрафы не останавливают водителей от превышения скорости.
2) Но совершенно безотбойно работает сочетание неотвратимости наказания с его предельной жесткостью.


Яркий пример п. 1 – чемпион мира по превышению скорости Италия с ее зверскими штрафами и минимальной системой автоматического контроля на дорогах:
• от минимального «менее 10 км/час» - штраф 108 Евро (173 Евро по паритету покупательной способности ППП)
• до максимального «более 60 км/час» - штраф 2118 Евро (3387 Евро по ППП)

Противоположный пример (п. 2) – чемпион мира по НЕпревышению скорости Китай с мягчайшими штрафами, но с тотальным автоматическим контролем на дорогах:
• при превышении «менее 10 км/час» - вообще не штрафуют
• до максимального «более 70 км/час» - штраф 2000 Юаней (500 по ППП)
• НО за 4 нарушения в год с превышением на 10-20% или 2 нарушения на 20-30% автоматом лишают прав

Между двумя полюсами Италии и Китая, подтверждая общую закономерность, расположились Япония, США и Германия.

Так что модель «Большого и строгого брата», прекрасно зарекомендовавшая себя на дорогах Китая, будет расходиться по миру.
Но тут, как показывает практика того же Китая, - главное не перегнуть палку. Ибо тотальная слежка эффективно работает лишь до определенного предела (см. мой пост).

#БольшойБрат #Китай
На Земле появился первый Софон.
Это еще не решение «проблемы трех тел», но сильный ход в решении «проблемы инакомыслия и инакодействия» людей
.
Речь действительно о Софоне из романа Лю Цысиня и его экранизации Netflix «Проблема трех тел». И этот Софон действительно создан.
• Но не трисолярианами (или Сан-Ти, - как их для простоты произношения назвали в сериале), а землянами - китайскими исследователями из Чжэцзянского университета и Ant Group.
• И создан этот Софон не для торможения и блокировки технологического прогресса землян (как в романе и сериале), а для торможения и блокирования инфокоммуникационных возможностей землян в областях, неугодных для сильных мира сего - властям и китам инфобигтеха.


Логика этого техно-прорыва, совместно профинансированного Национальным фондом естественных наук Китая (учрежден в 1986 под юрисдикцией Госсовета Китая, а с 2018 под управлением Миннауки и технологий) и Ant Group (дочка китайского конгломерата Alibaba Group, в 2021 взятая под контроль Народным банком Китая), мне видится таковой.
✔️ Возможности получения людьми информации (от новостей до знаний) из Интернета все более зависят от ИИ больших языковых моделей (LLM). Они становятся для землян глобальным инфофильтром, определяющим,
1) что человек может узнать и
2) чему может научиться из Интернета.
✔️ Поэтому становится ключевым вопрос, как взять под контроль и 1ое, и 2ое, исключив возможности использования людьми LLM для неэтичных, незаконных, небезопасных и любых иных нежелательных (с точки зрения разработчиков LLM) целей.

Эта задача одинаково актуальна и важна для столь разных акторов, как Компартия Китая и Microsoft, Белый дом и Google, Amazon и OpenAI – короче, для властей всех мастей и китов инфобигтеха.

Не смотря на важность, решить эту задачу пока не удавалось. И вот прорыв.

Китайские исследователи придумали, как открывать для массового использования LLM, которые «плохим людям» будет сложно настроить для злоупотреблений.

Китайцы придумали новый подход к обучению без точной настройки (он назван SOPHON), использующий специальную технику, которая «предотвращает точную настройку предварительно обученной модели для нежелательных задач, сохраняя при этом ее производительность при выполнении исходной задачи».
SOPHON использует «два ключевых модуля оптимизации: 1) обычное усиление обучения в исходной области и 2) подавление тонкой настройки в ограниченной области. Модуль подавления тонкой настройки предназначен для снижения производительности тонкой настройки в ограниченной области в моделируемых процессах тонкой настройки».

В итоге, когда «плохие люди» захотят с помощью тонкой настройки переучить мощную законопослушную модель на что-то плохое (напр., выдавать нежелательный контент - от генерации порно до анализа событий на площади Тяньаньмэнь в 1989, от нескрепоносных советов до инструкции по взрвотехнике …) производительность модели катастрофически снизится (оставаясь высокой в дозволенных областях).

Нужно понимать, что этот 1й Софон еще дорабатывать и дорабатывать (проверять на сочетаниях разнообразных типов данных, масштабировании моделей и т.д.).

Но очевидное-невероятное уже налицо.
✔️ Т.к. возможности «нежелательных» применений неисчислимы, застраховать модель от всех их просто не реально.
✔️ Но можно просто пойти путем отсекания «нежелательного», с точки зрения владельцев платформ. И тогда вполне может получиться идеальный Большой брат: безликий и всевидящий цензор, не ошибающийся в предвосхищении правонарушений Х-комнадзор, умело манипулирующий сетевой агентурой спецслужбист и т.д.

#LLM #БольшойБрат
Картинка поста https://telegra.ph/file/d4b8b35cd3e11921eedbf.jpg
Статья https://arxiv.org/abs/2404.12699v1